Fluentd部署:系统配置

首先,本文“系统配置”指的是Fluentd的全局配置项,诸如开启RPC、使用多worker模式等。可在配置文件中通过<system>进行配置,或通过命令行进行配置。
  1. <system>参数

    1. workers:指定worker进程数,默认为1

    2. root_dir:配置root目录

    3. log_level:设置日志级别,可选值为trace、debug、info、warn、error和fatal。默认为info

    4. suppress_repeated_stacktrace:是否禁用重复的栈跟踪

    5. emit_error_log_interval:发送错误日志间隔

    6. without_source:调用fluentd,但不使用输入插件

    7. rpc_endpoint:指定用于维护fluentd的rpc端口

    8. process_name:设置进程名称

    9. file_permission:设置fluentd文件权限

    10. dir_permission:设置fluentd目录权限

    11. <log>配置项

      1. format:指定日志格式,text或json,默认为text

      2. time_format:日志使用的时间格式,默认为%Y-%m-%d %H:%M:%S %z

  2. 命令行选项

    1. -s, --setup [DIR=/etc/fluent]:将示例配置文件写入指定目录

    2. -c, --config PATH:选择使用的配置文件

    3. --dry-run:检查fluentd是否正确安装

    4. -d, --daemon PIDFILE:后台运行

    5. --user USER:切换运行用户

    6. --group GROUP:切换用户组

    7. -o, --log PATH:设置日志路径

    8. --log-rotate-age AGE:fluentd日志rotate次数

    9. --use-v1-config:使用v1版本的配置格式,默认

    10. --use-v0-config:使用v0版本的配置格式

本质上,这篇文章还是属于Fluentd的配置项。其中涉及到了一些运行时的配置,大多数情况下我们使用默认配置就行了。对于一些可能需要注意和修改的项目,我用蓝色进行了标记,可根据需要进行配置。
(0)

相关推荐

  • K8s~为pod添加sidecar进行日志收集

    我们在k8s部署服务时,一般来说一个服务会对应一类pod,而pod通过rs实现副本集,而这些pod的日志一般有控制台stdout和文件的,一般会把这些日志最终输出到elasticsearch里,再通过 ...

  • 云原生系列5 容器化日志之EFK

    上图是EFK架构图,k8s环境下常见的日志采集方式. 日志需求 1 集中采集微服务的日志,可以根据请求id追踪到完整的日志: 2 统计请求接口的耗时,超出最长响应时间的,需要做报警,并针对性的进行调优 ...

  • git使用教程10-修改 config 配置用户名和邮箱

    前言 当我们使用 git 提交代码的时候,发现账号和邮箱是之前同事配置的,这时候需要改成自己的账号,那么如何修改 git 的 config 配置文件? 就算卸载 git 重新安装也没用,之前的配置文件 ...

  • 读取配置

    无论何种配置文件,定义了配置文件之后,都统一使用系统提供的C方法(可以借助Config单词来帮助记忆)来读取已有的配置.配置参数不区分大小写 注意:配置参数名称中不能含有 "." ...

  • 号称下一代日志收集系统!来看看它有多强

    后面随着架构的优化与演进,又引入另一个轻量级的组件 Filebeat,Filebeat和Logstash一样属于日志收集处理工具,基于原先 Logstash-fowarder 的源码改造出来的.与Lo ...

  • Fluentd部署:错误排查

    本文介绍一下排查Fluentd运行时错误的几种方法. 查看日志 如果感觉Fluentd运行异常,请先查看日志.td-agent安装后,默认日志存放在/var/log/td-agent/td-agent ...

  • Fluentd部署:高可用配置

    对于高访问量的web站点或者服务,我们可以采用Fluentd的高可用配置模式. 消息分发语义 Fluentd设计初衷主要是用作事件日志分发系统的.这类系统支持几种不同的分发模式: 至多一次.消息被立即 ...

  • Fluentd部署:性能优化

    本文提供一些对于单Fluentd进程进行性能优化的建议.如果你的日志请求达到了5000条/秒,这里描述的技术点可用于调优. 检查操作系统配置 在安装Fluentd之前,进行操作系统参数优化.可参考这里 ...

  • Fluentd部署:多Workers进程模式

    本文介绍如何使用Fluentd的多worker模式处理高访问量的日志事件.此模式会运行多个worker进程以最大利用多核CPU. 原理 默认情况下,一个Fluentd实例会运行一个监控进程和一个工作进 ...

  • Fluentd部署:如何监控Fluentd

    今天的文章主要介绍一下如何监控Fluentd.监控的目的是确保日志采集能稳定高效运行. Fluentd内部运行指标 Fluentd内部保存着一些运行指标,这些指标可通过REST api直接获取,也支持 ...

  • Fluentd部署:通过Prometheus监控Fluentd

    本文简单介绍一下如何通过Prometheus监控Fluentd. Prometheus也是CNCF成员项目之一,所以Fluentd官方推荐使用Prometheus作为监控工具. 安装fluent-pl ...

  • Fluentd部署:日志

    Fluentd是用来处理其他系统产生的日志的,它本身也会产生一些运行时日志.我们一起来了解一下Fluentd本身的日志机制. Fluentd包含两个日志层:全局日志和插件级日志.每个层次的日志都可以进 ...

  • 高效会议提纲:部署抓重点,督导谈问题,落...

    高效会议提纲:部署抓重点,督导谈问题,落...

  • 20210509天工大召开2021届毕业生就业冲刺部署会

    今天 为全面贯彻落实教育部.天津市教育两委工作要求,协同推进.全力冲刺我校毕业生就业工作,促进毕业生更充分.更高质量就业,5月7日下午,学校召开2021届毕业生就业冲刺部署会.校党委书记俞绍平.校党委 ...