Fluentd配置:插入(Inject)和存储(Storage)配置项

我们已经了解了Fluentd配置文件中常见的三个配置项:Parse、Buffer和Format。今天继续学习Inject和Storage配置项。

  1. Inject配置项
    1. 作用
      向事件record中插入字段。有点类似今天第一篇文章中的filter_record_transformer插件,不过inject目前只能向record中插入几个固定的字段,功能较弱。
    2. 用法
      在<match>或<filter>中配置<inject>。只对那些支持向record中插值的插件有效。
      <match> @type file # parameters for output plugin <inject> # inject section parameters </inject></match>
    3. 示例
      # Record exampletag: testtime: 1547575563.952259record: {"message":"hello"}
      上边是原始事件,做如下<inject>配置:
      # Configuration example<inject> time_key fluentd_time time_type string time_format %Y-%m-%dT%H:%M:%S.%NZ tag_key fluentd_tag</inject>
      事件record被修改为:
      {"message":"hello","fluentd_tag":"test","fluentd_time":"2019-01-15T18:06:03.952259000Z"}

      上述配置中,time_key指定插入到record中time字段的名称为“fluentd_time”,其值和原事件的time相同,但使用的格式是time_format指定的字符串;tag_key指定插入到record中tag字段的名称为“fluentd_tag”,其值就是原事件的tag。

  2. Storage配置项
    1. 作用
      storage用于在某些插件中指定如何存储插件的内部状态,比如保存到内存、文件还是MongoDB、Redis中。
    2. 用法
      在<source>、<match>或<filter>中配置<storage>。只对那些支持存储特性的插件有效。
    3. 示例
      <source> @type windows_eventlog # parameters for input plugin <storage> @type local </storage></source>
      windows_eventlog会将自己用到的某些信息保存到本地json文件中。

至此,我们基本上将Fluentd配置文件中常见的一些配置项都介绍完了。这些配置项都是被上层配置项引用,并且只对特定的插件才生效。

接下来,我们会介绍一些Fluentd部署方面的知识。欢迎继续关注,非常期待您的转发分享!

(0)

相关推荐

  • SAP WM Storage Type Search配置里的Storage Class & WPC标记

    SAP WM Storage Type Search配置里的Storage Class & WPC标记 在如下的配置里, 有2个字段storage class 和WPC(water pollu ...

  • SAP MM MARD 表里的Storage Bin 字段

    SAP MM MARD 表里的Storage Bin 字段 笔者在所在的项目上的一个偶然机会,看到了MARD表里有个storage bin字段: 很是奇怪.MARD表里是保存物料的IM层面的各个sto ...

  • K8s~为pod添加sidecar进行日志收集

    我们在k8s部署服务时,一般来说一个服务会对应一类pod,而pod通过rs实现副本集,而这些pod的日志一般有控制台stdout和文件的,一般会把这些日志最终输出到elasticsearch里,再通过 ...

  • Fluentd配置:格式化(Format)配置项

    某些Fluentd插件(一般是output)支持<format>配置项,用来指定如何格式化record. Format配置项概览 Format配置项可以使用在<match>或& ...

  • Fluentd配置:缓存(Buffer)配置项

    Fluentd的output插件支持<buffer>配置项,用以缓存日志事件,提高系统性能.可在此配置项中设置buffer插件的相关参数. Buffer配置项概览 由于是output缓存, ...

  • Fluentd配置:解析(Parse)配置项

    Fluentd的某些插件支持<parse>配置项,用来自定义对输入数据的解析方法. 比如,对于一般的应用程序,输入给Fluentd的就是一行行的文本,开发者可以通过配置将文本解析成具有实际 ...

  • Fluentd配置详解

    Fluentd的运行是以配置文件为基础的.从现在开始,我们来一起学习配置文件的编写方法.这其中包含以下几部分: 配置文件语法 路由示例 通用配置参数 解析器(Parse)配置项 缓存(Buffer)配 ...

  • 协议实验室发布NFT.Storage,免费去中心化存储NFT数据

    4月30日,协议实验室官方发表最新博客,推出用于免费存储NFT数据的NFT.Storage存储新服务,其将为NFT在分布式存储协议和星际文件系统上提供免费的去中心化存储及带宽.此前,胡安曾表示&quo ...

  • 这款国产55英寸电视配置高色域屏幕,32GB存储,最低2799元

    最近,电视市场正在呈现新的格局,具备面板供应能力的TCL正在占据主动,不断提供性价比更高的产品.这主要是由于全球电视面板大涨价,其它品牌能有货源就不错了,不能挑选太多,而TCL自家就有生产线,自然如鱼 ...

  • 整套解决方案:如何访问插入路由器的USB存储设备?

    电脑杂谈 智能路由器的USB接口通常可以连接到USB存储设备.例如,可以将华为路由器A1的USB2.0接口插入移动硬盘,U盘等USB存储设备(建议使用读写速度更快的移动硬盘).插入USB存储设备后,您 ...

  • Fluentd部署:高可用配置

    对于高访问量的web站点或者服务,我们可以采用Fluentd的高可用配置模式. 消息分发语义 Fluentd设计初衷主要是用作事件日志分发系统的.这类系统支持几种不同的分发模式: 至多一次.消息被立即 ...

  • H3C云计算工程师,配置计算、网络、存储资源,看这篇就够了!

      网   工   圈 网络工程师阿龙 圈内最早的公益公众号,本号已认证!学网络关注我一个就够了!(关注近6w ) 关注 听说99%的网工都来这里充电 本文来源网络,如有侵权,请私信联系删除.文末提供 ...