Fluentd中如何解析配置项

Fluentd的某些插件支持配置项,用来自定义对输入数据的解析方法。

公司主营业务:成都网站设计、成都网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。成都创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联推出尖山免费做网站回馈大家。

比如,对于一般的应用程序,输入给Fluentd的就是一行行的文本,开发者可以通过配置将文本解析成具有实际意义的JSON对象,方便后续处理。

  1. parse概览
    parse配置项可以使用在中。如果使用的插件支持解析器特性,parse配置项就会生效。
      @type tail  # parameters for input plugin      # parse section parameters  

    这里,对于tail的输入,需要由parse指定的解析器来解析。

    解析器插件类型

  2. 配置项需要通过@type参数来指定解析器的类型。Fluentd内核绑定了很多有用的解析器插件,也可以根据需要安装其他第三方解析器。
      @type apache2
     

    这里,@type指定使用apache2这个解析器来解析输入日志。

  3. parse参数说明
    1. @type
      Fluentd内置的解析器包含:regexp、apache2、apache_error、nginx、syslog、csv、tsv、ltsv、json、multiline、none    
    2. 可选参数,这些参数的默认值会随使用的解析器不同而改变,具体使用时可参考相关解析器的使用说明。
      1. types:用于转换字段的数据类型,支持的数据类型为:string、bool、integer、float、time
        types user_id:integer,paid:bool,paid_usd_amount:float
           
      2. time_key:指定事件time属性使用的字段,若事件不含此字段,将使用当前时间
      3. keep_time_key:true则保留record中的time字段,默认false
      4. timeout:设置解析处理超时时间,主要用于检测错误的正则匹配      
    3. 对time的进一步说明
      如果把record的某个字段解析为事件的time,则需要说明如何去解析这个“时间字段”。可通过以下参数进行说明。
      1. time_type:时间字段使用的时间格式,支持float、unixtime和string格式。
        float: seconds from Epoch + nano seconds (e.g. 1510544836.154709804)unixtime: seconds from Epoch (e.g. 1510544815)string: use format specified by time_format, local time or time zone
      2. time_format:用以说明time_type为string时的时间格式
      3. localtime:true则使用local time作为事件的time
      4. utc:true则使用UTC作为事件的time,和上边的localtime是互斥配置
      5. timezone:时区格式      

网站标题:Fluentd中如何解析配置项
文章链接:http://myzitong.com/article/psdghd.html