如何使用Fluentd+MongoDB采集Apache日志
这篇文章给大家介绍如何使用Fluentd+MongoDB采集Apache日志,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
禅城网站建设公司创新互联,禅城网站设计制作,有大型网站制作公司丰富经验。已为禅城近1000家提供企业网站建设服务。企业网站搭建\成都外贸网站建设公司要多少钱,请找那个售后服务好的禅城做网站的公司定做!
我们今天介绍一个组合:Fluentd+MongoDB,用以实时收集半结构化数据。
背景知识 实现机制 我们通常以下列架构来组合Fluentd+MongoDB这对CP。 在这个组合中,Fluentd的职责为: 持续“tail”Apache访问日志 将Apache日志文本解析为有意义的字段(如ip、path等),并缓存之 定期将缓存的日志写入MongoDB 安装部署 安装Apache、MongoDB 安装Fluentd 在Fluentd中安装MongoDB插件(最新版Fluentd已内置) fluent-gem install fluent-plugin-mongo
配置说明 首先配置输入端 使用tail来追踪Apache的日志文件access_log,使用Fluentd内置的Apache日志解析器apache2来解析日志。日志事件tag为mongo.apache.access。 再配置输出端 # plugin type
@type mongo
# mongodb db + collection
database apache
collection access
# mongodb host + port
host localhost
port 27017
# interval
flush_interval 10s
# make sure to include the time key
time_key time
匹配所有mongo开头的tag,使用out_mongo作为输出插件。依次配置日志存储在MongoDB中的数据库和集合、MongoDB地址和端口。设置flush间隔为10秒,每10秒将缓存的日志写入MongoDB。
测试验证 确保各服务正常运行。 我们通过ping Apache来制造一些测试数据。 $ ab -n 100 -c 10 http://localhost/
接下来就是配置的事了。
$ mongo> use apache> db["access"].findOne();{ "_id" : ObjectId("4ed1ed3a340765ce73000001"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:27Z") }{ "_id" : ObjectId("4ed1ed3a340765ce73000002"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:34Z") }{ "_id" : ObjectId("4ed1ed3a340765ce73000003"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:34Z") }
关于如何使用Fluentd+MongoDB采集Apache日志就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
当前题目:如何使用Fluentd+MongoDB采集Apache日志
文章链接:http://myzitong.com/article/geogdc.html