fluentd logstashh错误:

日志收集系统采用elasticsearch+fluentd+kibana用fluentd代替elk社区裏的fluentd logstashh,fluentd logstash的插件是最多的同时fluentd logstashh的性能和资源消耗太高,经某站大佬压力测试在环境为2核4g的云计算服务器上,fluentd logstashh写入qps极限为8000通过结合易瑞現有询报价系统,同时也是用户3000+的项目产品fluentd logstashh负载压力显然承受不住,服务器资源消耗太严重所以基于以上考虑采用新型日志收集产品fluentd來代替fluentd logstashh,相应的技术资料为下图:
题外话:亚马逊云用的fluentd,阿里云用的自研logtaillogtail是性能目前是最高的。
分布式日志系统架构图初步设计为:

安裝fluentd的必要插件(重要)
与elasticsearch通信.或者***mongo插件数据存放mongodb中,或者直接***kibana插件数据输出到kibana,上面插件地址有介绍根据自己实际环境需偠进行操作

kibana使用时会首先创建模版(可用默认)
然后我们需要查看刚才抓取的日志
注意:1,es中的日志数据区分是按天算每天生成新文件從这里可以按我们每台服务器定义的文件名进行查看,可根据该tag名进行分类查看
2查看/显示需要的字段值
4,查找/类别(时间段)

参考资料

 

随机推荐