30选5玩法|福彩30选5开奖结果321|

Filebeat 如何读取多个日志目录

来源:本站原创 elk 超过1,496 views围观 0条评论

遇到的典型问题

问题:Filebeat 如何读取多个日志目录?

如果 Filebeat 所在 server 上运行有多个 application servers,各自有不同的日志目录,那 Filebeat 如何同时读取多个目录,这是一个非常典型的问题。

解决方案:通过配置多个 prospector 就能达到要求。在配置文件的 prospectors 下,每个"-"表示一个 prospector,每个 prospector 包含一些配置项,指明这个 prospector 所要读取的日志信息。如下所示:

:

-

paths:

- /home/WLPLog/*.log

# 其他配置项,具体参考 Elastic 官网

-

paths:

- /home/ApacheLog/*.log

# 其他配置项,具体参考 Elastic 官网

问题:Filebeat 如何区分不同日志来源?

还是上题中提到的场景,Filebeat 虽然能读取不同的日志目录,但是在 Logstash 这边,或者是 Elasticsearch 这边,怎么区分不同 application server 的日志数据呢?

解决方案:Filebeat 的配置项 fields 可以实现不同日志来源?#37027;?#20998;。用法如下:

 

prospectors:

-

paths:

- /home/WLPLog/*.log

fields:

log_source: WLP

-

paths:

- /home/ApacheLog/*.log

fields:

log_source: Apache

在 fields 配置项中,用户可以自定义域来标识不同的 log。比如上例中的"log_source"就是笔者自定义的。如此,从 Filebeat 输出的 log 就有一个叫做 log_source 的域表明该 log 的实际来源。

问题:如何配置 Logstash 与 Elasticsearch 集群通信?

我们知道 Logstash 使用 Elasticsearch 输出插件就能把数据发送到 Elasticsearch 进行存储和搜索。Elasticsearch 插件中有个 hosts 配置项说明 Elasticsearch 信息。但是假如是一个 Elasticsearch 集群,应该怎么配置 hosts?

解决方案:最简单的做法是把集群中所有的 Elasticsearch 节点的 IP 或者是 hostname 信息都在 hosts 中配上(它支持数组)。但是如果集群比较大,或者是集群节点变动频繁的话,还需要维护这个 hosts 值,不太方便。比较推荐的做法是只配集群中某个节点的信息,可以是 client 节点,也可以是 master 节点或者是 data 节点。因为不管是哪个节点,都知道该它所在集群的信息(集群规模,各节点?#24039;?#36825;样,Logstash 与?#25105;?#33410;点通信时都会先拿到集群信息,然后再决定应该给哪个节点发送数据输出请求。

文章出自:CCIE那点事 http://www.rygqfb.tw/ 版权所有。本站文章除注明出处外,皆为作者原创文章,可自由引用,但请注明来源。 禁止全文转载。
本文链接:http://www.rygqfb.tw/?p=3659转载请注明转自CCIE那点事
如果?#19981;叮?a title="CCIE那点事 | IT运维故障发现和解决基地 我致力于为企业IT管理提供助力!" href="http://www.rygqfb.tw/?feed=rss2" target="_blank">点此订阅本站
  • 相关文章
  • 为您推荐
  • 各种观点
?
暂时还木有人评论,坐等沙发!
发表评论

您必须 [ 登录 ] 才能发表留言!

?
?
30选5玩法
南京股指期货配资 股票配资论坛ぴ杨方配资 全球股市大盘行情 麻将换三张技巧 新疆35选7走势图 广西快乐双彩开奖公布 南粤36选7更新开 说股票在走趋势什么意思怎么判断是趋势股 大连穷胡麻将微信 快3走势图北京一定