我目前正在设置中央日志系统(使用ELK),该系统估计将从100个微服务中获取日志数据,并且可能会扩展更多。要求是有最小的延迟和高可用性的解决方案,现在我被困在如何设计应该看起来。在网上学习时,我得到了以下广泛使用的方法来满足这些需求
微服务->文件节拍kafka -> logstash ElasticSearch -> Kibana
然而,我很难理解filebeat在这种情况下是否真的有用。如果我直接将日志流式传输到Kafka,然后Kafka再将其发送到logstash,会怎么样?这将帮助我克服日志文件的维护,而且还将减少一个要监控和维护的组件。我看到了使用kafka而不是filebeat的优势,它可以在传输的数据量非常大或ES集群无法访问的情况下充当缓冲区。来源:https://www.elastic.co/blog/just-enough-kafka-for-the-elastic-stack-part1
我想知道是否有任何我无法实现的文件节拍的真正好处。
发布于 2020-07-11 20:57:39
Filebeat可以安装在您的每个服务器或节点上。Filebeat收集并快速发送日志。它非常快速和轻量级,是用go编写的。
在您的情况下,优势在于您不必花费时间开发用于收集和发送日志的相同功能。您只需为您的日志记录架构使用和配置Filebeat即可。这非常方便。
文件节拍的另一种描述可在link上找到。
https://stackoverflow.com/questions/62846339
复制相似问题