首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Kafka vs filebeat for shippong log to logstash

Kafka vs filebeat for shippong log to logstash
EN

Stack Overflow用户
提问于 2020-07-11 15:23:47
回答 1查看 254关注 0票数 0

我目前正在设置中央日志系统(使用ELK),该系统估计将从100个微服务中获取日志数据,并且可能会扩展更多。要求是有最小的延迟和高可用性的解决方案,现在我被困在如何设计应该看起来。在网上学习时,我得到了以下广泛使用的方法来满足这些需求

微服务->文件节拍kafka -> logstash ElasticSearch -> Kibana

然而,我很难理解filebeat在这种情况下是否真的有用。如果我直接将日志流式传输到Kafka,然后Kafka再将其发送到logstash,会怎么样?这将帮助我克服日志文件的维护,而且还将减少一个要监控和维护的组件。我看到了使用kafka而不是filebeat的优势,它可以在传输的数据量非常大或ES集群无法访问的情况下充当缓冲区。来源:https://www.elastic.co/blog/just-enough-kafka-for-the-elastic-stack-part1

我想知道是否有任何我无法实现的文件节拍的真正好处。

EN

Stack Overflow用户

发布于 2020-07-11 20:57:39

Filebeat可以安装在您的每个服务器或节点上。Filebeat收集并快速发送日志。它非常快速和轻量级,是用go编写的。

在您的情况下,优势在于您不必花费时间开发用于收集和发送日志的相同功能。您只需为您的日志记录架构使用和配置Filebeat即可。这非常方便。

文件节拍的另一种描述可在link上找到。

票数 1
EN
查看全部 1 条回答
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62846339

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档