腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(667)
视频
沙龙
1
回答
Kafka
vs
filebeat
for
shippong
log
to
logstash
elasticsearch
、
apache-kafka
、
microservices
、
filebeat
在网上学习时,我得到了以下广泛使用的方法来满足这些需求 微服务->文件节拍
kafka
->
logstash
ElasticSearch -> Kibana 然而,我很难理解
filebeat
在这种情况下是否真的有用如果我直接将日志流式传输到
Kafka
,然后
Kafka
再将其发送到
logstash
,会怎么样?这将帮助我克服日志文件的维护,而且还将减少一个要监控和维护的组件。我看到了使用
kafka
而不是
filebeat
的优势,它可以在传输的
浏览 17
提问于2020-07-11
得票数 0
4
回答
什么命令显示了
Kafka
中分区的所有主题和偏移量?
apache-kafka
我正在寻找一个
Kafka
命令,它显示了所有的主题和分区的偏移。如果它是动态的,那就太完美了。现在,我正在使用java代码查看这些信息,但这非常不方便。
浏览 10
提问于2015-06-25
得票数 71
回答已采纳
1
回答
Filebeat
到
Kafka
再到
Logstash
: Tages未按预期显示
apache-kafka
、
logstash
、
elastic-stack
、
filebeat
我正在尝试实现
Filebeat
和
Logstash
之间的
Kafka
。 当向
Kafka
发送文件节拍(它以文本格式提供)时,
Logstash
也是如此。为此,我假设
Logstash
无法处理输入。以下是数据来自
Kafka
和直接从
Filebeat
到
Logstash
的不同之处。来自
Kafka
: { "
浏览 7
提问于2020-06-30
得票数 0
1
回答
filebeat
可以将一个数据传输到
logstash
和kafak吗?
apache-kafka
、
logstash
、
filebeat
我想使用
filebeat
向
logstash
和kafak发送一个日志,然后
logstash
将日志发送到es,我可以在es中搜索它,kafak使用它来分析数据。
filebeat
.yml hosts: ["172.31.29.xxx:5044"] enabled: true topic: "test-
log
&
浏览 5
提问于2020-05-26
得票数 0
1
回答
logstash
kafka
使用不同的编解码器输入多个主题
apache-kafka
、
logstash
这是我的
logstash
conf input { bootstrap_servers => "127.0.0.1:9092" codec => "json" } 在
kafka
输入conf中,
logstash
返回错误。Failed
浏览 23
提问于2019-01-09
得票数 0
2
回答
Filebeat
:将不同的日志从
filebeat
发送到不同的
logstash
管道
elasticsearch
、
logstash
、
kibana
、
filebeat
--我想要一个文件传输实例可以将数据发送到不同的
logstash
管道.的功能。我已经配置了一个具有两个管道的日志存储服务,给出了两个管道单独的端口。假设Pipeline1 (端口5044),Pipeline2 (端口5045)我只运行一个文件节拍实例,我如何能做到这一点?
浏览 0
提问于2019-04-03
得票数 2
回答已采纳
1
回答
卡夫卡:客户已经没有可用的经纪人可以谈了。
elasticsearch
、
apache-kafka
、
logstash
、
apache-zookeeper
、
filebeat
我有多个服务器将他们的Rails日志传送到一个
Kafka
broker,使用
Filebeat
,从那里这些日志转到我们的
Logstash
服务器,然后存储在Elasticsearch中。# main (
filebeat
)sudo service
filebeat
restart sudo vi/
filebeat</em
浏览 0
提问于2018-04-23
得票数 1
3
回答
Spring Boot和ELK
spring-boot
、
docker
、
elastic-stack
我有一系列使用Spring Boot构建的微服务,它们通过docker-compose作为docker容器运行。我想集中日志文件,所以我在考虑使用ELK (在另一个容器中运行)。如何将日志文件从基于Spring Boot的docker容器推送到ELK,它们是从容器推送到ELK,还是从容器推送到ELK?
浏览 2
提问于2019-02-05
得票数 1
1
回答
在
LogStash
中,如何删除任何大于特定大小json/xml字段
elasticsearch
、
logstash
、
logstash-grok
、
elasticsearch-ruby
简而言之,我在我们的公司中有这个堆栈来记录我们的公司日志:
KAFKA
_
LOG
_RETENTION_HOURS: "168"
KAFKA
_
LOG
_RETENTION_BYTES: "100000000&
浏览 32
提问于2020-05-15
得票数 2
回答已采纳
1
回答
使用文件节拍时内容重复收集问题
elasticsearch
、
filebeat
最近,我们将使用file节拍将我们的系统日志收集到elasticsearch vias:
filebeat
.prospectors: paths:
浏览 1
提问于2017-10-13
得票数 0
2
回答
Logstash
5没有输出
filebeat
输入和
Kafka
输入
logstash
、
apache-kafka
以下是
Logstash
5服务器上的配置
kafka
{bootstrap_servers => "zk_server:2181"%{message}"}beats {ssl => true ssl_certificate => "/etc/pki/tls/certs/<e
浏览 5
提问于2016-07-11
得票数 0
4
回答
如何在
Filebeat
/ELK中为不同的日志定义单独的索引?
elasticsearch
、
logstash
、
kibana
、
elastic-stack
、
filebeat
我想知道如何为提取到
logstash
(后来传递到elasticsearch)中的不同日志创建单独的索引,以便在kibana中为它们定义两个索引并发现它们。在我的例子中,我有几台客户机服务器(每台服务器都安装了
filebeat
)和一个集中式日志服务器(ELK)。每个客户端服务器都有不同类型的日志,例如redis.
log
、python日志、mongodb日志,我喜欢将它们分类到不同的索引中并存储在elasticsearch中。因此,我还希望为它们指定不同的索引名(通过在
filebeat
.yml中更改输出索引?)。
浏览 83
提问于2016-08-08
得票数 6
回答已采纳
1
回答
Kafka
js容器无法连接到同一个码头堆栈上的
kafka
容器。
node.js
、
docker
、
apache-kafka
、
docker-compose
、
kafkajs
: container_name:
logstash
- .
浏览 0
提问于2021-02-24
得票数 1
1
回答
找不到匹配的索引:没有与模式"
filebeat
-*“匹配的索引
elasticsearch
、
logstash
、
kibana
、
elastic-stack
、
filebeat
我将输出配置为转到
logstash
,但问题仍然存在,这里是
filebeat
.yml: #- /var/
log
&
浏览 53
提问于2018-08-07
得票数 0
1
回答
基巴纳[illegal_argument_exception]
elasticsearch
、
filebeat
、
kibana-7
: tail_files: true - /var/
log
/cyk213.
log
output.
kafka
:["10.201.5.213:10.201.5.216:9092",&quo
浏览 0
提问于2019-10-16
得票数 0
1
回答
ELK apache spark应用程序日志
apache-spark
、
elasticsearch
、
filebeat
如何配置Filebeats来读取apache应用程序日志。一旦应用程序完成,生成的日志将以不可读的格式移动到历史服务器。这里最理想的方法是什么。
浏览 2
提问于2018-09-25
得票数 2
2
回答
Logstash
解析来自两个不同文件节拍输入的数据
logstash
、
elastic-stack
、
logstash-grok
、
logstash-configuration
、
filebeat
我有一台机器,我在其中设置了Elasticsearch和
Logstash
,并从另一台机器通过
Filebeat
将日志发送到那里。我想添加一台新机器,我可以将日志发送到
Logstash
,解析它们并存储在相同的elasticsearch索引中。我尝试用相同的
Logstash
输出在新机器上配置
filebeat
,但似乎
logstash
不能从多个来源接收数据……
logstash
配置文件: input { port =>paths: #-
浏览 53
提问于2020-01-24
得票数 0
回答已采纳
2
回答
Logstash
Beats输入多行编解码器
elasticsearch
、
logstash
、
logstash-grok
我正在尝试发送多种类型的日志,并在
logstash
服务器上解析它们。我遇到问题的地方是,其他-
log
.
log
有以不同格式字符串开头的条目。我试过了 codec => multiline { what => &qu
浏览 3
提问于2016-12-08
得票数 1
1
回答
Docker-compose
filebeat
到
logstash
的连接问题
docker
、
docker-compose
、
logstash
、
filebeat
我在各自的docker-compose.yml中运行
logstash
和
filebeat
。但
filebeat
无法连接到
logstash
。在等待
logstash
管道启动后,我可以正确地远程登录到
logstash
telnet 127.0.0.1 5044。
Filebeat
无法创建连接。我得到了这个错误。/
filebeat
/
filebeat
.yml:/usr/share/
fileb
浏览 2
提问于2018-05-03
得票数 2
1
回答
Kafka
-Connect
vs
Filebeat
&
Logstash
elasticsearch
、
filebeat
、
apache-kafka-connect
我希望从
Kafka
消费,并将数据保存到Hadoop和Elasticsearch中。我目前已经看到了两种方法:使用
Filebeat
从
Kafka
消费并将其发送到ES和使用
Kafka
-Connect框架。
Kafka
-Connect-HDFS和
Kafka
-Connect-Elasticsearch模块。 我不知道该用哪一个来发送流数据。虽然我认为,如果我想在某个时候从
Kafka
中获取数据并将其放入Cassandra中,我可以使用
Kafka
-Connect模块来
浏览 12
提问于2016-09-13
得票数 9
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
无侵入日志采集中心的设计与实现
如何快速采集分析平台日志,并进行展示监控?
通过ELK实现Nginx日志字段扩展
分布式实时日志分析解决方案 ELK 部署架构
NET 日志系统的搭建:log4net+kafka+elk
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券