腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1745)
视频
沙龙
1
回答
如
何在
logstash
中
检查
来源
是
kafka
还是
beat
?
apache-kafka
、
logstash
、
filebeat
我的日志有两个数据
来源
。一个
是
节拍,一个
是
kafka
,我想根据源创建ES索引。如果
kafka
->使用
kafka
作为前缀index_name,如果使用节拍作为索引名的前缀。input { port => 9300}
kafka
{ bootstrap_servers => "localhost:9092"topics => ["my-topic&qu
浏览 15
提问于2019-10-15
得票数 0
回答已采纳
1
回答
Docker:无法从
logstash
容器向
Kafka
容器发送数据
docker
、
containers
、
logstash
、
apache-kafka
、
docker-image
我有两个docker容器,一个运行
Logstash
,另一个运行Zookeeper和
Kafka
。我试图从
Logstash
向
Kafka
发送数据,但似乎无法将数据传递到我在
Kafka
中
的主题。我可以登录Docker
Kafka
容器,从终端向我的主题生成一条消息,然后也可以消费它。我使用的
是
输出
kafka
插件:
kafka
{ topic_id => "MyTopic
浏览 11
提问于2016-08-19
得票数 1
回答已采纳
1
回答
如何从Apache
Kafka
到Confluent平台?
docker
、
apache-kafka
我已经建立了一个停靠的Apache
Kafka
集群(每个vm运行一个docker容器,该容器又运行
kafka
和zookeeper的一个实例),并且其中已经包含了主题和消息。主要使用
logstash
作为生产者,
logstash
和node-
kafka
作为消费者。如
何在
不停机的情况下将系统转换为使用新发布的?首先,我以前
是
如
何在
没有Schema Registry的情况下生存的,其次,为什么我现在需要它?Apache
Kafka
中</
浏览 0
提问于2015-10-25
得票数 4
2
回答
如何不使用Kibana直接从elasticsearch读取日志
c#
、
elasticsearch
、
logging
、
docker-compose
、
asp.net-core-webapi
我计划把Kibana从坞-Compose.yml文件
中
移除。如何阅读那些现在在elasticsearch
中
的日志,而不必去Kibana查看这些日志并读取它们呢? 对文档和/或包是否有任何建议,
还是
需要从头编程?下载之后,我运行了tar -xzf
kafka
_2.13-2.8.0.tgz & cd
kafka
_2.13-2.8.0。然后我按照你的建议激活动物园管理员经纪人和卡夫卡,然后创造这个话题。
浏览 3
提问于2021-05-12
得票数 0
1
回答
使用无模式数据的火花流
apache-spark
、
spark-streaming
、
apache-kafka-streams
我们目前有一个数据管道设置,在这里我们使用
Logstash
从一个
Kafka
主题读取原始数据,并将其写入ElasticSearch。(id
是
第一个记录
中
的整数,第二个
是
字符串)。它还易于维护和部署,因为
Logstash
在运行时定期重新加载配置,因此要更改/添加转换逻辑,只需在conf目录
中
删除一个新的配置文件。 但是,缺点
是
很难从外部
来源
用
Logstash
丰富数据。2)使用
Kafka
流--这
浏览 3
提问于2017-07-15
得票数 3
1
回答
通过grok filter (
logstash
)解析日志数据
elasticsearch
、
logstash
、
logstash-grok
我
是
ELK的新手,我正在尝试通过
logstash
解析我的日志。日志由filebeat发送。Error> executeQuery: Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 1input { port => 5044} elasticsearch { hosts => ["http:
浏览 0
提问于2020-04-06
得票数 1
4
回答
当在termQuery中使用QueryBuilders时,Elasticsearch返回零点击
elasticsearch
、
elastic-stack
、
elasticsearch-7
我正在构建一个Java应用程序,它可以搜索来自Elasticsearch的数据(数据从
kafka
到
logstash
,然后
是
elasticsearch,格式为json格式)。QueryBuilders.queryStringQuery(reqId)时,我可以得到所有的结果,没有问题,但是当我使用QueryBuilders.termQuery("routingRequestID", reqId);时,即使ES数据
中
存在
浏览 15
提问于2020-04-03
得票数 0
回答已采纳
1
回答
消息
中
的
Logstash
条件
logstash
、
logstash-grok
、
logstash-configuration
我正在使用ELK坞堆栈来聚合和分析来自不同
来源
的日志,但是我的
logstash
配置有问题。param1 1=test“201 41 - 44.014 ms 2019-01-29T18:48:19.657Z应用程序错误:{“代码”:201,“消息”:“ok”} } }output { hosts =&
浏览 0
提问于2019-01-30
得票数 0
1
回答
在elasticsearch
中
更新文档
elasticsearch
、
logstash
、
logstash-configuration
试图通过
logstash
更新elasticsearch
中
的特定字段。是否可以通过
logstash
只更新一组字段?数据来自两个不同的
来源
。一个来自XML文件,另一个来自JSON文件。Canada|31-01-2017|QC|-|-|-|-|- JSON日志格式: GEO-1|AS|33|-|-|-|-|-|Mike|123|US|31-01-2017|QC 当添加一个日志时,将在索引
中
创建新文档如果日志文件
是
XML,更新应该只在前5个字段中进行,如果日志文件
是
JSON,则
浏览 2
提问于2017-02-06
得票数 3
1
回答
卡夫卡的火花偏移管理
apache-spark
、
spark-structured-streaming
、
spark-kafka-integration
我使用的
是
Spark结构化流(版本2.3.2)。我需要阅读卡夫卡集群,并写入Kerberized。在这里,我想使用卡夫卡作为偏移
检查
点后,记录
是
写入Kerberized。问题: 请帮帮忙。
浏览 7
提问于2020-09-30
得票数 0
回答已采纳
4
回答
在结构化流
中
找不到连续触发器
apache-spark
、
spark-structured-streaming
._ .option
浏览 0
提问于2018-06-20
得票数 6
回答已采纳
9
回答
克拉斯帕斯
是
空的。请先构建项目,例如运行'./gradlew jar -PscalaVersion=2.11.12‘
apache-kafka
、
apache-zookeeper
/bin/zookeeper-server-start.sh config/zookeeper.properties我在Ubuntu 17.04和18.04下试过。不幸的
是
,我在这个问题上发现的都是Windows。谢谢你的帮助。
浏览 7
提问于2018-05-06
得票数 28
1
回答
基于事件源的CQRS模式具有单一的读写数据库
sql-server
、
apache-kafka
、
rabbitmq
、
cqrs
、
event-sourcing
现在,每当在我的数据库
中
的表上发生插入/更新/删除时,我需要向其他需要知道我系统
中
的更改的系统发送消息,因为我的数据库
是
主数据,所以这里发生的任何更改都需要投射到下游系统,以便它们获得最新的数据并在系统中进行维护或者事件源可以在使用MQ或
Kafka
方面发挥任何作用,我的意思
是
,如果我使用事件源模式,我可以先在主数据库中保存数据,然后使用事件源模式将更改写入MQ,或者使用
Kafka
来编写消息,如果我们可以为MQ或
kafka
使用事件源模式,那么在这里我<
浏览 4
提问于2020-09-14
得票数 3
回答已采纳
4
回答
logstash
检查
字段是否存在
logstash
、
logstash-configuration
我有日志文件进入一个麋鹿堆栈。我想复制一个字段(foo),以便对其执行各种变化,但是字段(foo)并不总是存在的。仅当字段存在时,我如何才能执行变异?if ["foo"] { add_field => "bar" => "%{foo}}
浏览 1
提问于2015-05-19
得票数 52
1
回答
我可以使用Apache作为批处理层来保存
中
的历史数据吗?
apache-spark
、
apache-kafka
、
spark-streaming
、
batch-processing
、
lambda-architecture
那么,我是否可以从
Kafka
中
的所有历史数据创建RDD,然后创建批处理视图,然后将其与火花流视图结合起来呢?
浏览 4
提问于2017-04-06
得票数 0
回答已采纳
1
回答
Google日历同步规范
google-calendar-api
关于Google
中
的“按URL添加日历”函数,我有一个问题: 事件可以持续多长时间有任何限制吗?
浏览 4
提问于2016-02-16
得票数 1
回答已采纳
1
回答
如何部署具有多个主题和表目标的
kafka
接收器连接
sql-server
、
apache-kafka
、
kafka-consumer-api
、
apache-kafka-connect
从我的
中
,我决定更多地同意用户部署数据库实时同步的卡夫卡分布。同样的情况下,我有超过数百个表要从PostgreSQL拉到Server。从PostgreSQL到
Kafka
,我使用了带有wal2json插件的Debezium连接器。从
Kafka
到Server,我使用JDBC连接器。listeners=PLAINTEXT://0.0.0.0:9093log.dir=/home/admin
浏览 2
提问于2020-04-15
得票数 3
回答已采纳
4
回答
使用Apache
kafka
的Oracle复制数据
oracle
、
apache-kafka
我想公开我的oracle数据库
中
的数据表,并公开到apache
kafka
中
。这在技术上
是
可能的吗?此外,我还需要从我的oracle表中流式传输数据更改,并将其通知给
Kafka
。
浏览 2
提问于2017-02-11
得票数 5
3
回答
创999是什么意思?
command-line
、
bash
、
permissions
、
chown
、
ownership
我知道chmod (变更模式)和chown (变更所有者)做什么。我正在通过一个码头补习,我看到chown 999正在被使用。 这意味着什么呢?
浏览 0
提问于2020-01-15
得票数 2
回答已采纳
2
回答
天蓝色和弹簧云-蔚蓝-河流-粘合剂的区别是什么?
azure
、
spring-boot
、
spring-kafka
、
amqp
、
azure-eventhub
在
检查
文档之后,我发现了两篇演示集成的文章。库与 这两者有什么区别呢?
浏览 13
提问于2020-08-24
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何快速采集分析平台日志,并进行展示监控?
ELK+Filebeat 搭建日志系统
无侵入日志采集中心的设计与实现
分布式实时日志分析解决方案 ELK 部署架构
从 Logstash 到 Vector:升级应用日志处理实践
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券