腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
流
elasticsearch
数据到
kafka
elasticsearch-plugin
、
confluent-kafka-python
我需要把数据从
Elasticsearch
流到
Kafka
。我正在研究
Elasticsearch
和
Kafka
(Python实现)之间的任何一个
连接器
,它们可以自动识别CDC并将数据流到
kafka
,或者我可以实现自己的CDC方法,但我可以寻找一种通往ES -
kafka
连接器
的健壮方法。我正在通过卡夫卡和ES之间的
Elasticsearch
接收器
连接器
,但并不能证明它是否是双向的(
Kafka</
浏览 3
提问于2022-08-01
得票数 3
1
回答
kafka
-connect-
elasticsearch
如何将多个主题路由到同一个
连接器
中的同一个
elasticsearch
索引?
elasticsearch
、
apache-kafka-connect
尝试使用以下配置创建
elasticsearch
接收器
连接器
,创建成功,但当在"my.topic.one“上生成消息时,ES
接收器
连接器
在尝试创建名为"my.topic.one”的索引时失败:“无法创建索引'my.topic.one'”(我用来
连接
ES的用户故意没有create index权限)。为什么它试图创建一个新的索引,以及如何让
连接器
索引到以前创建的"
elasticsearch
_index_nam
浏览 19
提问于2020-05-20
得票数 0
1
回答
把数据从
elasticsearch
发送到
kafka
,最后再发送到进水数据库?
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我想知道如何将数据从
elasticsearch
发送到
kafka
,然后再发送到influxdb?我已经尝试过使用来自
elasticsearch
的源
连接器
和从influxdb的
接收器
连接器
的汇合平台,但问题是我不得不将数据从
elasticsearch
发送到
kafka
如何将数据从
elasticsearch
发送到
kafka
?使用汇流平台? 如果
浏览 3
提问于2022-09-15
得票数 0
回答已采纳
1
回答
如何使用jdbc
连接器
将ksql表数据导出到Mysql表
mysql
、
apache-kafka
、
confluent-platform
、
connector
、
ksqldb
有没有办法通过jdbc
连接器
将数据从KSQL导出到mysql表中?? 我了解了如何使用KSQL将mysql表数据导入到
Kafka
集群中。但这不是我想要的。host --interactive --tty \ confluentinc/cp-ksql-cli:5.3.1 https://www.confluent.io/hub/confluentinc/
kafka
-connect-jdbc
浏览 44
提问于2020-03-17
得票数 0
1
回答
如何将
kafka
-connect-jdbc-5.5.0.jar添加到Debezium/connect
apache-kafka
、
apache-kafka-connect
、
cdc
、
debezium
、
confluent-platform
我已经从confluent下载了
kafka
-connect-jdbc-5.5.0.jar文件到我的本地机器中,我想知道如何将这个jar添加到plugin.path=/
kafka
/connect中。connector.class":" io.confluent.connect.jdbc.JdbcSinkConnector“,但我面对的是"error_code":500,”message“:”找不到任何实现
连接器
的类
浏览 22
提问于2020-06-19
得票数 0
回答已采纳
1
回答
合流云弹性搜索水槽
连接器
elasticsearch
、
apache-kafka
、
apache-kafka-connect
、
confluent-cloud
我想将融合云
连接
到elastic search (本地环境)。能否将本地
elasticsearch
接入融合云
kafka
? 谢谢,巴拉
浏览 14
提问于2021-05-19
得票数 0
1
回答
卡夫卡
连接
自定义_routing的
Elasticsearch
连接器
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我正在尝试为
Elasticsearch
6.x开发一个
Kafka
连接
Sink
连接器
如何在使用ES
接收器
连接器
时提供自定义_routing值。例如,如果我的文档在
Kafka
消息的值中有字段'customerId‘,我如何选择它的值作为,从而使文档位于正确的文本碎片中。
浏览 4
提问于2021-04-21
得票数 0
1
回答
如果转换返回NULL,
kafka
接收器
连接器
是否会插入记录?
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我有一个
kafka
接收器
连接器
(
elasticsearch
),我正在编写一个自定义SMT。我想知道如果SMT返回一个NULL记录会发生什么。
连接器
会做什么?它会在我的
elasticsearch
索引中插入一些NULL吗?还是根本不插入?
浏览 1
提问于2020-04-02
得票数 0
回答已采纳
1
回答
confluent
kafka
连接
elasticsearch
接收器
吞吐量在任务重新启动后永久下降
elasticsearch
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我有一个有700万条记录的主题(3个分区),并使用默认配置部署一个带有1个任务的
Elasticsearch
接收器
。
接收器
从在
Elasticsearch
中创建索引开始,然后以每秒10,000 msgs的速度开始编写。如果我对
连接器
的任务做了任何更改 吞吐量下降到400毫希/秒,永远不会恢复到原来的10,000毫希/秒。如果我停止了
连接器</e
浏览 3
提问于2019-11-01
得票数 2
1
回答
阿帕奇·弗卢姆和卡夫卡是如何合作的?
apache-kafka
、
flume-ng
对于这种配置,我的理解是:将消息读入
kafka
主题源-主题,将此消息/事件推送到
kafka
通道/主题测试主题,然后将其吸收并写入
ElasticSearch
。为了测试这个流,我显式地将1条消息/事件推送到
kafka
主题源代码- topic ,并期望在
接收器
端发生此事件。但这对我没有用。 然后我做了一些调试,认为消息/事件必须在卡夫卡频道。但是,当我尝试运行bin/
kafka
-topics.sh -list-zookeeper:2181命令时
浏览 7
提问于2022-11-13
得票数 0
1
回答
尝试从主题创建索引时,
Elasticsearch
接收器
连接器
抛出403禁止异常
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我正在尝试创建一个到弹性云的
接收器
连接器
。这是我的
Elasticsearch
接收器
连接器
的配置(使用ksqldb)。','schema.ignore'='true'); 当我创建
接收器
连接器
时,我首先得到这个
错误
。11-02 08:56:37,486] INFO Requesting <em
浏览 90
提问于2020-11-02
得票数 1
回答已采纳
2
回答
Kafka
-
连接
elasticsearch
自动小写主题名用于索引
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我使用
elasticsearch
接收器
kafka
-
连接器
将来自多个
kafka
主题的消息索引到
elasticsearch
。我有我的主题与camelCase命名,我不能改变它。因此,在启动ES
接收器
连接器
时,它不会索引任何内容,因为elaticsearch存在非小写索引名称的问题。 我知道我可以使用topic.index.map属性手动将主题名称转换为索引。
浏览 0
提问于2019-02-14
得票数 1
1
回答
什么是
Kafka
连接
运行时?
apache-kafka-connect
阅读关于
Kafka
connect的文章,它被定义为执行任务的运行时。 说
Kafka
connect(或任何其他软件)是运行时到底意味着什么?它如何影响它与卡夫卡
连接
架构的其他部分的关系,如
连接器
、转换器或卡夫卡本身?
浏览 3
提问于2022-07-03
得票数 0
回答已采纳
1
回答
Kafka
Connect
Elasticsearch
接收器
没有文档被索引
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我使用的是汇合版本5.1.0中的码头映像,对于
Elasticsearch
,我使用的是
elasticsearch
:6.5.4{
浏览 0
提问于2019-01-28
得票数 3
回答已采纳
1
回答
删除和编辑操作不使用
elasticsearch
接收器
连接器
mongodb
、
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我试图使用
Kafka
在MongoDB和
Elasticsearch
之间建立一条简单的管道。插入的数据被成功地存储在
Elasticsearch
中,但是当我编辑或删除文档时,我只会得到另一个存储在
Elasticsearch
中的文档。这是我的MongoDB源
连接器
{ "name": "mongo-source", "config": { "connector.class": "io.debezium.connector.m
浏览 4
提问于2020-04-28
得票数 0
回答已采纳
1
回答
设置
Kafka
连接器
管道时出错
mysql
、
elasticsearch
、
apache-kafka
、
confluent-platform
设置
Kafka
连接器
管道时出错码头集装箱--我使用mvn包而不是mvn构建创建了mysql和
Elasticsearch
连接器
。我将这些
连接器
放在一个名为C:\Users\ROY\confluent
浏览 5
提问于2020-10-16
得票数 0
2
回答
ElasticsearchSinkConnector未能将数据反序列化为Avro
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我创建了最简单的
kafka
接收器
连接器
配置,我使用的是Content4.1.0: "connector.class": "type.name": "test-type", "topics": &q
浏览 0
提问于2018-05-04
得票数 3
回答已采纳
1
回答
如何使用
Kafka
Elasticsearch
连接器
写入多个不同的弹性搜索集群
elasticsearch
、
apache-kafka
、
apache-kafka-connect
是否可以使用单独的
Kafka
实例与
Elasticsearch
连接器
一起写入使用相同索引?的
Elasticsearch
集群。源数据可以是后端数据库或应用程序。如果这是可能的,我如何配置
接收器
连接器
?如果没有,我可以想出几个选择: 还有其他的吗?
浏览 3
提问于2020-11-17
得票数 0
回答已采纳
2
回答
卡夫卡Sink
连接器
,具有自定义的消费者组名称
apache-kafka
、
kafka-consumer-api
、
apache-kafka-connect
在
kafka
连接
中,所有的
接收器
连接器
都将使用不同的组,并对connect-connector_name进行命名转换。但是我想使用一个自定义名称作为前缀。(我们可以在
接收器
配置- name properties中这样做,但默认情况下需要设置它)有人知道它是怎么设置的吗?另外,如果我为我的所有
接收器
连接器
设置了一个组,会发生什么?
浏览 0
提问于2021-08-26
得票数 0
回答已采纳
2
回答
ES
连接器
debezium因
错误
而停止
apache-kafka
、
apache-kafka-connect
、
debezium
在这种情况下,如果我试图将
接收器
连接器
从mongo更改为弹性搜索,然后启动es-
接收器
连接器
。它显示了以下
错误
{"confi
浏览 0
提问于2019-09-02
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深入理解Kafka Connect:转换器和序列化
这可能是北半球最暖的Kafka Connect数据管道教程:3
CDC Debezium 介绍
这可能是北半球最暖的Kafka Connect数据管道教程:2
基于Kafka技术栈构建和部署实时搜索引擎的实践
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券