腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
连接
转换
(
SMT
) -
帮助
解决
用
例
apache-kafka
、
apache-kafka-connect
我有一个
用
例
,我想使用
kafka
源或宿
连接
器将我的源表关键字字段映射到目标表引用字段。 我是新来这个论坛的,如果我错过了,请让我知道,以补充任何信息。提前感谢!
浏览 41
提问于2019-03-12
得票数 0
回答已采纳
1
回答
Kafka
Connect:如何在已安装的
Kafka
Connect docker中添加自定义
连接
器(
SMT
)?
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我有一个
Kafka
连接
集群,其中有JDBC源
连接
器插件。我也有自己的自定义
SMT
,它是一个jar文件,用于处理使用JDBC Source Connector插件的
用
例
,例如my- custom -1.0.0.jar。例如,下面的。
转换
器类型是我自己的java类MySMT。但是,是否可以重新加载
连接
器插件(JDBC Source Connector)来加载我的
SMT
jar,而无需重启
Kafka
Connect集群?
浏览 18
提问于2021-04-10
得票数 0
1
回答
在用debezium将数据从MongoDB传输到
kafka
时,如何进行类型
转换
?
mongodb
、
apache-kafka
、
apache-kafka-connect
、
debezium
、
cdc
我
用
Debezium把这些文档传送到
Kafka
。我怎样才能让ObjectId被写成卡夫卡的UUID?U06d2Rk4nUG7Fz3iASM9LQ=="), "BrandList" : [ "Sony2", "SUNY2" ],}
Kafka
1b9b5709-086b-437f-adc6-750d648977f6",
浏览 4
提问于2022-03-03
得票数 0
回答已采纳
1
回答
如何为来自IoT集线器的每一位新制作人添加一个新的卡夫卡主题?
c#
、
azure
、
apache-kafka
、
apache-kafka-connect
、
azure-iot-hub
我正在研究Azure云
解决
方案。我使用
连接
到卡夫卡的IoT集线器来处理来自各种IoT设备的数据。我要面对的是,来自多个设备的所有数据都存储在同一个主题中。但是,我想处理
连接
到IoT集线器的每个设备的数据(每个设备都有自己的卡夫卡主题)。Toketi“Hub”提供了以下配置文件(edge节点)tasks.max
浏览 0
提问于2019-04-16
得票数 3
1
回答
如何在使用REST创建
Kafka
连接
器时定义模式
apache-kafka
、
apache-kafka-connect
我已经将
Kafka
连接
工作人员配置为在集群中运行,并能够获取DB数据。此外,我还以JSON格式以
Kafka
主题存储DB数据。这里我使用JSON
转换
器来序列化数据 在查看
Kafka
消费控制台中的DB数据时,我可以看到UserCreatedon列值显示为整数。是否有任何方法在
连接
器创建期间发送架构。因为我希望UserCreatedon应该以时间戳格式显示,而不是int格式。
浏览 2
提问于2019-10-01
得票数 0
回答已采纳
1
回答
如何用debezium捕获mysql中的数据,在
kafka
连接
中改变数据捕获和使用jdbc接收器?
apache-kafka
、
apache-kafka-connect
、
change-data-capture
、
debezium
我在用debezium捕获mysql中的数据时遇到了问题,将数据捕获并使用
kafka
连接
jdbc接收器将其消费到另一个mysql。因为debezium对
kafka
主题产生的模式和有效负载与
kafka
连接
jdbc接收器所期望的模式不兼容。 当jdbc接收器想要使用数据并在另一个mysql中创建记录时,我就会异常。我该如何
解决
这个问题?
浏览 2
提问于2017-05-14
得票数 1
回答已采纳
2
回答
Debezium源到Postgres接收器DB
连接
器问题
postgresql
、
apache-kafka
、
apache-kafka-connect
使用JDBC同步
连接
器获取以下错误。) at org.apache.
kafka
.connect.runtime.WorkerTask.doRunjava.util.co
浏览 7
提问于2022-02-11
得票数 0
1
回答
在
Kafka
连接
源
连接
器中使用消息键
apache-kafka
、
apache-kafka-connect
我正在使用源
连接
器从数据库中的视图中读取数据,并将其发布到
kafka
上,它运行良好。 我的
用
例
是,用户可以创建多个对象,并且对象的顺序在我的应用程序中很重要。我的问题是如何在
Kafka
连接
源
连接
器中定义消息键?
浏览 1
提问于2018-06-21
得票数 5
回答已采纳
2
回答
将
Kafka
Connect JDBC源
连接
器输出
转换
为自定义格式
java
、
apache-kafka
、
apache-kafka-connect
我已经实现了一个
Kafka
Connect JDBC Source
连接
器,它
连接
到Oracle-Database,并将数据写入
Kafka
-Topic。目前,我已经在设置value.converter.schemas.enable=false的情况下设置了选项value.converter=org.apache.
kafka
.connect.json.JsonConverter该选项允许将JSON数据写入
Kafka
主题(顺便说一句,它工作得很好),但不包括在将数据发送到
Kafka</
浏览 3
提问于2021-02-18
得票数 0
2
回答
是否可以将
SMT
(单邮件
转换
)仅应用于来自指定主题的邮件
mysql
、
apache-kafka
、
apache-kafka-connect
、
debezium
我使用Debezium MySql
连接
器将数据库更改事件从MySql数据库流式传输到
Kafka
。我需要将特定的
转换
应用于某些指定表(而不是其他表)中的记录。有没有一种只使用
Kafka
Connect单消息
转换
(没有
Kafka
Streams或KSQL)的方法?我甚至不介意写一个自定义的
SMT
。但我找不到如何为消息指定要应用
SMT
的表/主题。谢谢。
浏览 10
提问于2019-04-11
得票数 1
1
回答
kafka
connect的雪花
连接
器的消息大小有上限吗?
snowflake-cloud-data-platform
、
apache-kafka-connect
用
例
是,每当有一条大消息(> 1MB)时,我们将其存储在S3上,而生成的
Kafka
事件只是通过URL指向这些消息。因此,在通过此
连接
器将数据发送到snowflake之前,我想使用
SMT
从S3 URL下载实际的大型邮件。雪花connector有没有我应该注意的上限?
浏览 10
提问于2020-09-11
得票数 0
1
回答
kafka
-connect-elasticsearch:如何根据
Kafka
topic的header中的某个值删除文档
elasticsearch
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我正在使用
Kafka
Connect加快速度。尝试使用
Kafka
Connect Elasticsearch Service接收器
连接
器将我们的数据从
Kafka
移动到Elasticsearch。我有一个处理流,看起来像这样: 来自S3的文件记录->来自发布到->
kafka
主题的源应用程序的自定义处理->
Kafka
连接
->弹性搜索 这适用于创建/更新的场景。但是,我们希望处理文件的删除场景。我们如何使用
Kafka
Con
浏览 23
提问于2021-04-07
得票数 0
回答已采纳
2
回答
debezium生成事件的
Kafka
Connect日期处理
apache-kafka
、
apache-kafka-connect
、
debezium
以下是我的
连接
器配置 "name": "cdc.swip.bi.ods.sink.contract", "connector.class":": "io.debezium.transforms.UnwrapFromEnvelope", "transforms.created_date.type": "org.apache.
kafka
.connec
浏览 222
提问于2019-07-30
得票数 5
回答已采纳
2
回答
Kafka
连接
使用(json)消息字段将主题持久化到Elasticsearch索引
elasticsearch
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我试图在Elasticsearch中索引消息,只使用
SMT
的
Kafka
的Connect API。 到目前为止,我有幸简单地使用了主题和时间戳路由器功能。我是在监督一个可以这样做的
转换
,还是根本不可能这样做,并且必须构建一个自定义组件?
浏览 0
提问于2019-02-07
得票数 1
1
回答
过滤数据库中的行
mysql
、
apache-kafka
、
apache-kafka-streams
我想知道
kafka
平台是否适合下面的工作。例如,如果基于日期,将来可能会满足条件,那么是否有机会再次过滤被拒绝的邮件,以最终通过过滤器并进一步处理?在给
Kafka
提供数据之前先过滤数据行是不是更好? 谢谢。
浏览 9
提问于2017-08-11
得票数 0
回答已采纳
1
回答
编写一个定制的
Kafka
连接
单个消息
转换
apache-kafka
、
apache-kafka-connect
我已经配置了一个
kafka
连接
Mongodb接收器,我希望通过实现一些自定义逻辑来
转换
消息。 卡夫卡
连接
仅限于内置的
SMT
(或)是否可以编写自定义
SMT
。如果不是,我怎样才能做到这一点呢?
浏览 0
提问于2019-08-22
得票数 2
1
回答
Kafka
Mongo Sink
连接
器,如何使用
SMT
时间戳
转换
JSON数组中的日期字段
mongodb
、
apache-kafka
、
connector
、
sink
"transforms":"TimestampConverter", "transforms.TimestampConverter.type": "org.apache.
kafka
.connect.transforms.TimestampConvertertransforms.TimestampConverter.target.type": "string", "transforms.TimestampConverter.field" : "Dat
浏览 15
提问于2020-07-26
得票数 0
回答已采纳
2
回答
汇合的
Kafka
流-找不到类io.confluent.connect.avro.ConnectDefault
java
、
apache-kafka-streams
、
apache-kafka-connect
、
confluent-platform
、
confluent-schema-registry
我使用的是带有查询模式的jdbc源
连接
器,似乎没有指定表名的情况下,在模式注册表中为记录键和记录值注册的模式具有空的模式名称,并被分配了默认名称"ConnectDefault“,如Confluent的AvroData类中所定义的那样Exception in thread "streams-app-6e39ebfd-db14-49bc-834f-afaf108a6d25-StreamThread-1" org
浏览 4
提问于2017-11-03
得票数 2
2
回答
如何更改
Kafka
连接
源
连接
器生成的主题的名称
apache-kafka
、
apache-kafka-connect
、
mongodb-kafka-connector
我有一个已经在运行的产品,部署了
Kafka
-集群,主题是“现有的-主题”。我使用的是来自Debezium的MongoDB-源-
连接
器。
浏览 5
提问于2020-05-17
得票数 7
回答已采纳
2
回答
如何安装一个自定义
SMT
在汇合卡夫卡码头安装?
docker
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我在寻找
SMT
的
解决
方案,我找到了这个,这是我的拼图文件,version: '2' zookeeper: cpus: 3.0FROM confluentinc/cp-
kafka
-connect-base:6.2.0 RUN confluent-hubinstall --no-prompt confl
浏览 12
提问于2021-06-26
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
这可能是北半球最暖的Kafka Connect数据管道教程:3
CDC Debezium 介绍
KSQL:Apache Kafka的开源Streaming SQL引擎
Apache Kafka 3.0 发布,离彻底去掉ZooKeeper更进一步
Kafka实战(五)-核心API及适用场景全面解析
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券