腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
多个
Debezium
源
连接器
不能
同时
工作
mysql
、
docker
、
apache-kafka
、
apache-kafka-connect
、
debezium
1:
Debezium
源
连接器
(像这样,我需要8个
连接器
用于8个表) curl -i -X POST -H "Accept:application/json" -H "Content-Type:application' "name": "mysql5-mdmembers", "connector.class&quo
浏览 58
提问于2021-02-10
得票数 0
1
回答
在
debezium
sql server
源
连接器
中,有没有办法将关键字段值转换为小写?
apache-kafka
、
apache-kafka-connect
、
confluent-platform
、
debezium
我希望将SQL-Server列名转换为小写,
同时
将其存储在Kafka主题中。我使用
debezium
作为我的
源
连接器
浏览 2
提问于2020-03-26
得票数 0
3
回答
配置
debezium
以根据自定义条件将数据放在不同的主题上
apache-kafka
、
microservices
、
etl
、
apache-kafka-connect
我将迁移到kafka作为代理和
debezium
,以便从报告和搜索数据库的所有微服务中获取数据(ETL数据)。有没有办法配置
debezium
,使其根据自定义条件(如用户或公司或行/数据的某些关键列/属性)将数据放在不同的主题上。
浏览 0
提问于2019-01-24
得票数 1
1
回答
在ksqldb中,
连接器
和流之间的关系是什么?
apache-kafka
、
ksqldb
因此,我正在阅读有关
连接器
1的文档,并试图找出流和接收器
连接器
2之间的关系。
源
连接器
3有一个名为"table.whitelist“的属性,据我所知,该属性告诉
Debezium
只将这些表复制到ksqldb。我在这里的解释也是,CDC也用来将那些
源
表上发生的更改与ksqldb同步,但没有提到。 但是,单独的流和接收器
连接器
之间的关系呢?没有像"stream.whitelist“这样的属性。这是否真的意味着所有的流都会被发送到所有的
连接器
浏览 3
提问于2022-08-07
得票数 0
2
回答
如何根据kafka主题名称或消息键/值,使用mongodb接收器
连接器
对不同dbs和集合中的kafka主题进行分组
mongodb
、
apache-kafka
、
apache-kafka-connect
、
debezium
、
mongodb-kafka-connector
正如标题所述,我使用
debezium
Postgres
源
连接器
,并且我希望MongoDB接收器
连接器
根据不同的集合和数据库(也不同的dbs来分离无关数据)中的名称对kafka主题进行分组。在询问时,我在上看到了
连接器
属性。不幸的是,这只为每个kafka主题创建了一个集合,该集合成功地与指定的regex匹配,我计划使用相同的mongodb服务器来存储从
多个
debezium
源
连接器
中捕获的许多dbs。你能帮帮我吗?
浏览 14
提问于2022-09-24
得票数 0
1
回答
Apache Kafka的自定义
连接器
apache-kafka
、
apache-kafka-connect
、
confluent-kafka-dotnet
我希望为Apache编写一个自定义
连接器
,以连接到SQL数据库以获取CDC数据。我想编写一个自定义
连接器
,这样我就可以使用一个
连接器
连接到
多个
数据库,因为所有的市场
连接器
每个
连接器
只提供一个数据库。第一个问题:是否可以使用一个自定义
连接器
连接
多个
数据库?另外,在那个自定义
连接器
中,我可以定义数据应该指向哪些主题吗? 第二个问题:我是否可以用.NET编写一个自定义
连接器
,或者它必须是Java?对于.net中的数据库,我
浏览 1
提问于2021-12-02
得票数 1
回答已采纳
1
回答
Debezium
CDC
连接器
任务出现错误: javax.management.InstanceAlreadyExistsException
mysql
、
apache-kafka
、
apache-kafka-connect
、
debezium
我让我的
debezium
mysql
源
连接器
在Kafka上
工作
。我使用相同的数据库添加了另一个
debezium
mysql
源
连接器
,但具有不同的数据格式。结果,我的第一个
连接器
开始显示以下错误:at io.
d
浏览 274
提问于2019-07-11
得票数 0
1
回答
Debezium
的ExtractNewRecordState转换无法
工作
apache-kafka
、
apache-kafka-connect
、
confluent-platform
、
debezium
我正在构建一个数据同步器,它捕获来自MySQL
源
的数据更改,并将数据导出到配置单元。
Debezium
提供了一个,让我可以从复杂的事件消息中提取after字段。"transform": "unwrap", "transform.unwrap.type": "io.
debe
浏览 69
提问于2020-05-09
得票数 3
回答已采纳
1
回答
在Server上使用JDBC Sink
连接器
自动创建适当的日期时间类型字段
apache-kafka
、
confluent-platform
、
debezium
我使用
Debezium
1.2因此,我设置了MSSQL
源
连接器
和JDBC Sink
连接器
。transforms.TimestampConverter.target.type": "Timestamp",实际上,它可以<e
浏览 1
提问于2020-09-27
得票数 2
回答已采纳
1
回答
Debezium
mongo
源
连接器
:使用包含无效字符的名称创建的主题
mongodb
、
apache-kafka-connect
、
debezium
我使用的是
Debezium
Mongo
源
连接器
。作为,“卡夫卡主题的名称总是采用logicalName.databaseName.collectionName的形式”。我遇到了一个问题,原始的mongo集合名称包含无效字符,
不能
用作主题名称。例如,"exampleofcollection@name“。这会使mongo
源
连接器
在创建topic时失败。
浏览 12
提问于2018-08-13
得票数 0
1
回答
如何将嵌入式
Debezium
用于单个Postgres服务器中的
多个
数据库?
java
、
postgresql
、
spring-boot
、
debezium
还有另一个服务,service_
debezium
(带有嵌入式
Debezium
v1.6.1Final),应该侦听db_a和db_b中的变化。因此,基本上有两个
Debezium
引擎配置在这个服务中。但不知何故,service_
debezium
不能
同时
收听db_a和db_b。它只因为某种原因侦听其中的一个,并且没有错误日志。此外,如果我将service_
debezium
(即它的
Debezium
引擎)配置为侦听db_a或db_b,它的
工作</em
浏览 6
提问于2021-09-02
得票数 1
回答已采纳
1
回答
架构建议:如何实时聆听数据库更改?
mysql
、
apache-kafka
我有
多个
微服务写入数据库,在那里我修补了我的代码,将记录推入Kafka,而kafka的消费者正在估计并将结果推回DB。我的问题是:潜在解决方案 1.创建另一个微服务,成为卡夫卡的生产者。
浏览 5
提问于2020-05-21
得票数 1
回答已采纳
2
回答
卡夫卡从
多个
独立经纪人那里沉了下来
apache-kafka
、
apache-kafka-connect
我希望将
多个
数据库的更改聚合到一个数据库中,因此我想在每个数据库旁边运行一个
Debezium
连接器
和一个Kafka服务器/broker,并使用Kafka接收器
连接器
从所有的Kafka中使用,将其写入一个数据库问题是,我能否
同时
使用Kafka接收器
连接器
的一个实例,使用
多个
独立的Kafka代理(而不是集群)。
浏览 0
提问于2021-08-29
得票数 0
回答已采纳
1
回答
Kafka
源
连接器
中只有一次语义
apache-kafka
、
apache-kafka-connect
在阅读了Kafka幂等操作和事务之后,我想看看Kafka
源
连接器
是否使用了它们中的任何一个,以确保只有一次语义。经过一点阅读,我发现
源
连接器
使用了自己的某种“偏移量”,这让它存储了它所做的最后一次操作,然后我看到 用于MongoDB的
Debezium
源
连接器
只能实现至少一次语义。所以我的问题是,为什么MongoDB
源
连接器
不能
保证只有一次语义?如果
连接器
可以将其偏移量与事务中的每条消息一起提交,它
浏览 11
提问于2020-01-17
得票数 2
回答已采纳
1
回答
Kafka :启用更改跟踪从SQL server读取
sql-server
、
apache-kafka
、
apache-kafka-connect
、
cdc
、
debezium
我一直试图将数据从SQL server (启用更改跟踪)加载到Kafka,以便一个或
多个
系统(报表、其他DB等)能够使用这些数据。根据我发现的信息(在
debezium
论坛上),将为每个表创建一个主题-->它是否与kafka sql server
连接器
的
工作
方式相同?我在分布式模式下配置了连接,让kafka运行在
多个
服务器上,我们需要在每台服务器上运行连接吗? 有人使用过
Debezium
和sql服务器更改跟踪和kafka吗?
Debezium
的网站描述了这种连接的
浏览 0
提问于2018-11-08
得票数 2
2
回答
Azure事件网格自定义主题插入Azure SQL表时触发
azure
、
azure-sql-database
、
azure-eventgrid
参考:https://docs.microsoft.com/en-us/azure/event-grid/event-sources 注意:我
不能
使用Logic Apps来做这件事,因为它没有得到我们的我之所以这样说,是因为Logic Apps SQL connector现在允许基于SQL表插入的触发器--尽管这并不重要,因为我
不能
使用Logic Apps :(
浏览 9
提问于2020-03-25
得票数 2
回答已采纳
1
回答
覆盖kafka-connect
连接器
中的schemas.enable
json
、
apache-kafka
、
apache-kafka-connect
我有一个安装了
多个
连接器
的分布式Kafka Connect (6.x)集群。键和值转换器设置为org.apache.kafka.connect.json.JsonConverter。对于其中一个
连接器
( S3接收器),我需要在没有模式的情况下使用事件,因此在集群配置中将schemas.enable属性设置为false:key.converter.schemas.enable=False对于其他的(
Debezium
MySql
源
连接器
),我需要在事件中添加模式,因此属性应该为真。我尝试在<
浏览 62
提问于2021-01-20
得票数 0
回答已采纳
2
回答
ES
连接器
debezium
因错误而停止
apache-kafka
、
apache-kafka-connect
、
debezium
为了了解cdc的
工作
原理,我一直在使用
debezium
站点提供的下面的eaxmple。{"config": { "connector.class": "io.<em
浏览 0
提问于2019-09-02
得票数 2
回答已采纳
1
回答
在jdbc同步
连接器
中转换/指定表名
sql-server
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
、
debezium
我确实有一个
源
debezium
连接器
"name": "mssql_src", "connector.class": "io.
debezium
.connector.sqlserver.SqlServerConnector"transforms": "unwrap", "transforms.unwrap.type": &qu
浏览 5
提问于2020-12-11
得票数 1
1
回答
Kafka-MongoDB
Debezium
连接器
:分布式模式
apache-kafka
、
apache-kafka-connect
、
debezium
、
mongodb-kafka-connector
我正在研究
debezium
mongodb
源
连接器
。我尝试了这一点,我看到
连接器
成功启动,没有错误,只是少数警告,但没有数据从mongodb流动。./bin/connect-distributed .下面是本 的教程
浏览 0
提问于2020-01-10
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
CDC Debezium 介绍
使用 Kafka、Debezium 和 Kubernetes 实现应用现代化的模式
Debezium和Quarkus:通过CDC模式来避免双重写入
微服务需要一场由内至外的变革
Kafka的三种客户端线程模型和一个小惊喜
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券