Debezium PostgresConnector实例化主题，因为表中没有数据
Debezium PostgresConnector是一个用于将PostgreSQL数据库中的数据更改事件捕获并发送到消息队列或事件流平台的开源工具。它可以实时监测数据库中的表，并将表中的数据更改事件以流的形式传递给其他应用程序进行处理。
在实例化主题时，Debezium PostgresConnector需要配置以下参数：
connector.class：指定使用的连接器类，对于PostgreSQL，应设置为io.debezium.connector.postgresql.PostgresConnectordatabase.hostname：PostgreSQL数据库的主机名或IP地址database.port：PostgreSQL数据库的端口号database.user：连接到PostgreSQL数据库的用户名database.password：连接到PostgreSQL数据库的密码database.dbname：要监测的数据库名称database.server.name：用于唯一标识此连接器实例的名称table.include.list：要监测的表的名称列表，可以使用正则表达式进行模式匹配topic.creation.enable：是否自动创建Kafka主题来存储数据更改事件
通过配置以上参数，可以实例化一个Debezium PostgresConnector主题，并开始监测指定的表。当表中没有数据时，连接器将等待并监听新的数据更改事件，并将其发送到指定的消息队列或事件流平台。
推荐的腾讯云相关产品：腾讯云消息队列 CMQ、腾讯云云原生数据库 TDSQL、腾讯云云服务器 CVM。
腾讯云产品介绍链接地址：
- 腾讯云消息队列 CMQ：https://cloud.tencent.com/product/cmq
- 腾讯云云原生数据库 TDSQL：https://cloud.tencent.com/product/tdsql
- 腾讯云云服务器 CVM：https://cloud.tencent.com/product/cvm
相关·内容
我正在创建一个CDC Postgres.source --> Kafka / Debezium --> Postgres.sink。 源主题创建得很好，但只有在表有数据的情况下才能创建。有没有办法在没有数据的情况下实例化所有的主题？因为我想用maven命令下载所有AVRO模式： mvn schema-registry:download 我的配置： {
"name": "postgres-source",
"config": {
"connector.class":"io.debezium.co
浏览 20提问于2021-07-30得票数 0
当使用 Docker图像时，不会为我的表创建一个Kafka主题。下面是我如何启动容器的方法：
docker run -it --rm --name debezium -p 8083:8083 -e GROUP_ID=1 -e CONFIG_STORAGE_TOPIC=my-connect-configs \
-e OFFSET_STORAGE_TOPIC=my-connect-offsets -e BOOTSTRAP_SERVERS=192.168.56.1:9092 \
-e CONNECT_NAME=my-connector -e CONNECT_CONNECTOR_CLASS=io.d
浏览 14提问于2022-10-19得票数 0
我正在运行ladoop/fast-data-dev并使用Debezium的PostgresConnector。我已经配置了连接器，但是没有创建主题。 在此连接器上未发现主题是错误。 Docker-compose集群： kafka-cluster:
image: landoop/fast-data-dev:latest
environment:
ADV_HOST: 127.0.0.1 # Change to 192.168.99.100 if using Docker Toolbox
RUNTESTS: 0
浏览 20提问于2019-05-12得票数 2
我正在使用Debezium (一个Kafka连接器)来捕获Postgres数据库的更改，并且从Debezium获得了一个错误。是否有人知道下面的错误意味着什么，并可能提出解决它的建议。
更多的调试信息：
我试过"schema.include.list"：“银行”和"database.include.list"：“银行”。我试过debezium/connect:1.4，它能工作.但没有使用debezium/connect:1.5+ (1.9的版本与现有版本一样高，并且不工作(与下面的错误相同)
Postgres|dbserver1|snapshot After
浏览 24提问于2022-05-09得票数 0
回答已采纳
我正在尝试使用debezium kafka连接以下设置的cdc：
ZookeeperKafka PostgreSQLKafka连接Debezium
我还按照这个顺序配置和启动它们。
启动Kafka Connect Debezium之后，我做了一个帖子来配置它：
{
"name": "postgres-boxes-connector",
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector"
浏览 3提问于2019-11-27得票数 0
回答已采纳
7回答
当我们使用Debezium和Postgres时，我们看到的是心跳似乎不起作用的问题。我们已经在目标数据库中创建了一个虚拟表，用于执行心跳操作，但我们从未看到对该表中的数据进行任何更改。
我们启用了心跳，因为我们看到的是它设计的相同的行为，即。
我们正在使用Postgres 12，Debezium 1.3 (或1.5，已经对两者进行了实验)
配置是
{
"name": "my-service-outbox",
"config": {
"connector.class": "io.debezium.conn
浏览 10提问于2021-02-09得票数 0
回答已采纳
1回答
我是Debezium的新手，我希望我的Debezium Server流将事件从Postogres更改为Redis (流)。
在日志中，它似乎读取了数据库中的更改，但没有在redis中发布任何内容。
我的配置application.properties
debezium.sink.type=redis
debezium.sink.redis.address=0.0.0.0:6379
debezium.sink.redis.batch.size=10
debezium.source.connector.class=io.debezium.connector.postgresql.PostgresC
浏览 13提问于2022-08-15得票数 0
我成功地在Postgres DB中生成了CDC。今天，当我使用相同的步骤尝试为另一个Postgres DB设置Kafka Debezium连接器时。
我先跑了
POST
身体：
{
"name": "postgres-kafkaconnector",
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"tasks.max":
浏览 20提问于2022-02-15得票数 0
回答已采纳
我正在尝试使用来读取母版DB中的更改。我在本地系统上运行了Kafka，我希望在独立模式下使用读取服务器数据库更改。
connect-standalone.sh connect-standalone.properties dbezium.properties
如果有人能帮我设置CDC后置debezium连接器的配置属性，我将不胜感激。
我按照下面的步骤来构造这些属性
默认情况下，Kafka主题的名称采用表单serverName.schemaName.tableName，其中serverName是用database.server.name配置属性指定的连接器的逻辑名称。
这是我为dbe
浏览 0提问于2019-04-11得票数 0
Dezebium在表被删除后不会为它们重新创建主题。在中，我能够创建一个Kafka主题来从table.include.list中指定的表中流更新。我删除了主题并使用相同的配置重新运行了bin/connect-standalone.sh，如下所示，但是没有重新创建相同的主题。我删除了table.include.list、reran bin/connect-standalone.sh，并且重新创建了表myschema.ipaddrs以外的所有主题。我删除了这些主题，重新运行bin/connect-standalone.sh，并且没有重新创建任何主题。
name=testdb
connector.c
浏览 4提问于2022-10-20得票数 0
回答已采纳
我试图使用JDBC接收器连接器在Postgres中镜像一个KSQL表，但不幸的是，我无法使它工作。
我正在使用Kafka 5.4.1，我有2个debezium 1.0主题与Avro连载来自我的Postgres。这是我的Debezium连接器的配置：
{
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"database.dbname": "xxx",
"tasks.max
浏览 9提问于2020-03-24得票数 1
回答已采纳
我有一个CDC设置的Postgres DB。
我为Postgres DB部署了Kafka Debezium连接器1.8.0。
POST
身体：
{
"name": "postgres-kafkaconnector",
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"tasks.max": "1",
浏览 4提问于2022-02-17得票数 0
回答已采纳
我使用postgres配置了debezium，如下代码所示，当我启动我的spring引导应用程序时，a get an error Creation of replication slot failed @Bean
public io.debezium.config.Configuration connector() {
return io.debezium.config.Configuration.create()
.with(EmbeddedEngine.CONNECTOR_CLASS, PostgresConnector.class)
浏览 902提问于2021-04-02得票数 5
当使用AWS MSK连接器(Debezium Postgres连接器)时，我目前面临以下问题
0509fac07b9701a23错误测试jdbc:postgresql://debezium-cdc.fac07b9701a2.ap-south-1.rds.amazonaws.com:5432/ecommerce与用户“debezium”(io.debezium.connector.postgresql.PostgresConnector:133)的连接失败
我已经在EC2上使用Kafka客户端测试了AWS连接器，我能够生成和使用消息。我还设置了AWS S3 Sink连接器，这也是工作。
我已经
浏览 11提问于2022-01-19得票数 0
我使用debezium cdc连接pg，我构建了由码头使用的pg 11，pg运行良好。当我在kafka连接器中使用debezium时，它报告：
无法获得数据库测试的编码
卷曲是：
curl -H "Accept: application/json" -H "Content-type: application/json" -X POST http://localhost:8083/connectors/ -d '{
"name": "debezium",
"config": {
浏览 18提问于2020-07-08得票数 3
回答已采纳
1回答
我正在使用KafkaCluster在K8s上部署KafkaConnect。
Strimzi算子集群图像:quay.io/strimzi/运算符:0.26.1
卡夫卡图像: quay.io/strimzi/ Kafka :0.26.1-kafka-3.0.0。
我正在尝试设置连接到Postgres的KafkaConnector。
以下是我的步骤：
从这个图像‘quay.io/strimzi/kafka:0.26.1-Kafka3.0.0’构建一个新的KafkaConnect。这个新的图片有插件，我从这个链接'‘下载
我在K8s上运行这个新映像，然后执行到K
浏览 7提问于2021-12-22得票数 0
我试图添加到我的卡夫卡连接。
首先，我验证了我的配置
放置
{
"name": "postgres-kafkaconnector",
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"tasks.max": "1",
"database.hostname": "example.com",
"database.port"
浏览 11提问于2022-01-29得票数 0
回答已采纳
我用debezium插件运行zookeeper，kafka和kafka连接。我看不到任何错误。我已经把一个数据库和几个表列入了白名单。在插入或更新表时，不会创建主题；/tmp/kafka-logs中的主题也不会有数据目录。我刚刚尝试为其中一个表创建一个主题(一种只有一列的虚拟表't‘)，但是在t中插入一行之后，该主题的日志中没有数据...日志的屏幕截图如下 只有一个主题(我创建的那个主题，看看如果我自己创建它，它是否会被填充；我没有想到它会被填充，它也不是)： vagrant@coton:~$ ./kafka/kafka_2.13-2.8.0/bin/kafka-topics.sh
浏览 33提问于2021-07-25得票数 0
1回答
我们目前正在尝试使用Debezium来捕获Postgres数据库中4个表的更改。我们目前知道，对于这个用例，我们可以使用kafka-streams应用程序为KTable连接/聚合表，但是我们希望保持kafka流拓扑的简单性，所以我们的想法是使用来自Postgres的物化视图并捕获它的变化。
是否有可能做到这一点，如果是的话，我们应该如何配置它？
卡夫卡连接源配置：
{
"name": "campaign-db-source-connector",
"config": {
"connector.class": "
浏览 2提问于2019-10-24得票数 2
回答已采纳
我对我的卡夫卡制作人有错误。我使用Debezium Kafka连接器V1.1.0 Final和Kafka 2.4.1。对于带有pk的表，所有表都被清晰地刷新，但不幸的是，对于没有pk的表，它给出了以下错误：
[2020-04-14 10:00:00,096] INFO Exporting data from table 'public.table_0' (io.debezium.relational.RelationalSnapshotChangeEventSource:280)
[2020-04-14 10:00:00,097] INFO For table '
浏览 0提问于2020-04-14得票数 10
回答已采纳
我正在使用debezium连接器实现一个发件箱模式，建立在官方文档的基础上。
一切都很好--除了属性"transforms.outbox.table.expand.json.payload: true“不起作用外。
使用以下数据库记录(SQL )：
INSERT INTO public.outbox_event_entity (id, event_id, "key", payload, topic, "type") VALUES(0, 'e09d6355-8e7c-4055-936c-4f997423925e', '1',
浏览 8提问于2021-12-12得票数 0
回答已采纳
我想使用Debezium实现PostgreSQL数据库上的更改数据捕获(CDC)。现在，我还不完全理解如何处理Debezium的交易。
让我们考虑下面的示例--我在源PostgreSQL数据库中有两个表。我在单数据库事务范围内将数据插入到这两个表中。换句话说，我必须执行两个单独的INSERT语句。如果我对Debezium CDC的理解是正确的，那么它将产生两个单独的消息，分为两个单独的Kafka主题(或AWS动态流)。每个消息都将由自己的使用者使用，并在单独的事务中插入到目标数据库中。如果其中一个事务失败，另一个事务可能会成功，我将在目标数据库中遇到数据不一致状态。
Debezium是否有任何
浏览 2提问于2020-08-08得票数 1
回答已采纳
我当前的测试配置如下所示：
version: '3.7'
services:
postgres:
image: debezium/postgres
restart: always
ports:
- "5432:5432"
zookeeper:
image: debezium/zookeeper
ports:
- "2181:2181"
- "2888:2888"
- "3888:3888"
kafka:
im
浏览 4提问于2020-01-15得票数 2
回答已采纳
1回答
我有一个MySQL数据库，有20个表。数据被标准化了。
考虑到这个例子：
book -> book_authors <- authors
我们试着把书的信息串流起来。
{book_id:3, title='Red', authors:[{id:3, name:'Mary'}, {id:4, name:'John'}]}
例如，当我们看到一个严重的问题:如果一个作者的名字改变，我们必须重新生成他们的所有书籍。我正在使用Debezium为卡夫卡中的每个表发布更改日志。
我无法找到一个优雅的解决方案，数据去正规化，例如。用于将其添加到Ela
浏览 2提问于2019-12-14得票数 4
回答已采纳
Google最终添加了对Cloudsql postgresql逻辑复制/解码支持的支持。我尝试做的是使用Debezium捕获数据库表上的更改，然后将更改以json形式发布到Gcp pubsub。我正在使用Debezium服务器和Gcp Pubsub Sink，只是为了验证连接是否正常工作，但一直收到以下错误消息org.postgresql.util.PSQLException: ERROR: could not access file "decoderbufs": No such file or directory
所以看起来它将插件默认设置为decoderbufs，但是我确实
浏览 2提问于2021-06-04得票数 2
当我用debezium连接器创建一个kafka连接连接器时，它会产生四个数据库连接。其中三个仍然处于空闲状态，而一个作为实际的复制槽工作。我找不到任何关于数据库连接的预期数量的信息。
这是我发到/connectors的配置
{
"name": "my.source.connector",
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"tasks.max"
浏览 1提问于2022-04-13得票数 4
回答已采纳
我将迁移到kafka作为代理和debezium，以便从报告和搜索数据库的所有微服务中获取数据(ETL数据)。
有没有办法配置debezium，使其根据自定义条件(如用户或公司或行/数据的某些关键列/属性)将数据放在不同的主题上。
浏览 0提问于2019-01-24得票数 1
我使用Debezium MySql连接器将数据库更改事件从MySql数据库流式传输到Kafka。我需要将特定的转换应用于某些指定表(而不是其他表)中的记录。有没有一种只使用Kafka Connect单消息转换(没有Kafka Streams或KSQL)的方法？我甚至不介意写一个自定义的SMT。但我找不到如何为消息指定要应用SMT的表/主题。谢谢。 在简短的调查之后，我决定使用KSQL。感谢大家的回答
浏览 10提问于2019-04-11得票数 1
我在容器中有Debezium，捕获PostgeSQL数据库记录的所有更改。
PostgeSQL数据库大约有1GB，有1000个表。另一方面，Debezium被配置为捕获所有表更改，在初始加载后，它的存储容量约为100 it。
我知道从转换到JSON会有一个开销，但是两者之间的差别要大很多倍。
有没有什么可以被配置来减少kafka主题存储的东西？
浏览 16提问于2022-10-31得票数 1
回答已采纳
2回答
我在检测Postresql超级表(TimescaleDB扩展)上的更改时遇到了问题。
设置：
我安装了Postresql(ver11.10)和TimescaleDB(ver1.7.1)扩展。我有两个表，我想用Debezium(ver1.3.1)连接器监视它们，安装在Kafka上，用于CDC(捕获数据更改)。
表是table1和table2hyper，但是table2hyper是超表的。
在Kafka Connect中创建Debezium连接器之后，我可以看到创建了两个主题(每个表一个)：
(A) kconnect.public.table1
(B) kconnect.public.ta
浏览 10提问于2021-01-29得票数 2
嗨，我正在使用debezium捕获Mongo中的更改并将它们推入mysql --我使用下面的链接将end替换为mysql数据库，但我无法这样做。
这是我修改过的jdbc-sink.json，在这里我使用mysql url进行连接。
{
"name" : "jdbc-sink",
"config" : {
"connector.class":"io.confluent.connect.jdbc.JdbcSinkConnector",
"tasks.max"
浏览 0提问于2019-11-06得票数 0
1回答
Kafka与Debezium连接
、、、、
我已经设置了环境与Postgresql数据库，使用连接器与卡夫卡连接和卡夫卡。Kafka有多个实例(3)正在运行，并且配置了Zookeeper (3)整个流水线中的.The连接正在工作，但根据Debezium的文档，没有根据数据库中的表自动创建主题。例如，如果表A和表B在某个模式中，我假设这两个主题是在Kafka中隐式创建的。连接器和任务的状态是RUNNING，下面提到的是我对连接器所做的配置。
{
"name": "geo-connector",
"config": {
"connector.class":
浏览 11提问于2018-08-09得票数 2
1回答
我正在学习debezium连接器和im使用debezium for postgresql。我有一个小问题要澄清。
想象一下这样的情况。我有一个名为tableA的表的debezium连接器，该表上发生的更改发布到一个名为topicA的主题。连接器工作时没有任何问题，并且更改发布到主题时没有任何问题。现在，考虑到出于某种原因，我需要删除连接器，并为同一个发布到相同主题的表启动一个配置相同的新连接器。因此，在我停止我的连接器和开始一个新的与相同的信任之间有一个时间间隔。在此期间在我的tableA上得到更改的数据发生了什么变化。
会从停止的地方开始还是会发生什么？
浏览 8提问于2022-10-05得票数 0
回答已采纳
我使用的命令是：# bin/connect-standalone.sh config/connect-standalone.properties config/debezium-config.properties 我的debezium-config.properties是： name=publications-connector
database.hostname=localhost
database.port=5432
database.user=andy
database.password=postgres
database.dbname=postgres
database.server
浏览 45提问于2019-06-08得票数 3
1回答
复制槽已存在
、、
每当我重启debezium kafka-connect容器，或者部署另一个实例时，我都会得到以下错误：
io.debezium.jdbc.JdbcConnectionException: ERROR: replication slot "debezium" already exists
at io.debezium.connector.postgresql.connection.PostgresReplicationConnection.initReplicationSlot(PostgresReplicationConnection.java:136)
浏览 0提问于2018-06-08得票数 6
1回答
我正在使用Debezium PostgreSQL连接器将用户表转换为一个Kafka主题。
我有一个JDBC Sink连接器，然后从主题中读取数据并将其推入自己的数据库中。
现在，我需要另一个Microservice数据库的数据子集。因此，我计划编写另一个JDBC Sink连接器。
问题:使用现有的users表主题是一个很好的实践吗？如果是，那么我如何确保新的JDBC连接器是整个users表的快照
浏览 6提问于2022-05-26得票数 1
1回答
我正在尝试使用Debezium将托管在Amazon RDS中的Postgres SQL数据库与Kafka主题连接起来。
我将遵循以下教程：
我的kafka和kafka连接服务启动正常，并且kafka连接服务还在/usr/share/java dir中获取我的debezium postgres连接器jars。
但是，在尝试通过kafka connect API附加postgres config json时，请使用以下curl命令：
curl -i -X POST -H "Accept:application/json" -H "Content-Type:applicat
浏览 4提问于2018-06-14得票数 2
将新表添加到Postgres连接器的步骤应该是什么？我的连接器正在跟踪两个表(table1和table2)，我想添加另一个表(table3)，这个表已经存在，并且在我的数据库中有数据。 这是我的当前配置： {
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"database.dbname": "db_name",
"database.hostname"
浏览 62提问于2021-04-19得票数 2
我不使用confluent，只使用apache kafka，已经添加了mongo插件，得到... / MongoSinkConnector -plugins响应，列出连接器
[
{
"class": "com.mongodb.kafka.connect.MongoSinkConnector",
"type": "sink",
"version": "1.5.0"
},
{
"class": "com.mongodb.kafka.connect.
浏览 3提问于2021-04-23得票数 1
1回答
我在容器中有Debezium，捕获PostgeSQL数据库记录的所有更改。
如何删除所有已经创建的kafka主题，并为所有配置的表从一开始启动即席快照？
浏览 5提问于2022-10-30得票数 0
回答已采纳
我已经使用debezium-connector-postgres-1.8.0.Final-plugin connector.Below是我的Standalone.properties文件成功地将postgresql连接到kafka：
rest.port=8084
bootstrap.servers=localhost:9092
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.convert
浏览 3提问于2022-02-08得票数 0
回答已采纳
我正在尝试使用Postgres和AWS动态设置debezium服务器，使用以下说明：
并在执行sh run.sh时面对这个问题
io.debezium.DebeziumException: Creation of replication slot failed
at io.debezium.connector.postgresql.PostgresConnectorTask.start(PostgresConnectorTask.java:143)
at io.debezium.connector.common.BaseSourceTask.start(BaseSourceTa
浏览 12提问于2022-04-07得票数 0
1回答
我有一个用例，为了遵从性的目的，我想审计另一个表中的DB表数据更改。首先，应该审计对数据的任何更改，如插入/更新/删除。我找到了不同的选项，比如 JaVers Hibernate Envers 数据库触发器 ，以及 Debezium ..。 我避免使用JaVers和Hibernate Envers，因为这不会捕获通过直接SQL查询发生的任何数据更改以及通过其他应用程序发生的任何数据更改。我看到的另一个问题是，我们需要将与审计相关的代码添加到同一事务边界中的主应用程序代码中。 我也在避免使用数据库触发器，因为我们根本没有在任何部署中使用触发器。 然后我带着Debezium离开了，它很有前途
浏览 61提问于2021-03-01得票数 1
回答已采纳
我给出了以下配置的Debezium Postgres连接器和注册。配置如下.
{
"name": "shipments-connector",
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"slot.name":"postslot",
"plugin.name": "pgoutput",
"database.host
浏览 8提问于2022-08-19得票数 2
我们希望根据操作类型来区分Kafka(它来自Debezium)中的消息。我们正在寻找基于卡夫卡操作类型的路由消息。
Debezium发送不同类型的操作类型，如r(读)、u(更新)、删除(D)等。
就像这样
如果操作=r ->发送到桶1
如果操作= u，d ->发送到桶2
我们希望将快照和增量数据从Debezium中分离出来。
浏览 5提问于2022-07-06得票数 0
我有一个相对简单的postgres源代码my-connector，作为一个debezium/connect:latest停靠容器运行。
{"name":"my-connector","config":
{"connector.class":"io.debezium.connector.postgresql.PostgresConnector",
"database.user":"postgres",
"database.dbname":"postgres
浏览 2提问于2021-03-22得票数 0
回答已采纳
2回答
我对这个拱门的jdbc接收器有个问题。
postgres1
生产者工作正常，但消费者有一个错误：
org.apache.kafka.connect.errors.RetriableException: java.sql.SQLException: java.sql.BatchUpdateException:批处理条目0插入"customers“("id")值(1)在冲突("id")上，更新集被中止:错误:输入connect_1的结尾处的语法错误
位置: 77调用getNextException查看批处理中的其他错误。
这是我的source
浏览 2提问于2019-04-30得票数 2
第一次发射后，Debezium将对已经存在的数据进行初始数据快照。
假设我有两张桌子-- A和B。表B对NOT NULL对A有FK约束。根据Debezium默认方法，Debezium将为表A和B中的数据创建两个单独的Kafka主题。
据我理解，我很有可能尝试在新表B中创建记录，而适当的记录A将不存在于适当的新表A中。这样，我就会遇到违反约束的错误。
我是否需要使用内部第三方缓冲区并自行组织插入到接收器数据库的适当顺序，还是Debezium中有一些标准机制来处理这种情况？
例如，我可以使用Debezium主题路由 来解决此类问题吗？我可以将主题路由配置为将所有依赖的事件(从上面示例中的表A和表B
浏览 3提问于2020-08-17得票数 0
嗨，我是新来的德贝兹
我计划通过从每个数据库中使用debezium来实现一个实时数据库( mysql和mongo)的集成，我需要从mysql和mongo将数据同步到目标数据库(mysql和mongo)，我只需要从每个数据库中分别获得X个表和y个集合。
在这些x个表数和y个集合数中，我只需要根据每个表和集合的集合设置特定的数据集。
这里的条件不是直接的，我的意思是，例如，如果我们使用mysql数据库，我需要用一个特定的表连接一个表(我想捕获cdc的表)来记录记录，并且只捕获匹配的记录。
以上是我的要求，我对这些要求有一些疑问。
根据基于每个表的debezium文档，它创建了一个主题，对于每个主题
浏览 1提问于2021-08-12得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
