Mongodb Kafka连接器如何观看多个集合
Mongodb Kafka连接器是一种用于将MongoDB数据库与Kafka消息队列进行集成的工具。它允许将MongoDB中的数据更改事件实时地推送到Kafka主题，以供其他应用程序消费和处理。
观看多个集合的方法取决于具体的Mongodb Kafka连接器实现。以下是一般的步骤：
- 配置连接器：首先，需要配置Mongodb Kafka连接器以连接MongoDB数据库和Kafka消息队列。这通常涉及指定MongoDB的连接字符串、Kafka的连接信息以及要观察的集合名称。
- 指定多个集合：一些Mongodb Kafka连接器支持通过配置文件或命令行参数指定多个集合。您可以在配置中列出要观察的多个集合名称，以便连接器可以同时监视它们。
- 使用正则表达式：如果连接器不直接支持指定多个集合，您可以使用正则表达式来匹配多个集合名称。例如，如果您的集合名称遵循某种模式，您可以使用正则表达式来匹配这些集合名称，并将其作为连接器的配置参数。
- 多个连接器实例：如果无法通过单个连接器实例观看多个集合，您可以考虑创建多个连接器实例。每个连接器实例负责观看一个集合，并将其更改事件推送到相应的Kafka主题。
需要注意的是，具体的实现和配置可能因不同的Mongodb Kafka连接器而有所不同。因此，在实际使用时，建议参考相应连接器的文档和示例，以了解如何观看多个集合。
腾讯云提供了一款名为TDMQ（Tencent Distributed Message Queue）的消息队列产品，可以作为替代Kafka的选择。您可以在腾讯云官网上了解更多关于TDMQ的信息：https://cloud.tencent.com/product/tdmq
相关·内容
1回答
Mongodb Kafka连接器如何观看多个集合
mongodb、apache-kafka-connect、mongodb-kafka-connector
我正在尝试使用Mongo Kafka连接器捕获MongoDb更改数据。当我放入一个集合名，如collection=collection1，并将pipeline作为[{"$match":{"operationType":{"$in":["insert","update","replace","delete"]}}}]时，它可以工作，但当我将集合留空时，我无法让它工作，并
浏览 12提问于2020-11-28得票数 0
2回答
蒙戈卡夫卡连接器收集听的限制
mongodb、apache-kafka、apache-kafka-connect、mongodb-kafka-connector
我们在蒙古族有几个基于n个租户的集合，并且希望kafka连接器只监视特定的集合。,“ca-tesla-cms-instance”,“ecom-tesla-cms-page”,“ca-tesla-cms-page”]}}}]
最好的做法是，
浏览 5提问于2022-05-12得票数 0
2回答
如何根据kafka主题名称或消息键/值，使用mongodb接收器连接器对不同dbs和集合中的kafka主题进行分组
mongodb、apache-kafka、apache-kafka-connect、debezium、mongodb-kafka-connector
正如标题所述，我使用debezium Postgres源连接器，并且我希望MongoDB接收器连接器根据不同的集合和数据库(也不同的dbs来分离无关数据)中的名称对kafka主题进行分组。在询问时，我在上看到了连接器属性。不幸的是，这只为每个kafka主题创建了一个集合，该集合成功地与指定的regex匹配，我计划使用相同的mongodb服务器来存储从多个debezium源连接器中捕
浏览 14提问于2022-09-24得票数 0
1回答
从mysql到mongo数据库的数据调度问题
mysql、mongodb、apache-kafka、etl、data-synchronization
，并将其存储在Mongo中 Col11 Col13 Col15Mongo集合
浏览 14提问于2020-02-04得票数 0
3回答
如何将多个集合映射到mongodb-接收器连接器中的多个主题？
mongodb、apache-kafka、apache-kafka-connect
我使用mongodb接收器连接器从json数据中读取某些主题，然后将它们写入mongodb中的各自集合中。但是，当我提供具有主题集合映射的多个集合时，连接器不识别集合名称，而是创建与主题名称相同的集合。下面是辅助配置：connector.class=com.mongodb.kafka.connect.Mon
浏览 2提问于2020-01-16得票数 2
回答已采纳
1回答
Debezium mongodb连接器属性将cdc限制为特定集合
mongodb、apache-kafka-connect、mongodb-atlas、debezium、mongodb-kafka-connector
我们可以限制我们在debezium mongodb连接器中的连接器属性中检索的数据量吗?configurations.As debezium在数据库中查找cdc，据我的理解，它是针对整个数据库的，我无法找到一种方法来限制很少的特定集合。我正在使用mongodb地图集连接链接在我的debezium连接器。: "kafka:9092",
浏览 1提问于2019-12-11得票数 1
1回答
用于读取mongoDB集群中的多个集合的单个或多个源kaka连接器
apache-kafka-connect、mongodb-kafka-connector
我想知道是否建议为同一数据库或同一MongoDB集群中不同数据库中可用的多个集合数据创建多个Kafka连接器。请提出建议的方法。
浏览 20提问于2022-01-19得票数 0
回答已采纳
2回答
卡夫卡连接器如何将数据从卡夫卡流到MongoDB
mongodb、apache-kafka、apache-kafka-connect
我想通过使用Kafka连接器将数据从Kafka流到MongoDB。我找到了这个。但没有什么可做的。提前谢谢你。添加了新的配置文件topics=test
connector.class=com.mongodb.kafka.connect.Mo
浏览 2提问于2019-07-04得票数 7
回答已采纳
2回答
Apache与MongoDB4.0的官方MongoDB源连接器
mongodb、apache-kafka、apache-kafka-connect、mongodb-kafka-connector
我想过这个看起来不错的设计：我这里的问题是，我正在使用MongoDB4.0，“Apache的MongoDB源连接器</em
浏览 7提问于2020-05-08得票数 1
回答已采纳
2回答
与MongoDB卡夫卡连接器一起使用多个集合
mongodb、apache-kafka、apache-kafka-connect
根据文档，如果不提供一个值，它将从所有集合中读取ERROR WorkerSourceTask{id=mongo-source-0} Task threw an uncaught=", "$type": "00"}, "keyId": {"$numberLong":
浏览 9提问于2020-10-28得票数 0
1回答
多集mongodb到Kafka主题
mongodb、apache-kafka、apache-kafka-connect、mongodb-kafka-connector
应用程序每月将数据写入一个新集合(例如，journal_2205、journal_2206)。是否可以将连接器配置为从新集合读取oplog并将其写入一个主题？我用连接器谢谢！
浏览 1提问于2022-05-09得票数 0
2回答
卡夫卡和mongoDB连接器的发件箱模式
mongodb、apache-kafka、mongodb-kafka-connector
我想在我们的微服务中实现发件箱模式，使用Mongo连接器，在发件箱( MongoDB集合)中，我使用以下字段存储主题数据：kafka_topic、kafka_key、kafka_value、kafka_header_keys、kafka_header_values。但是，我应该如何配置mongo连接器来动态地从kafka_topic字段中选择主题，以及如何从其他发件箱字段中选择其值
浏览 3提问于2020-12-25得票数 2
1回答
kafka接收器连接器中无效JSON的错误处理
mongodb、error-handling、apache-kafka、apache-kafka-connect
我有一个mongodb的接收器连接器，它从主题中提取json并将其放入mongoDB集合中。应该发生的是连接器应该跳过并记录无效的JSON，并保持连接器运行。我的分布式模式连接器如下所示： "name": "sink-mongonew_test1", "connector.class": "com.mongodb.<
浏览 0提问于2020-02-11得票数 0
2回答
卡夫卡连接- Mongodb Sink连接器
mongodb、apache-kafka、mongodb-kafka-connector
我是卡夫卡连接器的新手。我已经探索了大约一个星期了。我通过mongodb连接器curl命令使用了创建和更新mongodb。我有点纠结于理解下面的概念和实施。它将如何被自动化？例如，如果我将数据从我的应用程序传递给生产者，应该为每个请求调用curl命令吗？ "document
浏览 13提问于2022-08-03得票数 0
1回答
Kafka mongo db源连接器不工作
apache-kafka、apache-kafka-connect、mongodb-kafka-connector
嗨，在我的POC中，我同时使用了接收器和源mongodb连接器。下面是代码。/json" -d '{ "connector.class":"com.mongodb.kafka.connect.MongoSour
浏览 4提问于2021-05-31得票数 1
1回答
NodeJS : KafkaJSProtocolError:组成员支持的协议与现有成员的协议不兼容
docker、apache-kafka、apache-kafka-connect、debezium、kafkajs
我试图使用MongoDB debezium连接器从Kafka捕获数据，但是当我尝试用KafkaJS读取数据时，会出错：
"io.debezium.connector.mongodb.MongoDbConnector"，/json“-H”内容-Type:application&#x
浏览 0提问于2019-03-27得票数 0
回答已采纳
1回答
使用带Avro序列化的Debezium mongodb CDC创建的架构太多
apache-kafka-connect、confluent-schema-registry、debezium
我正在使用Debezium mongodb连接器来流式传输来自mongo中30 in集合的更改。" : "1", "mongodb.name" : "", "mongodb.password&qu
浏览 29提问于2019-02-18得票数 1
回答已采纳
2回答
在跟踪集合上的更新操作时，如何使用kafka mongodb源连接器获得完整的文档？
mongodb、apache-kafka、apache-kafka-connect、confluent-platform
我使用的是Kakfa https://www.confluent.io/hub/mongodb/kafka-connect-mongodb源代码连接器，它使用的是Connector v5.4。下面是我的MongoDB源连接器配置 "name": "mongodb-replica-set-connector",
浏览 0提问于2020-07-18得票数 2
回答已采纳
1回答
Kafka-MongoDB Debezium连接器:分布式模式
apache-kafka、apache-kafka-connect、debezium、mongodb-kafka-connector
我正在研究debezium mongodb源连接器。我能否以分布式模式在本地机器上运行连接器，方法是将kafka引导服务器地址作为远程机器(部署在Kubernetes中)和远程MongoDB url？我尝试了这一点，我看到连接器成功启动，没有错误，只是少数警告，但没有数据从mongodb流动。./bin/connect-distributed ./etc/kafka&
浏览 0提问于2020-01-10得票数 3
回答已采纳
2回答
与使用MongoDB变更流相比，卡夫卡连接器相对于MongoDB的优势是什么？
database、mongodb、apache-kafka、elasticsearch
我需要将更改从MongoDB实例流到Elasticsearch。我还需要对更改的文档执行复杂的转换。在做了一些研究之后，我把选择范围缩小到2：使用Kafka连接器(如德贝兹 )捕获MongoDB并将其流到Kafka，然后让用户订阅Debezium主题。因此，我想知道哪些用例值得使用更复杂的选项(Kafka连接器)，或者我可能遗漏了什么。我的MongoDB设置是一个具有单个主节点的副本集(它过去是一个独立的实
浏览 0提问于2021-07-31得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
