腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
我们可以在
mongodb
中
更新
/
更新
记录吗?数据源为
kafka
apache-kafka
、
apache-kafka-connect
、
mongodb-kafka-connector
我们可以在
mongodb
中
更新
/
更新
记录,但是是否有任何方法或函数可以让我们直接在
mongodb
中
更新
或
更新
文档
,源系统是
kafka
,目标系统是
mongodb
。
浏览 21
提问于2019-12-09
得票数 9
回答已采纳
2
回答
mongodb
接收器
连接器
,
kafka
消息密钥到
mongodb
文档
字段
mongodb
、
apache-kafka
、
apache-kafka-connect
我目前正在使用mongo同步
连接器
。: 1642398180000, "NB_ACTIVE_IMP_COUNT": 0,我希望使用同步
连接器
将EXPUNIT_KEY和INVENTORY_ID (这是
kafka
消息的关键字段)放到mongo
文档
的字段中。如果您检查
mongodb
接收器
连接器
文档
,
浏览 5
提问于2022-01-18
得票数 0
1
回答
使用
Kafka
连接AWS documentDB
apache-kafka
、
apache-kafka-connect
、
aws-documentdb
、
aws-documentdb-mongoapi
、
mongodb-kafka-connector
我试图使用AWS DocumentDB作为存储从
Kafka
接收到的数据的
接收器
,并想知道
MongoDB
Kafka
连接器
是否与DocumentDB一起工作,因为它的
文档
提到它与
MongoDB
驱动程序兼容如果不是这个
连接器
,除了建立一个定制的
kafka
连接之外,还有什么替代的方法呢?
浏览 6
提问于2022-05-31
得票数 0
1
回答
Kafka
mongo db源
连接器
不工作
apache-kafka
、
apache-kafka-connect
、
mongodb-kafka-connector
嗨,在我的POC中,我同时使用了
接收器
和源
mongodb
连接器
。下面是代码。/json" -d '{ "connector.class":"com.
mongodb
.
k
浏览 4
提问于2021-05-31
得票数 1
1
回答
删除和编辑操作不使用elasticsearch
接收器
连接器
mongodb
、
elasticsearch
、
apache-kafka
、
apache-kafka-connect
我试图使用
Kafka
在
MongoDB
和Elasticsearch之间建立一条简单的管道。插入的数据被成功地存储在Elasticsearch中,但是当我编辑或删除
文档
时,我只会得到另一个存储在Elasticsearch中的
文档
。这是我的
MongoDB
源
连接器
{ "name": "mongo-source", "config": { "connector.class": "io.debezium.co
浏览 4
提问于2020-04-28
得票数 0
回答已采纳
1
回答
使用
MongoDB
接收器
通过不同的主键
更新
现有
文档
mongodb
、
apache-kafka
、
confluent-platform
、
confluent-cloud
我正在尝试通过Confluent Cloud设置一个
MongoDB
接收器
连接器
,它可以保持pgsql和
MongoDB
之间的数据同步。我期望下面的配置能够基于id (int)字段(而不是_id - objectId)
更新
现有
文档
,但它在使用时只会在
MongoDB
中创建一个新
文档
。pg中的
文档
将不包含_id字段,因此我们需要在pgsql主键(id)上进行查找。 你知道为什么它不能像我预期的那样工作吗?{ "connector
浏览 17
提问于2020-11-25
得票数 1
回答已采纳
2
回答
卡夫卡-> DataStream ->
MongoDB
mongodb
、
hadoop
、
apache-kafka
、
apache-flink
我想设置Flink,这样它就可以将数据流从Apache转换并重定向到
MongoDB
。出于测试目的,我构建在flink流-Connectors.
kafka
示例()之上。卡夫卡流是正确红色的链接,我可以映射他们等,但问题发生时,我想保存每一个接收和转换的信息到
MongoDB
。我发现的关于
MongoDB
集成的唯一例子是来自github的flink-
mongodb
测试。我认为应该有一些DataStream.addSink实现的
MongoDB
,但显然没有。 实现这一目标的最佳途径是什么?我是否需要
浏览 3
提问于2016-02-02
得票数 11
回答已采纳
1
回答
从mysql到mongo数据库的数据调度问题
mysql
、
mongodb
、
apache-kafka
、
etl
、
data-synchronization
Mongo DB,我们已经在其中存储了准备好的JSON,我们需要显示一段时间(与MySQL的所有连接),它工作得很好 我们用java编写了一个调度程序,它每2分钟运行一次,并将修改后的记录从MySQL
更新
到
浏览 14
提问于2020-02-04
得票数 0
1
回答
使用
Kafka
-avro-控制台-生产者连接
MongoDB
接收器
连接器
mongodb
、
apache-kafka
、
avro
、
apache-kafka-connect
我试图使用
Kafka
连接
MongoDB
连接器
向
MongoDB
编写一些
文档
。我成功地设置了所需的所有组件并启动了
连接器
,但是当我使用
Kafka
-avro-控制台-生产者向
Kafka
发送消息时,
Kafka
connector给了我以下错误: org.apache.
kafka
.connect.errors.DataException我尝试将这个字段添加到消息中,但是
kafka
要求我包含一个documen
浏览 7
提问于2022-09-02
得票数 0
1
回答
如何设置mongo-
kafka
-connect?
apache-kafka
、
apache-kafka-connect
我没有使用confluent,我能够成功地运行Zookeeper和
Kafka
。并且按照步骤使用jar文件进行Mongo-
kafka
连接,我得到了一个错误。一旦我从maven tech下载了mongo-
kafka
-connect-0.2-all.jar文件,我需要注册吗?我已经正确地
更新
了插件路径。有没有人能帮帮我?com.
mongodb
.
kafka
.connect.MongoSinkConnectorINFO
Kafka
Connect started (org.apa
浏览 30
提问于2019-10-22
得票数 1
2
回答
将您的事件直接从
kafka
存储到数据库?,何时或为什么以前使用S3/HDFS?
amazon-s3
、
apache-kafka
、
transactions
、
streaming
、
distributed-system
我知道一个普通的(简单的)管道,比如说这样的管道,在互联网上很容易找到:我的问题是下一个问题,为什么我看不到这个建筑
Kafka
-> database/datawarehouse 我知道为什么在我的公司,我们使用S3存储我们的事件在数据库之前,但我只是想要一些额外的意见或观点,因为我没有那么多的工作,在公司的事件流管道谢谢
浏览 6
提问于2020-09-25
得票数 0
回答已采纳
1
回答
kafka
mongodb
接收器
连接器
未启动
mongodb
、
apache-kafka
、
apache-kafka-connect
我安装了confluent_3.3.0,并启动了zookeper、模式注册中心和
kafka
。我还从下载了
mongodb
连接器
。./bin/connect-standalone etc/
kafka
/connect-standalone.properties /home/username/mongo-connect-test/
kafka
-connect-
浏览 0
提问于2017-11-08
得票数 1
回答已采纳
2
回答
kafka
mongo db源
连接器
,mongo db在kubernetes上运行
mongodb
、
kubernetes
、
apache-kafka
、
apache-kafka-connect
我正在尝试为confluent
kafka
平台设置mongo db源
连接器
。当我使用mongo db Atlas的连接URI时,我能够成功地在Mongo DB和
kafka
之间建立流。ssl=false&authSource=admin&retryWrites=true&w=majority",)时,我得到以下错误
kafka
connect logs INFO Failed to resumechange stream: The $changeStream stage is only sup
浏览 0
提问于2020-05-16
得票数 1
2
回答
卡夫卡
连接器
如何将数据从卡夫卡流到
MongoDB
mongodb
、
apache-kafka
、
apache-kafka-connect
我想通过使用
Kafka
连接器
将数据从
Kafka
流到
MongoDB
。我找到了这个。但没有什么可做的。提前谢谢你。/plugins来编辑文件plugin.path=/git/1.libraries/
kafka
_2.12-2.2.0/plugins
浏览 2
提问于2019-07-04
得票数 7
回答已采纳
2
回答
如何根据
kafka
主题名称或消息键/值,使用
mongodb
接收器
连接器
对不同dbs和集合中的
kafka
主题进行分组
mongodb
、
apache-kafka
、
apache-kafka-connect
、
debezium
、
mongodb-kafka-connector
正如标题所述,我使用debezium Postgres源
连接器
,并且我希望
MongoDB
接收器
连接器
根据不同的集合和数据库(也不同的dbs来分离无关数据)中的名称对
kafka
主题进行分组。在询问时,我在上看到了
连接器
属性。不幸的是,这只为每个
kafka
主题创建了一个集合,该集合成功地与指定的regex匹配,我计划使用相同的
mongodb
服务器来存储从多个debezium源
连接器
中捕获的许多dbs。你能帮帮我吗?注意:我读过这个Mong
浏览 14
提问于2022-09-24
得票数 0
2
回答
在跟踪集合上的
更新
操作时,如何使用
kafka
mongodb
源
连接器
获得完整的
文档
?
mongodb
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我使用的是Kakfa https://www.confluent.io/hub/
mongodb
/
kafka
-connect-
mongodb
源代码
连接器
,它使用的是Connector v5.4。下面是我的
MongoDB
源
连接器
配置 "name": "
mongodb
-replica-set-connector",
浏览 0
提问于2020-07-18
得票数 2
回答已采纳
1
回答
如何将本地
Kafka
集群接入本地
Mongodb
?
mongodb
、
spring-boot
、
apache-kafka
我目前正在做一个小项目,我需要将
kafka
集群连接到
mongodb
,以便将发布到
kafka
主题的消息存储在
mongodb
数据库中。我目前有一个本地
kafka
集群,一个springboot生产者发布消息到一个主题,一个springboot消费者在本地消费这些消息。我也在本地安装了
mongodb
compass…我一直在看教程,我想我必须使用某种类型的
接收器
连接器
(
mongodb
连接器
)来做我想做的事情,但大多数示例都
浏览 1
提问于2021-05-09
得票数 0
1
回答
kafka
接收器
连接器
中无效JSON的错误处理
mongodb
、
error-handling
、
apache-kafka
、
apache-kafka-connect
我有一个
mongodb
的
接收器
连接器
,它从主题中提取json并将其放入
mongoDB
集合中。应该发生的是
连接器
应该跳过并记录无效的JSON,并保持
连接器
运行。我的分布式模式
连接器
如下所示: "name": "sink-mongonew_test1", "connector.class": "com.
mongodb
.<
浏览 0
提问于2020-02-11
得票数 0
1
回答
用于strimzi
kafka
安装的阿特拉斯
MongoDB
接收器
连接器
mongodb
、
apache-kafka
、
apache-kafka-connect
、
mongodb-atlas
、
strimzi
kafka
mongo
接收器
连接器
?我有官方的
mongodb
连接器
插件。我能用这个插件连接到地图集
mongodb
吗?下面是我的
接收器
连接器
配置,
浏览 16
提问于2022-09-22
得票数 0
1
回答
Kafka
JDBC
接收器
句柄数组数据类型
jdbc
、
apache-kafka
、
avro
、
apache-kafka-connect
我知道
Kafka
JDBC Sink Connector对于数组数据类型有一些缺点。但是,可以将Sink
连接器
与支持数组数据类型的简单
Kafka
连接器
结合使用。如何从
Kafka
配置中过滤出来,切换成简单的
Kafka
Connector配置?
Kafka
Connect如何支持数组字段type: array是否可以将其作为字符串而不是数组使用到db "fields":[{
浏览 0
提问于2021-02-25
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MongoDB 更新/删除文档(四)
深入理解Kafka Connect:转换器和序列化
跨境支付平台XTransfer的实时数仓之路:深度参与开源才能不被淘汰
大数据流处理:Flume、Kafka和NiFi对比
官宣:Apache Flink 1.14.0 发布
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券