腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何使用JDBC
接收器
连接器
将
表
名转换为大写
oracle
、
jdbc
、
apache-kafka-connect
、
confluent-platform
、
debezium
在Postgres数据库
中
,所有
表
都是用小写创建的,但在Oracle数据库
中
,
表
是大写的。如
何在
JDBC
接收器
连接器
中
动态
设置
配置,以便不需要在transforms.route.replacement?
中
设置
硬编码大写
表
名目前,如果我没有在配置
中
手动
设置
目标
表
的大写名称,
连接器
将添加双引号。下面是我的JDBC<
浏览 5
提问于2021-04-01
得票数 1
1
回答
Kafka
接收器
连接-如何为每个主题(
表
)创建一个任务
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我们已经为我们的产品实现了一个名为Ampool ADS的
kafka
接收器
连接器
,它将来自
kafka
主题的数据摄取到相应的ampool
表
中
。主题和
表
通过它们的名称映射。我需要将单个主题(从topic ->
表
中
摄取)处理到一个专用的
接收器
任务
中
。因此,例如,如果我的配置包含3个不同的主题(topic1、topic2、topic3),
接收器
连接器
应该创建3个不同的
浏览 2
提问于2017-04-24
得票数 0
1
回答
DataStream/Table API的统一
连接器
apache-flink
、
flink-streaming
、
flink-sql
我正在为Flink 1.14.4编写一个简单的
连接器
(源/
接收器
),它主要封装官方的
Kafka
连接器
,并自动
设置
ups自定义序列化程序/反序列化器。我对和
中
引入的新源代码/
接收器
接口的当前状态有点困惑。目前是否可以编写统一的
连接器
,真的(也就是说,跨不同API(
如
DataStream/Table)的
连接器
)?通过查看当前
Kafka
连接器
的代码
浏览 10
提问于2022-04-13
得票数 1
回答已采纳
1
回答
kafka
连接器
更新rest api不更新
接收器
数据
mysql
、
apache-kafka
、
apache-kafka-connect
、
debezium
我正在使用错误的转换运行
接收器
,这会在
接收器
mysql
表
中产生错误的数据,但当我使用PUT rest API更正
接收器
配置并运行它时,它运行成功但没有更新
接收器
表
中
的现有数据?
浏览 0
提问于2019-08-23
得票数 2
1
回答
如
何在
kafka
接收器
连接器
中
设置
特定
表
?
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我使用的是confluent
kafka
连接器
。我想将数据插入到
接收器
连接器
中
的
特定
表
TB_TEST_
KAFKA
中
。我已经创建了这个
表
。 auto.create=false。我不知道
接收器
连接器
的属性、
表
名、键。我正在尝试插入到
特定
表
TB_TEST_
KAFKA
中
, connector.cl
浏览 51
提问于2021-08-10
得票数 0
1
回答
列出Postgres上具有数组数据类型的所有
表
postgresql
由于
Kafka
JDBC
接收器
对于数组数据类型有一些缺点,我想将
kafka
JDBC
接收器
连接器
与支持数组数据类型的简单
kafka
连接器
结合起来。然而,我想知道我源PostgreSQL
中
的哪个
表
至少有一列的数组数据类型,这样我就可以从我的
kafka
接收器
操作
中
过滤它,并将它们切换到简单的
kafka
消费者操作
中
,并且知道哪个
表
具有
浏览 22
提问于2020-09-02
得票数 1
回答已采纳
2
回答
Debezium如何
设置
Kafka
消息时间戳
apache-kafka
、
debezium
我没有找到任何关于Debezium如何
设置
Kafka
消息时间戳的文档-以及是否
设置
了它。从值的比较来看,
Kafka
消息时间戳始终落后于数据库
表
(source.ts_ms)更改的时间戳,也落后于Debezium (ts_ms)处理更改的时间。这表明
Kafka
消息时间戳只是由
Kafka
代理
设置
为摄取时间的时间戳。 有谁知道Debezium是否以及如
何在
它填充的
接收器
主题中
设置
Kafka
浏览 42
提问于2021-04-20
得票数 0
2
回答
如
何在
消费者MQ Topic
中
消费
Kafka
Topic
apache-kafka
、
ibm-mq
、
cds
我有一个需求,我需要消费
Kafka
Topic并将其写入MQ Topic。有人能建议我做它的最好的方法,我是新手卡夫卡。我在confluent
中
读过关于IBM MQ Connector的文章,但不知道如何实现它。
浏览 55
提问于2019-05-28
得票数 0
回答已采纳
1
回答
Kafka
Sink如何使用不同的主题和
表
架构名称将字段映射到db
postgresql
、
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-schema-registry
我目前正在
设置
一个主题名为waiting-room的
Kafka
连接器
,而我的db模式名为waiting_room。因此,我试图将主题消息映射到db模式,但没有看到任何数据进入数据库。因此,我尝试了以下场景: 因此,由于
表
模式是waiting_room,所以我尝试添加quote.sql.identifier=ALWAYS,因为它引用了
表
名,并允许
Kafka
接收器
引用它,这样它就可以映射到
表
中
,但是我在
Kafka
浏览 3
提问于2021-01-09
得票数 0
2
回答
Kafka
连接
接收器
任务忽略文件偏移存储属性。
apache-kafka
、
apache-kafka-connect
我在使用汇合JDBC
连接器
时遇到了非常奇怪的行为。我很确定这与汇流堆栈无关,而是与
Kafka
-connect框架本身有关。因此,我将offset.storage.file.filename属性定义为默认/tmp/connect.offsets并运行我的
接收器
连接器
。显然,我期望
连接器
在给定的文件
中
持久化偏移量(它在文件系统
中
不存在,但是它应该自动创建,对吗?)文件上说: offset.storage.file.filename用于存储
连接器
浏览 3
提问于2017-02-06
得票数 13
3
回答
如何向Hive
表
订阅Apache
Kafka
主题和流数据
hive
、
apache-kafka
、
apache-kafka-connect
如何向Hive
表
订阅Apache
Kafka
主题和流主题数据?
Kafka
主题将实时更新。
浏览 1
提问于2017-11-29
得票数 0
1
回答
Kafka
连接器
Sink任务
中
的Put() vs Flush()
apache-kafka
、
apache-kafka-connect
我试图使用
Kafka
Sink
连接器
将批处理的数据发送到NOSQL数据库。我正在跟踪文档,并对在何处实现发送记录的逻辑感到困惑。请帮助我理解如
何在
内部处理这些记录,以及在批处理
中
必须使用什么Put()或Flush()来处理记录。
浏览 5
提问于2017-07-02
得票数 8
回答已采纳
2
回答
将PostgreSQL数据复制到基图斯/格林梅利?
postgresql
、
replication
、
data-warehouse
、
greenplum
、
citus
如果是,那么逻辑复制理论上应该工作,但是它如何处理分布式
表
呢? 格林梅利是一个Postgres叉子,那么Postgres逻辑复制会与它一起工作吗?我是否需要将逻辑级别的WAL流到
Kafka
中
,然后编写自定义逻辑将其转换为目标数据库上的SQL语句?有什么工具吗?
浏览 0
提问于2021-02-04
得票数 0
1
回答
无效snowflake.topic2table.map
apache-kafka-connect
、
snowflake-cloud-data-platform
有人能告诉我为什么我的snowflake.topic2table.map值被我的雪花水槽
连接器
报告为无效吗?
KAFKA
_TEST数据库已经在雪花中创建,我可以让
接收器
连接器
为我创建
表
。当我从配置
中
删除snowflake.topic2table.map
设置
时,它工作正常.但是我想控制正在创建的
表
的名称。我使用的汇合5.3.1和雪花
连接器
0.50。[SF_
KAFKA
_CONNECTOR] Invalid snowflak
浏览 2
提问于2019-10-06
得票数 1
回答已采纳
4
回答
PostgreSQL -> Oracle复制
database
、
oracle
、
postgresql
、
replication
我正在寻找一种工具,以导出数据从甲骨文数据库到PostgreSQL数据仓库。我真的在寻找一个异构的数据库复制工具,而不是一个导出->转换->导入解决方案。有没有开源工具可以做到这一点呢?或者我被某种预定的pg_dump/SQL*Loader解决方案卡住了?
浏览 6
提问于2009-06-17
得票数 3
回答已采纳
1
回答
卡夫卡用延迟连接汇到芒果的最后结果。
mongodb
、
apache-kafka
、
apache-kafka-connect
并通过卡夫卡
连接器
连接到mongodb "connector.class": "MongoDbAtlasSink", "name": "confluent-mongodb-sink"我如何将只发送最后值的kafkaconnection
设置
为批处理,例如延迟5秒?
浏览 6
提问于2022-04-09
得票数 0
回答已采纳
1
回答
如何使用postgres JDBC
接收器
连接器
流到mysql
连接器
mysql
、
postgresql
、
apache-kafka
、
apache-kafka-connect
、
debezium
我一直在尝试在Debezium
中
创建一个
连接器
Postgres
连接器
,但只有当
表
已经存在于我的MySQL实例(这并不理想)时,我才能捕获更改。我希望能够在实际
连接器
中
捕获DDL。我偶然看到这篇博文。和我让它在我的本地
设置
上工作,这是很棒的,但唯一的问题是我想朝相反的方向发展。(我能够捕获新的记录、删除的记录和更新的记录,如果新
表
和新列不存在,它也会创建它们)。我希望从postgres流并让
连接器
插入到mysql
中
的目
浏览 6
提问于2022-07-21
得票数 0
回答已采纳
1
回答
阅读单个
kafka
主题并插入多个甲骨文
表
apache-kafka
、
apache-kafka-connect
我使用
kafka
使用mongo源
连接器
将多个集合数据发送到一个主题中,并使用jbc
接收器
连接器
将数据插入到不同的oracle
表
中
。在mongo源
连接器
中
,我们为所有记录附加相应的集合名称,以便根据集合名称在
接收器
端处理信息。 使用jdbc
接收器
连接器
可以吗?例:集合A,集合B集合c- MongoSourceconnector
表
A,
表
B,
表
c-jd
浏览 2
提问于2022-04-04
得票数 0
1
回答
如何为单个主题
设置
多个
Kafka
JDBC
接收器
连接器
apache-kafka
、
apache-kafka-connect
我想将数据从
特定
的
Kafka
主题流到两个不同的数据库(MySQL和Server)。每个数据流都应该发送到两个数据库
中
的两个
表
中
。为了实现这一目标,需要在
接收器
连接器
中
配置什么?
浏览 1
提问于2018-06-21
得票数 0
回答已采纳
1
回答
星星之火+卡夫卡:如何将
kafka
流与RDBMS连接起来
apache-spark
、
apache-kafka
、
spark-streaming
我想收集信息,进行聚合,并为报告构建
表
。寻找帮助来理解连接的最佳方式。
浏览 4
提问于2019-12-03
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink 支持哪些数据源和数据接收器?
深入理解Kafka Connect:转换器和序列化
这可能是北半球最暖的Kafka Connect数据管道教程:3
CDC Debezium 介绍
官宣:Apache Flink 1.14.0 发布
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券