腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
JDBC
汇流
连接器
模式
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我正在使用
JDBC
kafka
源
连接器
中
的
自定义
查询
,任何人都
可以
告诉我在
JDBC
kafka
源
连接器
中使用自定义
查询
时
的
模式
是什么,如果我使用批量
模式
,那么它将重新插入
kafka
主题中
的
所有数据。注意:-表中没有主键或
时间
戳
列。
浏览 0
提问于2019-05-29
得票数 1
回答已采纳
2
回答
卡夫卡连接在
时间
戳
模式
-如何附加到
查询
的
结尾?
jdbc
、
apache-kafka
、
db2
、
apache-kafka-connect
我有一个配置好
的
源
连接器
,从DB2检索并使用
时间
戳
模式
。例如: "config": { "connector.class": "io.confluent.connect.
jdbc
.JdbcSourceConnector,也就是‘脏读’)作为select
的
一部分,以便不锁定我正
浏览 2
提问于2019-11-04
得票数 3
0
回答
Kafka
JDBC
连接器
未拾取新提交
apache-kafka
我目前正在使用
Kafka
JDBC
连接器
从Oracle数据库中轮询记录。
连接器
属性被设置为使用
时间
戳
模式
,我们在属性中提供了一个简单
的
select
查询
(不使用where子句)-基于我
的
理解,这应该是可行
的
。然而,目前在实例化
连接器
时,我
可以
看到初始
查询
确实拉出了它应该取出
的
所有记录,并且确实将它们发布给了
Kafka</e
浏览 1
提问于2016-07-18
得票数 0
1
回答
可以
指定
时间
戳
模式
的
Kafka
JDBC
连接器
查询
吗
?
sql
、
apache-kafka
、
apache-kafka-connect
我想根据
时间
戳
从表中获取数据(增量主键不可用)。
Kafka
JDBC
连接器
通过使用
查询
来获取所有行,其
时间
戳
大于前一次迭代中
的
最大
时间
戳
,这
可以
从
Kafka
JDBC
连接器
的
以下代码中看到。coalesceTimestampColumns(builder); builder.append("
浏览 8
提问于2021-04-16
得票数 0
1
回答
卡夫卡主题似乎只是第一次起作用。为什么?
apache-kafka
、
apache-kafka-connect
我正在使用
Kafka
(使用汇合实现),并且看到了一种奇怪
的
行为。我配置一个源连接来从DB表中提取数据,并填充一个主题。这个很管用。但是,如果我删除主题,删除Source配置,然后重置配置(可能会向
查询
添加另一列),主题就不会被填充。如果我将主题名更改为我以前从未使用过
的
名称,它就会奏效。我
的
连接配置: "name": "my-
jdbc
-connector", &quo
浏览 1
提问于2019-10-12
得票数 1
回答已采纳
1
回答
卡夫卡连接
可以
使用自定义
查询
与批量
模式
吗
?
apache-kafka
、
apache-kafka-connect
我试着把每排7天
的
记录寄出去。这是我正在进行
的
配置,但即使
查询
在DB服务器上生成记录,它也无法工作。 "connector.class": "io.confluent.connect.
jdbc
.JdbcSourceConnector", "mode": "bulk", "connection.url": "
jdbc</
浏览 4
提问于2019-10-18
得票数 2
回答已采纳
2
回答
sqlite3
的
Kafka
JDBC
源
连接器
时间
戳
模式
失败
sqlite
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我尝试在sqlite中建立一个包含两个表
的
数据库。我
的
表中有一次有一个
时间
戳
列。我正在尝试实现
时间
戳
模式
来捕获数据库中
的
增量更改。
Kafka
连接失败,错误如下:CURRENT_TIMESTAMP' (io.confluent.connect.
jdbc</em
浏览 1
提问于2019-02-04
得票数 1
1
回答
CDC(变更数据捕获)与
Kafka
amazon-s3
、
apache-kafka
、
cdc
我想用
kafka
: DB1->
kafka
->各种接收器(即: s3,DB,其他
kafka
消费者)实现CDC。其中一个用例是只使用给定
时间
内
的
事件来恢复给定
的
表。Ie:对于TBL1,所有事件都在
kafka
、初始加载和增量中。我想在给定
的
水槽中恢复原状.s3,db)此表仅包含来自date1-date2
的
事件。 除了恢复完全状态之外,您还将如何处理这个问题?
浏览 4
提问于2022-05-11
得票数 0
1
回答
kafka
connect源
连接器
如何使用timestamp或timestamp+incrementing
模式
?
jdbc
、
apache-kafka
、
apache-kafka-connect
我有一个数据库(Mariadb)关系,它
的
"modified“列是"bigint(10)”,它代表一个
时间
戳
,我相信unix
时间
格式。当我尝试运行
模式
为"timestamp“或"timestamp+incrementing”
的
kafka
源
连接器
时,没有事件被推送到主题中。如果我只运行递增,新
的
条目将被推送到主题。有人能提示我在哪里配置了错误
的
连接器
吗<
浏览 62
提问于2019-05-10
得票数 4
1
回答
Kafka
在MSSQL中将许多表连接到多个表。
sql-server
、
apache-kafka
、
apache-kafka-connect
、
mssql-jdbc
目前,我正在研究
Kafka
,将我们
的
一些数据库流到一个数据湖中。为了测试
Kafka
,我在其中一个项目数据库中安装了一个数据库。到目前一切尚好。下一步,我使用以下属性配置
Kafka
模式
: "connector.class": "io.confluent.connect.
jdbc
.JdbcSourceConnector", "timestamp.column.namevalidate.non.null": "f
浏览 0
提问于2018-09-09
得票数 1
回答已采纳
2
回答
如何在
kafka
接收器
连接器
中添加带有
kafka
消息
时间
戳
的
列
apache-kafka
、
google-bigquery
、
apache-kafka-connect
我正在使用properties/json文件配置
连接器
,在从源
连接器
读取消息时,我尝试添加一个
时间
戳
列,其中包含
kafka
时间
戳
,但没有成功。我尝试过添加transforms,但是它总是null,我
的
接收器
连接器
“大
查询
”返回了一个错误 transforms=InsertField$Value 我
的
源C
浏览 0
提问于2018-11-15
得票数 1
回答已采纳
4
回答
PostgreSQL -> Oracle复制
database
、
oracle
、
postgresql
、
replication
我真的在寻找一个异构
的
数据库复制工具,而不是一个导出->转换->导入解决方案。有没有开源工具
可以
做到这一点呢?或者我被某种预定
的
pg_dump/SQL*Loader解决方案卡住了?
浏览 6
提问于2009-06-17
得票数 3
回答已采纳
1
回答
为什么卡夫卡连接作品?
apache-kafka
、
apache-kafka-connect
从我
的
阅读和观察来看,我理解
Kafka
Connect允许您使用Source
连接器
将数据发送到
Kafka
,使用Sink
连接器
从
Kafka
读取数据。最重要
的
是,
Kafka
从某种程度上抽象出了所有特定于平台
的
东西,而你所关心
的
就是有合适
的
连接器
。例如,您
可以
使用PostgreSQL源
连接器
向
Kafka
写入,然后使用Elasticse
浏览 2
提问于2021-02-05
得票数 0
3
回答
kafka
-connect: SQLException:只有在使用分布式
模式
时,才没有合适
的
驱动程序。
mysql
、
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我们已经成功地使用了使用
jdbc
独立
连接器
的
mySQL -
kafka
数据吞并,但是在分布式
模式
下(作为
kafka
连接服务),我们现在面临着同样
的
问题。我
的
连接器
瓶在这里- -rw-r--r-- 1 root root 906708 Jul 29 01:18 zookeeperaudie
浏览 2
提问于2018-11-15
得票数 0
回答已采纳
2
回答
Kafka
JDBC
连接器
加载所有数据,然后递增
elasticsearch
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我试图弄清楚如何最初从
查询
中获取所有数据,然后只使用
kafka
连接器
进行增量更改。原因是我想把所有数据加载到弹性搜索中,然后保持es与我
的
kafka
流同步。目前,我首先使用带有mode = bulk
的
连接器
,然后将其更改为
时间
戳
。这个很好用。但是,如果我们想要将所有数据重新加载到流和ES中,这意味着我们必须编写一些脚本,以某种方式清除或删除
kafka
流和es索引数据,修改connect is作为批量设置
模式<
浏览 3
提问于2017-05-04
得票数 7
回答已采纳
1
回答
avro
模式
中
的
时间
戳
在
Kafka
Connect
JDBC
中产生不兼容
的
值验证
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
JDBC
接收器
连接器
产生
的
错误:{ "name":"ConnectDefault", "namespace&
浏览 1
提问于2018-12-02
得票数 4
回答已采纳
2
回答
kafka
jdbc
源
连接器
:
时间
戳
模式
不适用于sqlite3
sqlite
、
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我试图建立一个带有
时间
戳
列
的
表
的
数据库。我正在尝试实现
时间
戳
模式
来捕获数据库中
的
增量更改。创建了一个表。PAYMENT_TYPE, USER_ID) VALUES (3,'FOO',1);3|FOO|2019-06
浏览 2
提问于2019-06-18
得票数 3
1
回答
汇流
JDBC
源
连接器
增量起始行
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我想使用Confluent
的
JDBC
源
连接器
将数据从Server表检索到
Kafka
。mode=incrementing当我运行这个
连接器
时,它开始从表中检索所有行,而不是在那个
时间</
浏览 4
提问于2020-09-02
得票数 2
回答已采纳
2
回答
Kafka
连接设置使用AWS MSK从Aurora发送记录
mysql
、
apache-kafka
、
apache-kafka-connect
、
aws-msk
我
的
问题对于上述类型
的
消息
模式
注册表,我应该如何使用
模式
注册表?我必须为此创建JSON结构
吗
?如果是的话,我必须将其保存在哪里。需要更多
的
帮助才能理解这一点
吗
?这是我所期待
的
,因为我没有做任何关于
模式
的
事情。ec2 (
jdbc
和弹性serach,.If)上创建两个领结
吗
?Welcome123incrementing.column.na
浏览 12
提问于2020-01-01
得票数 1
回答已采纳
2
回答
汇合
的
Kafka
流-找不到类io.confluent.connect.avro.ConnectDefault
java
、
apache-kafka-streams
、
apache-kafka-connect
、
confluent-platform
、
confluent-schema-registry
我使用
的
是带有
查询
模式
的
jdbc
源
连接器
,似乎没有
指定
表名
的
情况下,在
模式
注册表中为记录键和记录值注册
的
模式
具有空
的
模式
名称,并被分配了默认名称"ConnectDefault“,如Confluent
的
AvroData类中所定义
的
那样 当使用生成
的
avro源代码和SpecificAvroSerde运行<
浏览 4
提问于2017-11-03
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
这可能是北半球最暖的Kafka Connect数据管道教程:3
这可能是北半球最暖的Kafka Connect数据管道教程:2
深入理解Kafka Connect:转换器和序列化
Pivotal Greenplum 5.11.0 发布
聊聊kafka结构,kafka基础了解
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券