腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
kafka
jdbc
接收器
可以
创建
索引
表
吗
?
sql-server
、
apache-kafka
、
apache-kafka-connect
我的
JDBC
接收器
有延迟问题。当我使用insert.mode=upsert运行我的
JDBC
接收器
时,每条消息进入SQL Server大约需要10秒。我的主管建议使用
索引
表
,这
可以
减少更新时间消耗的时间。我还是使用
JDBC
接收器
的新手,我想问一下如果不存在,
JDBC
接收器
是否有能力
创建
索引
表
,并将auto.create选项设置为true?
浏览 14
提问于2020-07-22
得票数 0
1
回答
列出Postgres上具有数组数据类型的所有
表
postgresql
由于
Kafka
JDBC
接收器
对于数组数据类型有一些缺点,我想将
kafka
JDBC
接收器
连接器与支持数组数据类型的简单
kafka
连接器结合起来。然而,我想知道我源PostgreSQL中的哪个
表
至少有一列的数组数据类型,这样我就
可以
从我的
kafka
接收器
操作中过滤它,并将它们切换到简单的
kafka
消费者操作中,并且知道哪个
表
具有数组是相当耗时的。有人知道怎么做<e
浏览 22
提问于2020-09-02
得票数 1
回答已采纳
1
回答
星星之火+卡夫卡:如何将
kafka
流与RDBMS连接起来
apache-spark
、
apache-kafka
、
spark-streaming
我想收集信息,进行聚合,并为报告构建
表
。寻找帮助来理解连接的最佳方式。
浏览 4
提问于2019-12-03
得票数 2
回答已采纳
1
回答
我能定义卡夫卡主题的模式
吗
?
apache-kafka
、
apache-kafka-connect
、
confluent-schema-registry
/bin/
kafka
-avro-console-producer \ --property parse.keynull","int"],"default": null}]}' \然后我从卡夫卡那里得到了这个
接收器
属性的数据"int":9
浏览 2
提问于2020-04-14
得票数 0
回答已采纳
1
回答
如何在
kafka
接收器
连接器中设置特定
表
?
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我使用的是confluent
kafka
连接器。我想将数据插入到
接收器
连接器中的特定
表
TB_TEST_
KAFKA
中。我已经
创建
了这个
表
。 auto.create=false。我不知道
接收器
连接器的属性、
表
名、键。我正在尝试插入到特定
表
TB_TEST_
KAFKA
中, connector.class=io.confluent.connect.
jdbc
.JdbcSinkConnector errors
浏览 51
提问于2021-08-10
得票数 0
1
回答
如何用debezium捕获mysql中的数据,在
kafka
连接中改变数据捕获和使用
jdbc
接收器
?
apache-kafka
、
apache-kafka-connect
、
change-data-capture
、
debezium
我在用debezium捕获mysql中的数据时遇到了问题,将数据捕获并使用
kafka
连接
jdbc
接收器
将其消费到另一个mysql。因为debezium对
kafka
主题产生的模式和有效负载与
kafka
连接
jdbc
接收器
所期望的模式不兼容。 当
jdbc
接收器
想要使用数据并在另一个mysql中
创建
记录时,我就会异常。
浏览 2
提问于2017-05-14
得票数 1
回答已采纳
2
回答
将BigQuery发送给卡夫卡作为来源
apache-kafka
、
google-bigquery
有没有像
kafka
-connect这样的连接器用于BigQuery
接收器
。 谢谢,巴拉
浏览 1
提问于2018-02-20
得票数 3
1
回答
使用
kafka
-connect从多个主题升级到多个
表
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我正在尝试使用
JDBC
接收器
连接器读取2个
kafka
主题,并将其插入到我手动
创建
的两个Oracle
表
中。每个
表
都有一个主键,我想在upsert模式下使用它。如果我只使用pk.fields中的一个主题和一个字段,连接器就
可以
正常工作,但是如果我在pk.fields中输入多个列(每个
表
中输入一个列),它就无法识别模式。我有遗漏什么东西
吗
请提出建议。name=oracle_sink_prod connector.class=io.confl
浏览 1
提问于2017-09-12
得票数 3
回答已采纳
1
回答
用于处理数据的实时管道,插入PSQL
python
、
sql
、
postgresql
、
apache-kafka
我每天都会收到一些文件,我想在这些文件进来时进行处理,并插入到现有的sql
表
中(使用postgres)。
创建
自动管道的最佳方法是什么?我已经在python上编写了文件处理脚本,它以要附加到sql
表
的格式返回数据。什么是使这条管道实时化的最好方法。也就是说,让管道自动处理文件的发送给我,然后将数据添加到sql
表
中。我正在读阿帕奇卡夫卡
可以
帮助,但我仍然是一个新手在这里。 任何帮助都是非常感谢的!
浏览 11
提问于2022-01-27
得票数 2
1
回答
Spark Structured streaming:
JDBC
接收器
中的主键
mysql
、
apache-spark
、
apache-spark-sql
、
spark-structured-streaming
、
apache-spark-dataset
我正在使用带有更新模式的结构化数据流从
kafka
主题中读取数据流,然后进行一些转换。 然后,我
创建
了一个
jdbc
接收器
来使用Append模式将数据推送到mysql
接收器
中。问题是我如何告诉我的
接收器
让它知道这是我的主键,并基于它进行更新,这样我的
表
就不应该有任何重复的行。val df: DataFrame = spark .format("
kafka
") .option("
kaf
浏览 6
提问于2019-05-02
得票数 1
回答已采纳
1
回答
卡夫卡连接
JDBC
Sink quote.sql.identifiers不工作
postgresql
、
apache-kafka
、
apache-kafka-connect
我试图使用
Kafka
将数据从旧的DB2数据库同步到Postgres数据库,使用
JDBC
和Sink连接器。它
可以
正常工作,但前提是我对表名所用的情况非常严格。下面是一个
可以
工作的
接收器
文件: "name": "
jdbc
_sink_pg_action", "_comment": "The
JDBC
connector例如,我有
浏览 0
提问于2020-06-05
得票数 3
回答已采纳
2
回答
Kafka
将
JDBC
接收器
isse与包含“”的
表
名连接起来。
jdbc
、
apache-kafka
、
apache-kafka-connect
我正在尝试构建一个
kafka
连接
jdbc
接收器
连接器。问题是,数据库
表
名包含一个点,当
创建
连接器时,进程将
表
名分成两部分,导致未找到的数据库
表
。我尝试了多个东西来转义这个点,这样它就
可以
在
表
名中被读成字符串,但是没有任何效果。下面是我的配置文件: "name": "
jdbc
-connect-central-logging-sink", "confi
浏览 1
提问于2020-02-12
得票数 1
1
回答
如何使用
kafka
连接
JDBC
接收器
和使用python的源
apache-kafka
、
apache-kafka-connect
、
kafka-python
我正在使用
kafka
-python,并且能够在本地直播。 计算出连接器将处理多个设备。有人能给我推荐一种在python中使用连接器实现它的方法
吗
?
浏览 28
提问于2021-10-07
得票数 1
回答已采纳
1
回答
安装多个
kafka
连接汇
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我的
jdbc
源代码为postgreSQL提供了如下信息connector.class=io.confluent.connect.
jdbc
.JdbcSourceConnector/etc/
kafka
-connect-
jdbc
/source.propertiespsql-table1现在,我希望在所有主题上运行HDFS
接收器
,
浏览 0
提问于2018-09-25
得票数 0
回答已采纳
1
回答
Kafka
连接-无法更改以添加缺少的字段SinkRecordField{schema=Schema{BYTES},name='CreateUID',isPrimaryKey=true},
apache-kafka
、
apache-kafka-connect
我正在使用
JDBC
源连接器从Teradata
表
中读取数据并推送到
Kafka
主题。但是当我尝试使用
JDBC
接收器
连接器来读取
Kafka
主题并推送到Oracle
表
时,它抛出了下面的错误。我在Oracle中
创建
了一个
表
,主键为Userid+databaseID。name='CreateUID', isPrimaryKey=true}, as it is not optional and does not have a
浏览 6
提问于2017-10-06
得票数 2
2
回答
如何使用
JDBC
接收器
连接器将
表
名转换为大写
oracle
、
jdbc
、
apache-kafka-connect
、
confluent-platform
、
debezium
在Postgres数据库中,所有
表
都是用小写
创建
的,但在Oracle数据库中,
表
是大写的。如何在
JDBC
接收器
连接器中动态设置配置,以便不需要在transforms.route.replacement?然后,我收到以下错误: 我已经禁用了自动
创建
,因为我不需要
浏览 5
提问于2021-04-01
得票数 1
1
回答
阅读单个
kafka
主题并插入多个甲骨文
表
apache-kafka
、
apache-kafka-connect
我使用
kafka
使用mongo源连接器将多个集合数据发送到一个主题中,并使用jbc
接收器
连接器将数据插入到不同的oracle
表
中。在mongo源连接器中,我们为所有记录附加相应的集合名称,以便根据集合名称在
接收器
端处理信息。 使用
jdbc
接收器
连接器
可以
吗
?我们是否
可以
通过节点. .js/ spring作为使用者应用程序来实现这一点,从而拆分主题消息并将其写入不同的集合?例:集合A,集合B集合c- MongoSourceco
浏览 2
提问于2022-04-04
得票数 0
3
回答
不工作json模式的
Kafka
jdbc
接收器
连接器
json
、
jdbc
、
apache-kafka
、
apache-kafka-connect
使用最新的
kafka
和汇流
jdbc
接收器
连接器。msgschema" "payload": { "msg": "hi"}org.apache.
kafka
.connect.errors.DataException有什么指示
吗
?
浏览 1
提问于2018-02-28
得票数 2
回答已采纳
1
回答
Kafka
连接
接收器
到红移
表
(不在公共模式中)
jdbc
、
apache-kafka
、
apache-kafka-connect
、
confluent-platform
、
debezium
我无法使
接收器
为不在公共架构中的表工作。当...the
接收器
连接器试图运行时,它的任务会遇到此错误: “
表
my_schema.test_table丢失,自动
创
浏览 0
提问于2018-09-21
得票数 0
3
回答
如何从字符串分隔的
kafka
主题中读取,然后将其转换为json?
apache-kafka
、
apache-kafka-connect
我目前正在做一个POC项目,使用
Kafka
Connect从
Kafka
主题中读取并写入数据库。我知道
JDBC
接收器
连接器需要模式才能工作。然而,我们所有的
kafka
主题都是字符串分隔的。除了使用json或avro
创建
新的主题之外,我还计划
创建
一个将字符串转换为json的API,有什么可行的解决方案
可以
尝试
吗
?
浏览 0
提问于2019-12-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink 支持哪些数据源和数据接收器?
0505-使用Apache Hive3实现跨数据库的联邦查询
第十篇|SparkStreaming手动维护Kafka Offset的几种方式
这可能是北半球最暖的Kafka Connect数据管道教程:3
Pivotal Greenplum 5.11.0 发布
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券