腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
星星之火+卡夫卡:如何将
kafka
流与RDBMS连接起来
apache-spark
、
apache-kafka
、
spark-streaming
构建用于报告的新表将要求我从
Kafka
读取数据,将其与现有事实表进行比较,并在数据库中
创建
/
更新
新的roes。 我想的是使用星火流从
Kafka
主题中读取,并与RDBMS数据库连接。
浏览 4
提问于2019-12-03
得票数 2
回答已采纳
1
回答
在
ksqldb中,
连接器
和流之间的关系是什么?
apache-kafka
、
ksqldb
因此,我正在阅读有关
连接器
1的文档,并试图找出流和
接收器
连接器
2之间的关系。源
连接器
3有
一个
名为"table.whitelist“的属性,据我所知,该属性告诉Debezium只将这些表复制到ksqldb。但是,单独的流和
接收器
连接器
之间的关系呢?没有像"stream.whitelist“这样的属性。这是否真的意味着
所有
的流都会被发送到
所有
的
连接器
?例如,我只想从流str1向
连接器
浏览 3
提问于2022-08-07
得票数 0
1
回答
如何外部化Landoop
Kafka
连接器
公共属性
apache-kafka
、
apache-kafka-connect
我正在使用Landoop
Kafka
docker图像。我使用它的UI来
创建
jdbc
源和
jdbc
接收器
连接器
,或者我也可以使用
Kafka
Rest Api来
创建
连接器
。我有多个
jdbc
源
连接器
使用相同的连接url、用户名和密码。无论何时更改源数据库凭据,目前我都必须单独更改
所有
连接器
。有没有办法只外部化这些属性,让每个
连接器
都有自己的特定属性,比
浏览 0
提问于2018-12-14
得票数 0
1
回答
卡夫卡连接中的
连接器
和任务之间的关系是什么?
apache-kafka
、
apache-kafka-connect
我们已经
在
一个
项目上使用了一段时间的
Kafka
,目前只使用。我很难理解“任务”
在
Kafka
中的作用,特别是这个
连接器
。我理解“
连接器
”;它们包含一组关于特定源/
接收器
的配置,以及它们连接到的主题。
在
源
连接器
的情况下,我们使用
JDBC
连接器
通过时间戳和/
或
主键来获取源数据,因此这在本质上似乎是连续的。事实上,我们
所有
的源
浏览 3
提问于2021-04-26
得票数 6
回答已采纳
2
回答
Confluent控制中心连接数据库
apache-kafka
、
apache-kafka-connect
、
confluent-platform
当我使用Confluent Control Center
创建
源
或
接收器
连接器
时
,它会将与该
连接器
相关的设置保存在哪里?是否有我可以浏览的文件?我们正计划
创建
50+
连接器
,
在
某一
时
刻,我们需要将它们从
一个
环境复制到另
一个
环境,我想知道是否有简单的方法来做到这一点。
浏览 1
提问于2018-04-27
得票数 0
1
回答
卡夫卡主题似乎只是第一次起作用。为什么?
apache-kafka
、
apache-kafka-connect
我正在使用
Kafka
(使用汇合实现),并且看到了一种奇怪的行为。我配置
一个
源连接来从DB表中提取数据,并填充
一个
主题。这个很管用。我的连接配置: "name": "my-
jdbc
-connector", "connector.class": "io.confluent.connect.
jdbc
.JdbcSourceConnector",
浏览 1
提问于2019-10-12
得票数 1
回答已采纳
2
回答
将PostgreSQL数据复制到基图斯/格林梅利?
postgresql
、
replication
、
data-warehouse
、
greenplum
、
citus
对于数据仓库本身,我考虑使用Citus
或
Greenplum。有一项要求,即来自应用程序的数据必须与数据仓库尽可能接近实时地同步(延迟3-5分钟以上的
所有
内容都是不可接受的,实时复制将是最好的)。格林梅利是
一个
Postgres叉子,那么Postgres逻辑复制会与它一起工作吗?我还读到,Greenplum没有针对OLTP工作负载进行优化,这是否意味着当我尝试将OLTP数据摄入其中
时
,它就会崩溃呢? 如果逻辑复制不能工作,那么如何从Postgres流数据?我是否需要将逻辑级别的WAL流到
Kafka
中,然后编写
浏览 0
提问于2021-02-04
得票数 0
2
回答
Confluent Sink
连接器
-到多个数据库目标的Sink
apache-kafka
、
apache-kafka-connect
、
confluent-platform
如果我需要将相同的数据从
一个
主题复制到具有不同in的多个数据库中,我是否需要
创建
多个
接收器
连接器
,或者我可以通过connection.url
或
其他
方式指定多个目的地。 非常感谢您的帮助
浏览 41
提问于2020-09-21
得票数 0
回答已采纳
1
回答
卡夫卡
连接器
在
发生故障
时
是如何可靠的?
apache-kafka
、
apache-kafka-connect
我正在考虑使用
Kafka
连接器
和
创建
我自己的
Kafka
消费者/生产者来将一些数据从
Kafka
转移到
Kafka
,我看到了
Kafka
连接器
在
可扩展性和容错方面所提供的价值。但是,如果“任务”由于某种原因而失败,我无法找到
连接器
的确切行为。以下是几种场景: 对于
接收器
连接器
(S3-Sink),如果它(任务)成功地将数据发送到目标(例如由于网络问题)失败(在
所有</e
浏览 0
提问于2018-08-22
得票数 1
1
回答
为
Kafka
Connect消费群申请配额
apache-kafka
、
apache-kafka-connect
我让
Kafka
Connect
JDBC
接收器
连接器
写入不同的数据库,我想限制到
一个
数据库的流量。
Kafka
quotas功能可以为客户端ID设置consumer_byte_rate配额,但
Kafka
Connect客户端ID看起来像consumer-1234,并动态分配给
连接器
。因此,如果我的
接收器
连接器
被
重新
平衡,它将被分配
所有
新的客户端ID。我尝试使用我的
接收器</e
浏览 16
提问于2019-12-18
得票数 0
2
回答
如何使用
JDBC
接收器
连接器
将表名转换为大写
oracle
、
jdbc
、
apache-kafka-connect
、
confluent-platform
、
debezium
在
Postgres数据库中,
所有
表都是用小写
创建
的,但在Oracle数据库中,表是大写的。如何在
JDBC
接收器
连接器
中动态设置配置,以便不需要在transforms.route.replacement?中设置硬编码大写表名目前,如果我没有
在
配置中手动设置目标表的大写名称,
连接器
将添加双引号。“dummy_table”丢失,自动
创建
被禁用。 下面是我的
JDBC
浏览 5
提问于2021-04-01
得票数 1
2
回答
Kafka
连接
接收器
任务忽略文件偏移存储属性。
apache-kafka
、
apache-kafka-connect
我
在
使用汇合
JDBC
连接器
时
遇到了非常奇怪的行为。我很确定这与汇流堆栈无关,而是与
Kafka
-connect框架本身有关。因此,我将offset.storage.file.filename属性定义为默认/tmp/connect.offsets并运行我的
接收器
连接器
。显然,我期望
连接器
在给定的文件中持久化偏移量(它在文件系统中不存在,但是它应该自动
创建
,对吗?)文件上说: offset.storage.file.f
浏览 3
提问于2017-02-06
得票数 13
1
回答
如何用debezium捕获mysql中的数据,
在
kafka
连接中改变数据捕获和使用
jdbc
接收器
?
apache-kafka
、
apache-kafka-connect
、
change-data-capture
、
debezium
我在用debezium捕获mysql中的数据
时
遇到了问题,将数据捕获并使用
kafka
连接
jdbc
接收器
将其消费到另
一个
mysql。因为debezium对
kafka
主题产生的模式和有效负载与
kafka
连接
jdbc
接收器
所期望的模式不兼容。 当
jdbc
接收器
想要使用数据并在另
一个
mysql中
创建
记录
时
,我就会异常。
浏览 2
提问于2017-05-14
得票数 1
回答已采纳
2
回答
将数据从
kafka
传输到oracle db的最佳方式是什么?
apache-kafka
、
apache-kafka-streams
、
apache-kafka-connect
、
spring-kafka
我正在尝试找到一种解决方案,将数据从
Kafka
直接传输到Oracle。最有效的解决方案是什么?
浏览 32
提问于2018-01-03
得票数 1
1
回答
Kafka
Connect -如何限制
创建
、
更新
、删除特定
连接器
的权限
apache-kafka
、
permissions
、
apache-kafka-connect
我面临的情况是,多个开发人员正在致力于特定的
kafka
源
或
接收器
连接器
配置。
连接器
通过
创建
、
更新
、删除等。必须保证 开发人员从不删除
或
修改他人的
连接器
。开发人员只能管理特定connector.class的
连接器
,例如connector.class。是否有任何方法来配置
Kafka
,将
Kafka
-Connect REST的使用限制
在
与
连接器
配置细
浏览 10
提问于2022-07-22
得票数 0
回答已采纳
1
回答
Camus迁移-
Kafka
HDFS连接不会从设置偏移开始
hadoop
、
apache-kafka
、
hdfs
、
apache-kafka-connect
、
camus
我目前正在使用汇合HDFS Sink
连接器
(v4.0.0)来取代Camus。我们正在处理敏感数据,因此我们需要在连接到
连接器
的过程中保持偏移的一致性。切入计划: 使用删除请求停止
连接器
。使用/usr/bin/
kafka
-consumer-groups脚本,我能够将<
浏览 0
提问于2018-04-15
得票数 1
回答已采纳
1
回答
Kafka
连接-无法更改以添加缺少的字段SinkRecordField{schema=Schema{BYTES},name='CreateUID',isPrimaryKey=true},
apache-kafka
、
apache-kafka-connect
我正在使用
JDBC
源
连接器
从Teradata表中读取数据并推送到
Kafka
主题。但是当我尝试使用
JDBC
接收器
连接器
来读取
Kafka
主题并推送到Oracle表
时
,它抛出了下面的错误。我的terradata有
一个
主键UserID+ DatabaseID。我
在
Oracle中
创建
了
一个
表,主键为Userid+databaseID。name='CreateUID', i
浏览 6
提问于2017-10-06
得票数 2
1
回答
Kafka
连接器
Sink任务中的Put() vs Flush()
apache-kafka
、
apache-kafka-connect
我试图使用
Kafka
Sink
连接器
将批处理的数据发送到NOSQL数据库。我正在跟踪文档,并对
在
何处实现发送记录的逻辑感到困惑。请帮助我理解如何在内部处理这些记录,以及
在
批处理中必须使用什么Put()
或
Flush()来处理记录。
浏览 5
提问于2017-07-02
得票数 8
回答已采纳
3
回答
重新
启动
kafka
连接
接收器
和源
连接器
以从开始读取
apache-kafka-connect
我在这方面搜索了很多,但似乎没有
一个
好的向导。 从一开始就
重新</e
浏览 0
提问于2019-03-27
得票数 16
回答已采纳
2
回答
重新
设置
JDBC
连接器
,从一开始就开始拉行?
sql-server
、
apache-kafka
、
apache-kafka-connect
Kafka
连接器
可以使用主键和时间戳来确定需要处理哪些行。 我正在寻找一种方法重置
连接器
,以便它将处理从开始的时间。
浏览 3
提问于2017-03-24
得票数 7
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink 支持哪些数据源和数据接收器?
这可能是北半球最暖的Kafka Connect数据管道教程:3
深入理解Kafka Connect:转换器和序列化
如何使用flink-connector-postgres-cdc将Kafka写数据到PostgreSQL数据库动态表中
Kafka 安装及快速入门
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券