腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
源
连接器
-
如何
从
字符串
(
json
)
传递
模式
apache-kafka
、
apache-kafka-connect
我已经为外部REST服务开发了一个定制的
源
连接器
。我获取
JSON
,使用手动定义的
模式
(SchemaBuilder)将它们转换为org.apache.
kafka
.connect.data.Struct,然后将所有内容包装到SourceRecord中。我的新目标是使这个
连接器
通用并参数化
模式
。其思想是
从
配置或外部文件中以
字符串
( Schema )的形式获取
模式
,并将其
传递
给SourceRecord,但它
浏览 13
提问于2020-01-15
得票数 1
2
回答
使用JSONConverter的
Kafka
连接MongoDB
Kafka
连接器
不工作
apache-kafka
、
apache-kafka-connect
我正在尝试将
Kafka
连接器
配置为使用mongoDB作为
源
,并将记录发送到Kakfa主题中。我的问题是
连接器
按如下方式保存数据:换句话说,它会自动假设实际的
JSON
是一个
字符串
,并将
模式
保存为
字符串
。这就是我设置
连接器
的方
浏览 0
提问于2020-02-18
得票数 2
2
回答
用于Decimal数据类型的
Kafka
Connect cassandra
源
-error
apache-spark
、
cassandra
、
apache-kafka
、
apache-kafka-connect
、
spark-structured-streaming
我使用的是
kafka
connect cassandra
源
连接器
1.0版本。我在cassandra表中有一个十进制数据类型列(价格),并将它作为
json
从
源
连接器
写入到
kafka
主题中,它正在以某种
字符串
格式写入小数值,例如"price":"AA=="。请建议在写
kafka
主题中的值时可能出错的地方。提前谢谢。
浏览 2
提问于2018-11-20
得票数 0
1
回答
使用
连接器
中的ID/主题获取已注册的架构
apache-kafka
、
avro
、
confluent-platform
、
apache-kafka-connect
可以
从
源
连接器
中的获取注册
模式
吗?我在
模式
注册表中注册了一个静态
模式
,需要从
连接器
获取该
模式
并将其
传递
给SourceRecord。我使用CachedSchemaRegistryClient通过
模式
id获取
模式
,但它返回了一个Avro
模式
。因此,我必须将其转换为org.apache.
kafka
.connect.data.Schema。请提供一些关于这方面的指示。或者
浏览 5
提问于2016-09-21
得票数 0
1
回答
Kafka
连接JDBC源代码-毒丸、坏消息、错误处理问题
apache-kafka
、
apache-kafka-connect
,我已经创建了一个卡夫卡连接
源
连接器
,它读取行并将它们发送到具有相同Avro架构的主题。这个主题的confluent_value_schema_validation是正确的,这个操作很好,但是如果我在postgres表中插入一条毒丸消息,那么
连接器
就会拒绝向前移动。"errors.tolerance": "all","errors.retry.delay.max.ms": 100, 我的问题--
浏览 3
提问于2021-01-14
得票数 1
回答已采纳
1
回答
没有
模式
的
Kafka
连接,只有
JSON
apache-kafka-connect
我想使用
JSON
和没有
模式
的JDBC接收器
连接器
。他们编写(): key.converter=org.apache.
kafka
.connect.
json
.JsonConverter value.converter当为
源
连接器
启用这些数据时,<em
浏览 9
提问于2021-07-16
得票数 2
回答已采纳
1
回答
为什么卡夫卡连接作品?
apache-kafka
、
apache-kafka-connect
我正试着思考卡夫卡连接(
Kafka
)是
如何
工作的,但我无法理解一件特别的事情。
从
我的阅读和观察来看,我理解
Kafka
Connect允许您使用Source
连接器
将数据发送到
Kafka
,使用Sink
连接器
从
Kafka
读取数据。例如,您可以使用PostgreSQL
源
连接器
向
Kafka
写入,然后使用Elasticsearch和Neo4J Sink
连接器
并行读取卡夫卡
浏览 2
提问于2021-02-05
得票数 0
1
回答
Kafka
Avro控制台消费者/制作人
从
文件到文件
apache-kafka
、
avro
、
confluent-schema-registry
如果我有一个
模式
字符串
可以提供给控制台使用者和生产者,那么是否可以使用Avro控制台使用者将Avro编码的消息保存到文件中,并从该文件中读取来写入使用Avro控制台生成器的另一个主题?
浏览 2
提问于2021-11-02
得票数 1
回答已采纳
2
回答
将PostgreSQL数据复制到基图斯/格林梅利?
postgresql
、
replication
、
data-warehouse
、
greenplum
、
citus
如果是,那么逻辑复制理论上应该工作,但是它
如何
处理分布式表呢? 格林梅利是一个Postgres叉子,那么Postgres逻辑复制会与它一起工作吗?如果逻辑复制不能工作,那么
如何
从
Postgres流数据?我是否需要将逻辑级别的WAL流到
Kafka
中,然后编写自定义逻辑将其转换为目标数据库上的SQL语句?有什么工具吗?
浏览 0
提问于2021-02-04
得票数 0
1
回答
ksql -即使填充了
kafka
主题,表中的CREATE TABLE结果也是空值
apache-kafka
、
apache-kafka-connect
、
ksqldb
使用ksqlDB,我已经创建了一个带有自定义查询的JDBC
连接器
。然后,根据生成的
kafka
主题,我创建了一个表。但是,
从
表中选择只返回主键的数据,而返回所有其他值的null。) or TUMBLING(
KAFKA
_STRING) or
KAFKA
_STRINGrowtime: 2020/11/30 09='sales', partitions=1, valu
浏览 27
提问于2020-11-30
得票数 0
回答已采纳
1
回答
如何
使用avro
模式
从
kafka
主题向apache注入数据?
apache-kafka
、
apache-pinot
、
pinot
我已经开始研究apache,很少有关于apache的
模式
的查询。我想了解apache
如何
处理具有AVRO
模式
的
Kafka
主题(
模式
包括嵌套对象、对象数组等)因为我没有找到任何资源或例子,说明我们
如何
使用带有avro
模式
的
Kafka
注入数据。根据我的理解,apache必须为嵌套的
Json
对象提供平面
模式
或其他选项,我们可以使用transform函数。有什么卡夫卡连接的皮诺做数据注入吗?Avro
模式
{
浏览 1
提问于2021-05-21
得票数 0
1
回答
无法使用插入字段转换的
Kafka
连接RabbitMQ :仅支持[字段插入]的结构对象,找到:[B
apache-kafka
、
rabbitmq
、
apache-kafka-connect
我正在尝试使用InsertField卡夫卡连接转换和rabbitmq
连接器
。rabbitmq.queue": "events", "value.converter": "org.apache.
kafka
.connect.
json
.JsonConverter使用python,我发送如下消息: msg =
json
.dump
浏览 3
提问于2022-10-18
得票数 0
回答已采纳
1
回答
处理
kafka
connect中的数据丢失
apache-kafka
、
apache-kafka-connect
我了解到
Kafka
connect可以在集群
模式
下部署。并且工作人员在数据
源
和
kafka
主题之间移动数据。我想知道的是,如果工作人员在数据
源
之间移动数据到
kafka
主题时失败,会不会有数据丢失?如果发生数据丢失,我们
如何
从
连接器
获取数据,或者
kafka
connect会自动处理它吗?
浏览 33
提问于2021-01-22
得票数 0
回答已采纳
1
回答
覆盖
kafka
-connect
连接器
中的schemas.enable
json
、
apache-kafka
、
apache-kafka-connect
我有一个安装了多个
连接器
的分布式
Kafka
Connect (6.x)集群。键和值转换器设置为org.apache.
kafka
.connect.
json
.JsonConverter。对于其中一个
连接器
( S3接收器),我需要在没有
模式
的情况下使用事件,因此在集群配置中将schemas.enable属性设置为false:key.converter.schemas.enable=False对于其他的(Debezium MySql
源
连接器
),我需要在事件中添
浏览 62
提问于2021-01-20
得票数 0
回答已采纳
1
回答
什么是
Kafka
连接运行时?
apache-kafka-connect
阅读关于
Kafka
connect的文章,它被定义为执行任务的运行时。 说
Kafka
connect(或任何其他软件)是运行时到底意味着什么?它
如何
影响它与卡夫卡连接架构的其他部分的关系,如
连接器
、转换器或卡夫卡本身?
浏览 3
提问于2022-07-03
得票数 0
回答已采纳
1
回答
镜子制造者2需要第三个卡夫卡来进行镜像操作吗?
apache-kafka
、
apache-kafka-connect
、
apache-kafka-mirrormaker
Mirrormaker 2基于
Kafka
框架,可以将其核心看作是
Kafka
源
和接收器
连接器
的组合。因此,在MM2体系结构中,有源和接收器
连接器
。但是,对于MM2中的
连接器
,是否有额外的
Kafka
集群?因为在
kafka
连接设计中,
源
和汇
连接器
需要
Kafka
集群来移动数据。 例如,MM2需要
源
和目标集群;我的问题是,需要第三个MM2来进行镜像操作,而不使用
源
集群和目标
浏览 5
提问于2020-10-15
得票数 0
1
回答
Kafka
Connect是否支持枚举?
apache-kafka
、
apache-kafka-connect
Kafka
Connect是否支持枚举字段?如果不是,通常的解决方法是什么?我在这里查看的是
Kafka
2.6.0API:https://
kafka
.apache.org/26/javadoc/org/apache/
kafka
/connect/data/ConnectSchema.html我试图通过使用Confluent Schema注册表(使用AVRO)来遵循最佳实践,但似乎无法让我的自定义
源
连接
浏览 29
提问于2020-10-01
得票数 0
2
回答
如何
通过
Kafka
Connect自定义
源
连接器
使用Avro生成的
模式
apache-kafka
、
avro
、
apache-kafka-connect
我正在使用
Kafka
Connect开发一个自定义
源
连接器
,并且我正在尝试合并Avro支持。为此,我创建了一些.avsc文件来描述键和值
模式
,并将avro-maven-plugin添加到项目中,以自动创建可在代码中使用的相应java类。
从
生成的类中,我可以获得作为org.apache.avro.Schema类型的对象的
模式
。但是,
源
连接器
的poll方法的返回类型是一组org.apache.
kafka
.connect.source.So
浏览 18
提问于2020-03-16
得票数 0
回答已采纳
1
回答
如何
将数据
从
队列写入MongoDB
java
、
mongodb
、
apache-kafka
、
queue
我有一个正在运行的zookeeper +
kafka
,我正在成功地向
kafka
制作人发送推文。推文是
从
队列中获取的: queue = new LinkedBlockingQueue<>(10000); client.connect();e) { } finally { } 我的问题是
如何
将已经收到的对象Mo
浏览 20
提问于2019-05-29
得票数 1
1
回答
Kafka
将数据写入多个分区
apache-kafka
、
apache-kafka-connect
我试图使用
Kafka
连接来使用独立
模式
编写数据。我正在编写数据的主题是有多个分区。但是,数据只被写入其中一个分区。当我启动多个使用者控制台时,数据只会打印到其中一个。这是standalone.propertieskey.converter=org.apache.
kafka
.connect.
json
.JsonConvertervalue.converter=org.apache.
kafka
.connect.
json
.Jso
浏览 1
提问于2017-06-26
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深入理解Kafka Connect:转换器和序列化
这可能是北半球最暖的Kafka Connect数据管道教程:3
CDC Debezium 介绍
官宣:Apache Flink 1.14.0 发布
使用Apache Kafka的Golang实践指南
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券