如何通过debezium CDC机制反序列化从kafka broker收到的BigDecimal值？

文章/答案/技术大牛

发布

2回答

java、spring、postgresql、apache-kafka、debezium

我有几个使用spring boot开发的微服务，每个微服务都有自己的Postgres数据库。这些微服务通过kafka broker和kafka connect与debezium平台提供的CDC机制交换数据。我有一个微服务A，它用BigDecimal属性存储一些实体。另一个微服务B依赖于A存储的数据，因此它通过kafka主题获取数据，如下所示： &

浏览 40提问于2019-06-08得票数 1

回答已采纳

1回答

Debezium:双值序列化/反序列化问题

apache-kafka、debezium

我面临的问题是通过CDC使用带有mysql的Debezium连接器从mysql表中获得双值。", "database.server.name": "mydb", "database.history.kafka.bootstrap.servers&

浏览 4提问于2021-03-12得票数 0

回答已采纳

2回答

Kafka和微服务.建筑问题

apache-kafka

在基于微服务的体系结构中，谁给卡夫卡写信？服务本身还是微服务数据库？我一直在考虑这一问题，并看到了这两种方法的优缺点，但倾向于让数据库写入Kafka主题，因为谢谢你的投入

浏览 2提问于2019-09-19得票数 1

1回答

Flink -将pojo串行化到Kafka接收器

java、apache-kafka、apache-flink、flink-streaming

我的Flink代码的结构是:使用kafka获取数据(topic_1_in)、->反序列化消息、->地图、->、操作数据->、获取POJO ->序列化消息->、用kafka发送数据(topic_1_out) str

浏览 3提问于2021-01-10得票数 0

回答已采纳

5回答

Json文件数据到kafka主题

apache-kafka

如何使用kafka-console-producer在kafka topic中插入json文件数据？每个json数据集可以存储为一条消息吗？: "jlindt@gmail.com", "ip_address": "1.2.3.4"如果您使用此命令- cat sampledata.json|kafka-console-producer--broker-list

浏览 2提问于2019-02-13得票数 11

1回答

MySQL数据库到BigQuery的传输

mysql、google-bigquery

我想创建连接器(类似于Kafka-Connect中的Debezium )来在BigQuery表中反映MySQL源数据库中的每个更改。有一个问题-源数据库每10分钟删除一次并重新创建-一些行是相同的，一些是更新的，还有一些是完全新的。所以我不能通过Debezium做到这一点，因为每隔10分钟我就会有Kafka中的所有记录。我希望只迁移到BQ表中的新值或更新值

浏览 1提问于2021-02-09得票数 1

3回答

Kafka集群长时间宕机后，消费者是否会恢复

apache-kafka、kafka-consumer-api

我在服务器启动时启动Kafka consumer。如果Kafka集群长时间(几个小时)宕机，对消费者会有什么影响？Kafka再次上线后会收到消息吗？

浏览 46提问于2019-12-12得票数 0

1回答

利用IP地址访问远程主机中的Kafka

spring-boot、apache-kafka、docker-compose、spring-kafka

我有一个接口程序-E29，其中我运行了动物园管理员、Kafka、Kafka Connect和KafDrop，问题是，当我在本地运行时，我可以从我的Spring Boot<code>E 29</code>我需要的是在Linux机器上运行相同的配置，并能够以同样的方式从Spring应用程序连接。当在Linux机器上远程运行它时，一切似乎都运行正常，但是当我尝试从Spring应用程序连接时，我收到<

浏览 1提问于2020-12-07得票数 3

1回答

如何将ByteBuffer转换为Avro字节？

java、avro

null","bytes"], "precision": 9,},在代码的其他部分，我将使用BigDecimal类型中的货币值。在创建该类的实

浏览 1提问于2016-01-19得票数 7

1回答

debezium sqlserver连接器输出数字/十进制字段的编码值

sql-server、apache-kafka、confluent-platform、connector、debezium

[hole_coord_n] [numeric](18, 6) NOT NULL,) ON [PRIMARY]{"blast_id":17,"tnt_amount_kg":"eA==",&

浏览 1提问于2020-04-06得票数 0

回答已采纳

1回答

如何在Kafka源连接器(例如Debezium)中禁用JSON模式

apache-kafka、jsonschema、apache-kafka-connect、debezium

我遵循了Debezium教程()，所有从Postgres收到的CDC数据都以JSON格式用模式发送到Kafka主题-如何摆脱模式？=false{"schema":{"type":"struct","fields":[{"type&quo

浏览 0提问于2021-01-29得票数 2

回答已采纳

1回答

如何使用Debezium* MongoDB源连接器将JSON值转换为Kafka消息密钥？*

mongodb、apache-kafka、apache-kafka-connect、debezium

我正在使用Debezium连接器来监听特定的MongoDB集合，以便将每个条目作为MongoDB主题中的一条消息。，每个Kafka消息都具有来自MongoDB的原始数据记录的id。现在，我正在尝试实现一个键转换，以从JSON文档中的一个字段中获得一个特定值，作为kafka中的消息键。这样做的原因是数据应该使用此字段进行分区。) 我尝试的另一个配置如下： { &

浏览 18提问于2019-10-10得票数 0

6回答

Apache Kafka客户端何时抛出"Batch Expired“异常？

java、apache-kafka、ibm-cloud、message-hub

使用Apache Kafka Java client (0.9)，我尝试使用向代理发送一长串记录。异步会立即返回一段时间，然后在短时间内开始阻塞每个调用。

浏览 194提问于2016-01-15得票数 43

回答已采纳

4回答

使用Spark 2.0.2读取来自Kafka的Avro消息(结构化流)

scala、apache-kafka、spark-streaming、avro、apache-spark-2.0

我有一个spark 2.0应用程序，它使用spark streaming从kafka读取消息(使用spark-streaming-kafka-0-10_2.11)。结构化流媒体看起来真的很酷，所以我想试着迁移代码，但我不知道如何使用它。在常规的流中，我对createDstrean使用kafkaUtils，并且在我传递的参数中，它是值反序列化器。我看过像这个这样的例子，但是我在Kafka中的Avro

浏览 3提问于2016-11-20得票数 9

2回答

-如何实现幂等性以支持分布式事务管理(最终一致性)

spring-cloud、microservices、distributed-transactions、spring-cloud-stream、spring-kafka

Order服务在DB中创建订单，并在Kafka主题"orders“中发布一条消息，以保留产品(PRODUCT_RESERVE_REQUEST)。在这个场景中，假设由于任何原因，order服务发布了一个UNDO_PRODUCT_RESERVATION消息，但是没有接收到PRODUCT_UNRESERVATION_COMPLETED消息，所以它重新尝试发布另一个在这个场景中，我如何实现幂等性？更新：按照Artem的指示，我现在可以检测到重复的消息(通过检查消息头)并忽略它们，但是

浏览 6提问于2017-02-13得票数 2

3回答

有没有模拟器/工具来生成用于流的消息？

streaming、apache-kafka、simulation、messaging、stub

出于测试目的，我需要模拟客户端每秒生成10万条消息，并将它们发送到kafka topic。有没有什么工具或方法可以帮助我生成这些随机消息？

浏览 0提问于2016-10-19得票数 14

1回答

考虑Kafka流和Spring流的设计问题

apache-kafka、apache-kafka-streams、spring-kafka、spring-cloud-stream

我需要维护外部系统记录(KTables)，并跟踪这些记录上的任何更改(KStreams)。一切的来源都是一个话题，对吧？因此，我需要向Topics发送消息，我的KTable和KStream将根据需要进行翻译。

浏览 4提问于2021-03-09得票数 0

2回答

使用Flink动态使用和接收Kafka主题

amazon-s3、apache-flink、avro、flink-streaming

我还没能在网上找到很多关于这个的信息。我想知道是否有可能构建一个Flink应用程序，它可以动态地消耗所有匹配regex模式的主题，并将这些主题同步到s3。另外，每个被动态同步的主题都会有Avro消息，Flink应用程序将使用。

浏览 4提问于2017-12-21得票数 0

回答已采纳

3回答

卡夫卡制作人在重审用尽后如何处理信息

apache-kafka、kafka-producer-api

我们必须实现用户注册模块，我们有两个服务现在，当用户从UserRegistration服务注册时，我们希望将用户详细信息发送到标识服务在我们的例子中，UserRegistration服务扮演卡夫卡制片人的角色。流动情况如下：如果生产者的请求成功，即将其存储在主题.中 - Return Success message

浏览 5提问于2022-05-05得票数 1

5回答

卡夫卡服务器配置-侦听器与advertised.listeners

amazon-ec2、apache-kafka

要运行Kafka，需要在config/server.properties文件中设置一些属性。有两个设置我不明白。我什么时候必须使用哪一种设置？

浏览 9提问于2017-03-24得票数 76

回答已采纳

点击加载更多