Debezium: Mysql LONGTEXT到Debezium的数据类型转换不正确

文章/答案/技术大牛

发布

1回答

debezium

mysql模式 `Info` longtext, 相同字段的debezium模式 { "type": [ ],}, 当这些数据加载到Redshift中时，它会失败，因为它希望数据类型是大的，即VARCHA

浏览 67提问于2020-09-14得票数 0

2回答

Kafka JDBC连接器-尝试将AvroConverter架构注册表详细信息作为新列添加到目标表中

apache-kafka、kafka-consumer-api、apache-kafka-connect

集群中的数据已使用AvroConverter加载，模式详细信息还包含源、op、ts_ms等字段。这里的问题是，当我试图从集群读取数据时，它试图将这些模式字段作为附加列添加到我的目标表中，并引发一个错误： INFO Unable to find fields [SinkRecordField{schema=Schema{Tab1.Value:STRUCT}, name='after', isPrimaryKey=false}, SinkRecordField{schema=Schema{io.debezium</

浏览 16提问于2022-04-10得票数 1

回答已采纳

1回答

Debezium -有关MariaDB中日期类型的问题

date、mariadb、debezium

我使用Debezium与一个MariaDB数据库，我有一个问题，当涉及到日期类型字段捕获，Debezium转换成TImestamp，但与一个不正确的值，例如，对于一个值26/05/2008中必须是1211752800的TimeStamp，Debezium将其转换为值14025。预先感谢您的帮助

浏览 0提问于2019-09-10得票数 1

1回答

卡夫卡连接Debezium* MySQL连接器时间戳发行*

java、mysql、timestamp、apache-kafka-connect、debezium

我使用部署在Kafka中的Debezium MySQL连接器来流MySQL对Kafka的更改，我们从那里获取这些消息，丰富数据并将数据推送到另一个MySQL。行导入失败，错误：(“不正确的日期时间值：'2021-10-06T

浏览 13提问于2021-12-22得票数 0

2回答

亚马逊网络服务: PostgreSQL与Kinesis集成的正确方式是什么？

postgresql、amazon-web-services、aws-lambda、amazon-rds、amazon-kinesis

我想要实现的目标是:在数据库数据更新时得到通知，因此，我想构建以下链：PostgreSQL -> Kinesis -> Lambda。但我现在确定如何正确地通知Kisesis数据库更改？我见过一些人们尝试使用Postgresql triggers向Kinesis发送数据的例子。有些人使用wal2json概念。因此，我对选择哪个选项有一些疑问，这就是我寻求建议的原因。

浏览 28提问于2020-12-10得票数 1

1回答

使用springboot将数据从mysql传递到kafka的最佳方式是什么

spring-boot、apache-kafka、producer

将数据从mysql传递到kafka produce的最佳方式是什么我知道有很好的kafka连接器。然而，我想使用springboot框架。因为我需要转换数据并与其他http结果合并，然后我想产生数据到kafka。那么有没有什么好的例子，github，博客wahtever~？

浏览 44提问于2020-07-21得票数 1

1回答

在一个位置管理两个关系数据库中的数据

google-bigquery、amazon-redshift、data-warehouse、bigdata

需要运行涉及两个数据库中的表的临时查询。目前，我们正以两种方式之一这样做：在我们的邮政服务器上。我们想要做的事情：--我们希望这两个数据库中的大多数表(按原样)都可以在一个位置上使用，所以查询它们是简单而快捷的。我们正在考虑将两个DB服务器上的数据复制到BQ中，而不进行任何转换。看起来，我们需要定期(每天)取满我们的</

浏览 5提问于2017-03-06得票数 1

回答已采纳

1回答

使用Debezium使用SSL连接到Cloud时出错

mysql、ssl、apache-kafka-connect、debezium

目标：使用debezium捕获Cloud中的更改。Cloud的实例是按照指令启用的场景：我在本地机器上有debezium connect、kafka和zookpeer作为码头容器运行。我已经在没有SSL的Cloud实例中测试了安装程序。事情进展顺利。启用SSL后，将pem文件(server-ca.pem、client-cert.pem、client-key.pem)转换为密钥存储库和信任存储库，并将它们作为debezium连接码头容器容器中的

浏览 0提问于2019-04-11得票数 1

回答已采纳

1回答

在Debezium* Mysql连接器中白化更多表的有效方法*

mysql、apache-kafka-connect、mysql-connector、debezium

对于将新表白化到debezium mysql连接器，有什么最佳实践可遵循吗？{ &qu

浏览 1提问于2020-05-28得票数 2

回答已采纳

1回答

过滤数据库中的行

mysql、apache-kafka、apache-kafka-streams

我正在尝试摄取一个包含多个表的完整数据库。一旦被Kafka摄取，我想根据条件来筛选表中的行。在给Kafka提供数据之前先过滤数据行是不是更好？谢谢。

浏览 9提问于2017-08-11得票数 0

回答已采纳

1回答

MYSQL CDC使用apache Kafka和kafka在我的本地连接，而不使用码头和汇流。

mysql、rest、apache-kafka、apache-kafka-connect

对于CDC来说，在服务器上运行Kafka集群的最佳方法是什么？我需要在生产者端运行配置吗？需要知道如何实现它

浏览 5提问于2022-01-19得票数 0

回答已采纳

1回答

示例连接器属性文件，以提供独立的Kafka连接

apache-kafka、apache-kafka-connect、debezium

经过无数个小时的努力，我终于明白了逻辑。Kafka连接属性(bin/ Connect -standalone.sh)，(config/connect-standalone.properties)Download配置文件是卡夫卡连接器(在本例中，MySQL来自whatevername.properties中的Debizium)Configure连接器属性).字段的示例。[Extern外信息] Debizium配置属性列表： [问题]

浏览 5提问于2021-05-28得票数 1

回答已采纳

2回答

字段不存在于使用Debezium提取密钥的转换中。

apache-kafka、apache-kafka-connect、debezium、ksqldb

我正在尝试创建一个带有转换的Debezium MySQL连接器来提取密钥。在关键转换之前： "connector.class" = 'io.debezium.connector.mysql.MySqlConnector23.354 Z, value: {"id": &q

浏览 2提问于2020-05-20得票数 5

2回答

在一段时间后完成所有MySQL更改

mysql、database-replication

我有一个系统，其中有一个mysql数据库，可以对其进行更改。然后，我有其他机器每10分钟连接到mysql数据库，并重新下载有关它们的表(例如，一台机器可能下载表A、B、C，而另一台机器可能下载表A、D、E)。在不使用Debezium或Kafka的情况下，是否有一种方法可以在某个时间戳之后完成所有MySQL更改，以便只将这些更改发送到请求更新的计算机，而不是整个表？例如，机器X可能希望完成所有mysql更改，因为它上次联系了mysql数

浏览 0提问于2018-09-11得票数 0

1回答

Debezium连接器无法连接到MariaDB，错误'LOAD DATA LOCAL INFILE at is disabled at client‘

mariadb、debezium

我们使用Debezium和Kafka-Connect从几个MariaDB数据库实例中获取数据。对于大多数数据库，连接器都能成功运行，但有一个数据库的连接器会失败，并显示以下错误： at io.debezium.connector.mysql.AbstractReader.failed(AbstractReader.java

浏览 0提问于2021-01-12得票数 0

1回答

使用将模式和数据更改从MySQL流到MySQL

apache-kafka、apache-kafka-connect

如何使用Kafka连接源连接器将模式和数据更改以及某些类型的转换流到另一个MySQL实例。如果我使用Kafka的Python (Confluent_kafka)在加载到目标DB之前使用和转换消息，是否也有一种传播模式更改的方法。

浏览 3提问于2022-06-01得票数 0

1回答

C#如何检测每个微服务API中的crud操作并将其发布到rabbitMQ？

c#、asp.net-core、.net-core、rabbitmq、microservices

我希望当在管理微服务API中执行crud操作时，rabbitMQ捕捉事件并将crud操作作为消息发布，然后从另一端使用服务或某个工具使用消息，然后使用它来更新另一个数据库？如何做到这一点？

浏览 1提问于2021-02-16得票数 0

1回答

Debezium连接器-通信链路故障

mysql、apache-kafka、docker-compose、apache-kafka-connect、debezium

当使用docker连接本地mysql时，我遇到了问题 "tasks.max": "1", "database.hostname": "m

浏览 10提问于2022-04-27得票数 0

回答已采纳

1回答

Debezium的ExtractNewRecordState转换无法工作

apache-kafka、apache-kafka-connect、confluent-platform、debezium

我正在构建一个数据同步器，它捕获来自MySQL源的数据更改，并将数据导出到配置单元。Debezium提供了一个，让我可以从复杂的事件消息中提取after字段。我执行了与列出的文档相同的配置，但它不起作用。 // omit ...我已经尝试在源连接器端和接收器连接器端配置转换，它仍然不能工

浏览 69提问于2020-05-09得票数 3

回答已采纳

1回答

Kafka连接器配置错误: filter.condition:定义的json路径无效

apache-kafka、apache-kafka-connect、confluent-platform、jsonpath、debezium

我正在尝试将Confluent的Filter SMT与Debezium示例unwrap-smt一起使用。我将以下配置添加到源连接器(Debezium MySQL)配置中： "transforms": "route,csFilter", ...因此我下载了jar file并将jar文件(连接转换、连接实用程序、json路径)复制到path-to-kafka/connect/debezium<

浏览 123提问于2020-07-15得票数 1

回答已采纳

点击加载更多