如何使用Kafka Streams/Connect保持MySQL数据库与HBASE同步？

文章/答案/技术大牛

发布

1回答

mysql、hbase、apache-kafka-connect

我想同步HBASE数据库作为由MySQL产生的更新触发器与Kafka Streams或Kafka连接的帮助。关于它的可能性和它是如何实现的，有什么建议吗？

浏览 22提问于2019-11-27得票数 0

1回答

Rest数据摄取到数据湖

java、rest、apache-kafka

将数据加载到kafka主题中，不重复

浏览 0提问于2018-01-30得票数 1

2回答

是否可以将SMT (单邮件转换)仅应用于来自指定主题的邮件

mysql、apache-kafka、apache-kafka-connect、debezium

我使用Debezium MySql连接器将数据库更改事件从MySql数据库流式传输到Kafka。我需要将特定的转换应用于某些指定表(而不是其他表)中的记录。有没有一种只使用Kafka Connect单消息转换(没有Kafka Streams或KSQL)的方法？我甚至不介意写一个自定义的SMT。但我找不到如何为消息指定要应用SMT的表/主题。谢谢。在简短的调查之后，我决定<

浏览 10提问于2019-04-11得票数 1

1回答

在Kafka streams作业中执行同步数据库查询或restful调用是一种好的做法吗？

apache-kafka、bigdata、streaming、apache-kafka-streams

我使用Kafka streams来处理实时数据，在Kafka streams任务中，我需要访问MySQL来查询数据，并且需要调用另一个restful服务。这是一个好的实践吗？或者有什么好主意来做这件事？

浏览 3提问于2018-08-21得票数 1

2回答

如何使用Sqoop将数据从关系数据库导入沙箱Hive？

sql-server、hadoop、hive、sandbox、sqoop

如何使用Sqoop将数据从关系数据库导入到沙箱中的配置单元。我已经在我的电脑上安装了Horton Works沙箱。Nw我想知道这个迁移。3中，是否可以完全(或仅在时间表中)迁移数据库? 4，存储过程和Viwes如何保存所有这些内容？

浏览 0提问于2013-06-12得票数 3

回答已采纳

1回答

我们可以在Kafka Streams中使用任何其他数据库，如MariaDB或MongoDB来代替Rocks DB来存储状态吗?有什么方法可以配置它吗？

mongodb、apache-kafka、apache-kafka-streams、spring-cloud-stream

我有一个Spring boot Kafka Stream应用程序，它处理所有传入的事件，并将其存储在Kafka Streams内部提供的State store中，并使用交互式查询服务进行查询。在所有这些使用" RocksDB“的Kafka流中，我想用任何其他可以配置的数据库替换这个RocksDB，比如MariaDB或MongoDB。有办法做到这一点吗？如果不是如何配置Kafka Stream应用程序使用M

浏览 21提问于2020-08-27得票数 4

2回答

使用confluent kafka连接的ETL

apache-kafka、apache-kafka-connect

我们有一个使用案例，我们使用Kafka连接到Source和Sink数据。它就像一个典型的ETL。对此有什么更好的方法吗？

浏览 3提问于2017-10-11得票数 0

1回答

与汇合连接器

apache-kafka、apache-kafka-connect、confluent-platform

使用与融合Kafka有什么区别？

浏览 6提问于2020-09-28得票数 0

2回答

如何定期向hadoop提供数据

mysql、hadoop

我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？

浏览 2提问于2020-03-07得票数 1

1回答

Teradata和Apache Kafka使用Kafka连接

java、apache-kafka、teradata、apache-kafka-connect、confluent-platform

4-通过Kafka的kafka-console-consumer.bat脚本使用生产者的输出，该脚本随Apache Kafka下载的压缩包一起提供。我读了一些帖子，发现要连接Kafka和Teradata，我需要使用Kafka connect。但有几件事让我感到困惑：2-我还

浏览 0提问于2020-10-28得票数 2

1回答

如何在kafka jdbc连接源中过滤数据库中的表

mysql、apache-kafka、mysql-connector、apache-kafka-connect

我正在使用Confluent社区平台中的Kafka来保持MySQL数据库的同步。源和汇是MySQL数据库。它没有起作用。在我的情况下，有一些问题：在同一台服务器中的其他数据库中有表，我不想将它们读入Kafka，但是Kafka继续尝试读取其他数据库。我希望在源连接器和Sink连接器中都使用org.apache.kafka.connec

浏览 0提问于2019-02-19得票数 0

3回答

将数据从sql server导入hbase

sql-server、hadoop、hbase

我想知道sqoop中的sql server连接器是否也允许我们将其直接导入HBase？我知道我们可以用mysql做到这一点。我想知道sql server是否也能做到这一点。

浏览 3提问于2013-04-29得票数 0

回答已采纳

1回答

使用Kafka* Connect & Debezium向Kafka复制表时的性能问题*

apache-kafka、apache-kafka-connect、debezium

我在使用Debezium和Kafka Connect复制表时遇到了性能问题。只有在数据库的初始快照期间才会出现复制速度较慢的情况。我测试的一个表包含340万行，复制花了2个小时才完成。在这个阶段，整个数据库都被锁定，我无法将数据提交到当时未同步的其他表中。": "when_needed", "max.batch.size": 20480} 已

浏览 54提问于2020-11-25得票数 0

1回答

kafka mirrormaker 2自定义分区程序

apache-kafka、apache-kafka-mirrormaker

我正在尝试确定是否可以将自定义分区程序与mirrormaker 2一起使用，以便在复制到目标集群时使用我的自定义分区程序。根据这里的文档，https://github.com/apache/kafka/tree/trunk/connect/mirror应该可以使用配置格式mm2 -alias.producer.

浏览 53提问于2020-12-19得票数 3

回答已采纳

3回答

卡夫卡制作人在重审用尽后如何处理信息

apache-kafka、kafka-producer-api

将用户数据存储在中，这是给Kafka.的一条消息。如果生产者的请求成功，即将其存储在主题.中我认为我们应该把这条消息存储在数据库里。在表“failed - messages”中)，如果重试已经用尽，并且有一个后台服务，将循环处理失败的消息，尝试在每次间隔后再将它们发送到Kafka。请向我们提出处理这一案件的最佳做法。

浏览 5提问于2022-05-05得票数 1

1回答

KSQL在CharConversionException中失败:读取流时无效的UTF-32字符

apache-kafka、ksqldb

我正在使用Kafka将一些数据传输到Kafka。我可以使用print 'kdc-01-orders' from beginning;查看这些数据。数据看起来是正确的JSON。: Converting byte[] to Kafka Connect data failed due to serialization error: ksql-server_1 |at org.apache.kafka.connect.json.

浏览 0提问于2019-07-02得票数 2

1回答

如何将流与以前的窗口数据连接起来？

apache-spark、spark-structured-streaming

在spark structured streaming中，将相同in的当前记录集与以前的记录集连接的最佳方式是什么？如何在重启后重新初始化之前的状态？我们已经尝试了HBase来存储之前的状态，但是它变得非常慢。如果我们使用spark任意会话，如何在重启后重新初始化以前的状态？我们现在已经在Kafka streams中实现了这一点。

浏览 2提问于2020-07-15得票数 2

1回答

无法连接:通信链接失败

mysql、apache-kafka、minikube、debezium、strimzi

根据本教程，我也使用迷你库，但与码头司机。基本上就是一步一步地走下去。:/opt/kafka/external-configuration/connector-config/debezium-mysql-credentials.properties:mysql_password}"database.user: "debezium"直接和重新应用，根据

浏览 3提问于2021-09-29得票数 0

回答已采纳

1回答

kafka连接器如何为postgresql和mysql数据库工作

mysql、postgresql、apache-kafka-connect

我正在学习这里的快速入门教程，背景下是如何工作的?1:它是否在特定时间间隔内建立与数据库和监视表的连接？或3: mysql和postgr

浏览 2提问于2018-12-31得票数 0

回答已采纳

1回答

用卡夫卡连接在MySQL数据库间同步数据

apache-kafka-connect、confluent-platform

我试图用基于Kafka的汇合式在几个MySQL数据库之间同步数据。我在源连接器配置中使用了"bulk“模式，因为主键类型是varchar，所以不能使用增量模式。很好，但我有两个问题：同步数据需要相当长的时间。在我的例子中，将表与3~4k行同步</

浏览 5提问于2017-09-19得票数 2

回答已采纳

点击加载更多