2回答
如何定期向hadoop提供数据
mysql、hadoop
我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
1回答
MYSQL CDC使用apache Kafka和kafka在我的本地连接，而不使用码头和汇流。
mysql、rest、apache-kafka、apache-kafka-connect
对于CDC来说，在服务器上运行Kafka集群的最佳方法是什么？
如何将mysql db连接到运行在本地的kafka集群，并创建到另一个mysql db的接收器连接。
浏览 5提问于2022-01-19得票数 0
回答已采纳
1回答
从mysql到mongo数据库的数据调度问题
mysql、mongodb、apache-kafka、etl、data-synchronization
我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好
我们用java编写了一个调度程序，它每2分钟运行一次，并将修改后的记录从MySQL更新到mongo。最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定寻找任何可以从MySQL binlog读取的替代方案，
浏览 14提问于2020-02-04得票数 0
1回答
过滤数据库中的行
mysql、apache-kafka、apache-kafka-streams
我想知道kafka平台是否适合下面的工作。例如，如果基于日期，将来可能会满足条件，那么是否有机会再次过滤被拒绝的邮件，以最终通过过滤器并进一步处理？在给Kafka提供数据之前先过滤数据行是不是更好？
谢谢。
浏览 9提问于2017-08-11得票数 0
回答已采纳
3回答
kafka-connect: SQLException:只有在使用分布式模式时，才没有合适的驱动程序。
mysql、jdbc、apache-kafka、apache-kafka-connect、confluent-platform
我们已经成功地使用了使用jdbc独立连接器的mySQL - kafka数据吞并，但是在分布式模式下(作为kafka连接服务)，我们现在面临着同样的问题。我的连接器瓶在这里-
-rw-r--r-- 1 root root 906708 Jul 29 01:18 zookeeper/etc/kafka-connect-jdb
浏览 2提问于2018-11-15得票数 0
回答已采纳
1回答
融合云的JDBC源连接器？
apache-kafka-connect、confluent-platform、confluent-cloud
JDBC源连接器是否可用于Confluent Cloud？我想将Snowflake与融合的云kafka主题联系起来。
浏览 37提问于2021-04-22得票数 0
回答已采纳
2回答
如何链接docker-compose.yml文件中的MySQL RDS？
docker、docker-compose
而不是下面的mysql容器DB链接，我想链接在码头yml file中的AWS Mysql RDS。有可能吗？mysql_db: container_name: shishir_db MYSQL_ROOT_PASSWORD: "xxxxxxxx" #MYS
浏览 24提问于2017-01-27得票数 4
1回答
卡夫卡连接Debezium MySQL连接器时间戳发行
java、mysql、timestamp、apache-kafka-connect、debezium
我使用部署在Kafka中的Debezium MySQL连接器来流MySQL对Kafka的更改，我们从那里获取这些消息，丰富数据并将数据推送到另一个MySQL。我在Debezium连接器配置中尝试了org.apache.kafka.connect.tran
浏览 13提问于2021-12-22得票数 0
1回答
Kafka在传统的3层应用程序中的位置
apache-kafka
我最近开始学习apache kafka。在得到一些初步的想法后，我对kafka在应用程序架构中的位置感到困惑。
我的意思是，我们如何将它引入到以前只有三层的简单应用程序中。前端(安卓应用)，后端(Node.js)，MySQL。用户可以从应用程序创建帖子，应用程序将调用node.js上的端点，并将帖子存储在数据库中。在这个简单，直截了当的架构中，kafka还会添加什么额外的东西？它将如何集成？
浏览 2提问于2021-10-27得票数 0
1回答
配置Debezium连接到给定的mySQL实例
apache-kafka、apache-kafka-connect、debezium
为此，我使用下面列出的命令在Docker Container上启动了一些服务，这些命令将我连接到示例库存数据库，并且当我在MySQL命令行客户端中执行任何DML命令时，都能够监控这些数据的变化。但是，连接到实际的MySQL数据库并在观察器窗口中传输相同的内容所需的更改或等效命令是什么呢？-p 9092:9092 --link zookeeper:zookeeper debezium/kafka:1.1
docker run -it --rm --name <
浏览 2提问于2020-05-27得票数 1
2回答
如何在Apache Kafka中从远程数据库拉取数据？
mysql、apache-kafka、apache-kafka-connect
我想在Apache Kafka中创建实时数据管道。我有一个数据库，它位于远程位置，该数据库不断更新。我应该使用哪个Kafka连接API从数据库中提取数据并实时摄取到Kafka broker中？稍后，我将使用kafka stream和KSQL运行即席查询来执行指标。
任何帮助都将不胜感激！
浏览 2提问于2018-08-28得票数 1
1回答
删除"table.include.list“并不强制Debezium为数据库中的其余表创建主题。
mysql、apache-kafka-connect、debezium
$Key", }现在，我想删除这个连接器，并创建一个新的连接器，而不需要表的白名单--以获取整个数据库"database.history.kafka.bootstrap.servers": "xxx.xxx.xxx:9092"}
新的:连接器名称，数据库服务器名称和数据库</e
浏览 1提问于2021-04-23得票数 1
1回答
Kafka Mysql CDC到Elastic
elasticsearch、apache-kafka、apache-kafka-connect
我试图通过MySql将我的source-connector数据库更改外包给卡夫卡主题，这是可行的。现在我想把这些数据发送到弹性搜索实例。
为了做到这一点，我跟踪了这个和这个。对于mysql到kafka的CDC，我可以看到我在mysql中所做的更改，并阅读它创建源-连接器，但是当我创建另一个连接器elasticsearch-sink连接器时，source-connectr task.state因此，数据库更改不会进入ES，尽管在es-c
浏览 1提问于2020-02-19得票数 0
回答已采纳
1回答
如何获得卡夫卡Debezium database.server.name连接器？
apache-kafka、apache-kafka-connect、debezium
编辑问题：
服务器可以有多个数据库，然后在database.include.list中我可以包含一个数据库列表。我不知道database.server.name和是什么，如何从MySQL服务器获得值？。在这个场景中
浏览 3提问于2022-03-12得票数 1
回答已采纳
2回答
如何向Debezium MySQL连接器添加新的表？
apache-kafka-connect、debezium
我有Debezium MySQL连接器： "name": "debezium_mysql", "connector.class": "io.debezium.connector.mysql.MySqlConnector": "mysql_compare_sports_history",
"databas
浏览 0提问于2021-02-16得票数 1
2回答
是否可以将SMT (单邮件转换)仅应用于来自指定主题的邮件
mysql、apache-kafka、apache-kafka-connect、debezium
我使用Debezium MySql连接器将数据库更改事件从MySql数据库流式传输到Kafka。我需要将特定的转换应用于某些指定表(而不是其他表)中的记录。有没有一种只使用Kafka Connect单消息转换(没有Kafka Streams或KSQL)的方法？我甚至不介意写一个自定义的SMT。但我找不到如何为消息指定要应用SMT的表/主题。谢谢。
浏览 10提问于2019-04-11得票数 1
1回答
Debezium MySql连接器:表快照是在一个线程中拍摄的吗？
mysql、apache-kafka-connect、debezium
我正在研究Debezium MySql连接器源代码，并试图理解表快照逻辑。1)查看类'io.debezium.connector.mysql.SnapshotReader‘execute()方法，似乎所有表快照都是在一个线程中获取的。这是真的吗？对于拥有大量表的数据库，它不以并行方式处理表？( 2)对于快照，似乎使用"SELECT * from {table}“的query.If快照操作失败(由于DB连接失败，Kafka连接器restart..etc
浏览 0提问于2019-07-29得票数 0
回答已采纳
1回答
消费到CSV的Kafka流
java、apache-kafka、kafka-consumer-api、apache-kafka-connect
我在java中使用Kafka，我使用JSON消息作为字符串，速度是每分钟一百万条消息，我需要拆分字符串，只取一些值，并将其保存到CSV中，以将其加载到数据库中，我如何才能做出这样的事情？
浏览 7提问于2020-05-20得票数 0
1回答
如何使用Kafka Streams/Connect保持MySQL数据库与HBASE同步？
mysql、hbase、apache-kafka-connect
我想同步HBASE数据库作为由MySQL产生的更新触发器与Kafka Streams或Kafka连接的帮助。关于它的可能性和它是如何实现的，有什么建议吗？
浏览 22提问于2019-11-27得票数 0
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号