2回答
卡夫卡MySQL作为消费者
mysql、apache-kafka
我有卡夫卡作为服务器生态系统中的消息代理，我能以某种方式使MySQL成为消费者吗？
我需要直接用卡夫卡的数据库来写数据。
浏览 7提问于2015-07-07得票数 1
回答已采纳
1回答
Kafka在传统的3层应用程序中的位置
apache-kafka
我最近开始学习apache kafka。在得到一些初步的想法后，我对kafka在应用程序架构中的位置感到困惑。
我的意思是，我们如何将它引入到以前只有三层的简单应用程序中。前端(安卓应用)，后端(Node.js)，MySQL。用户可以从应用程序创建帖子，应用程序将调用node.js上的端点，并将帖子存储在数据库中。在这个简单，直截了当的架构中，kafka还会添加什么额外的东西？它将如何集成？
浏览 2提问于2021-10-27得票数 0
2回答
如何定期向hadoop提供数据
mysql、hadoop
我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
1回答
RDBMS数据的Kafka+Spark解决方案
apache-kafka
我当前的项目是以MainFrames为数据库，以DB2为数据库的。我们有70个数据库，每个数据库都有近60个表。我们的架构师提出了一个使用Kafka与星火流一起处理数据的方案。Kafka在读取数据的RDBMS表方面有多好？我们是使用Kafka直接从表中读取数据，还是有其他方法将RDBMS中的数据导入Kafka？如果有更好的解决方案，你的建议会有很大帮助。
浏览 4提问于2017-06-25得票数 0
回答已采纳
1回答
为什么kafka将空数据写入数据库？
mysql、node.js、apache-kafka、nestjs
我的项目从Kafka的主题中获取数据，并将数据写入数据库(mysql)。如果我读到卡夫卡的数百条信息，大多数信息都可以正确地写入数据库。但是，可以使用空值将一些消息写入数据库(数据库可以拥有该记录，但所有列中的值都为空)。我在这里有遗漏什么吗？
浏览 2提问于2022-05-12得票数 -1
1回答
Spring Kafka JDBC连接器兼容性
spring-boot、spring-kafka、apache-kafka-connect、confluent-platform
Kafka JDBC connect兼容Spring-Kafka库吗？
我确实关注了，但仍然有一些困惑。
浏览 4提问于2020-07-04得票数 0
1回答
从mysql中提取每日数据更改并将其部署到timeseries DB
mysql、apache-kafka、apache-kafka-connect、debezium、druid
在MySQL中，使用binlog，我们可以提取数据更改。我的意图是每天在timeseries数据库中备份整个MySQL数据库。它有助于通过参考当天存在的实际数据来调试我的应用程序的过去日期
浏览 4提问于2021-10-28得票数 0
1回答
如何轻松地将流结果保存到远程数据库中？
apache-kafka、apache-kafka-connect
在本例中，结果被写入主题。相反，如何通过REST或其他任何方法轻松、快速地将结果保存到远程数据库中。汇合平台上有什么结构吗？代码示例: //而不是代码，发送远程数据库
wordCounts.toStream().to("streams-wordcount-output"，Produced.with(stringSerde，longSerde
浏览 0提问于2019-03-27得票数 1
回答已采纳
2回答
如何在Apache Kafka中从远程数据库拉取数据？
mysql、apache-kafka、apache-kafka-connect
我想在Apache Kafka中创建实时数据管道。我有一个数据库，它位于远程位置，该数据库不断更新。我应该使用哪个Kafka连接API从数据库中提取数据并实时摄取到Kafka broker中？稍后，我将使用kafka stream和KSQL运行即席查询来执行指标。
任何帮助都将不胜感激！
浏览 2提问于2018-08-28得票数 1
1回答
如何以json格式将数据从rds推送到kafka队列
mysql、json、apache-kafka
我使用kafka主题从mysql数据库接收消息，我需要编写python代码将json格式的数据从mysql推送到kafka，topic.My的要求是以json格式获得输出，而不是用原始字符串。下面是用json格式将mysql表数据转储到kafka主题的python代码。代码：
connection = mysql.connector.connect(host='xyz.us-east-1.rds.amazonaws.com', da
浏览 7提问于2021-05-02得票数 0
1回答
使用将模式和数据更改从MySQL流到MySQL
apache-kafka、apache-kafka-connect
如何使用Kafka连接源连接器将模式和数据更改以及某些类型的转换流到另一个MySQL实例。如果我使用Kafka的Python (Confluent_kafka)在加载到目标DB之前使用和转换消息，是否也有一种传播模式更改的方法。
浏览 3提问于2022-06-01得票数 0
2回答
MYSQL中二进制登录数据流的可用性:有哪些缺点和优点？
mysql、apache-kafka、apache-kafka-connect、debezium
我一直试图从MySQL中读取数据，使用Kafka连接，使用MySQL源连接器作为数据库，用debezium连接器读取bin日志。我正在努力理解如何才能更好地提取更改数据。Bin日志具有写入日志等的开销，而从数据库读取则有查询数据库的开销。与这两种方法相关联的其他主要优点和缺点是什么？有什么方法能更好地捕获变更数据呢？另外，从MySQL 8开始，默认情况下会启用bin日志。这是否意味着这是一种更好的做事方式？
浏览 3提问于2021-01-07得票数 0
回答已采纳
1回答
如何在高流量应用程序中将查询从MySQL迁移到Redis？
mysql、redis
多年来，我一直在开发一个高流量的广告服务平台，使用前面有一个HAProxy的主主玛丽亚数据库集群来平衡关系数据查询(读取查询会转到所有服务器，但只写到一个服务器上，以防止服务器不同步)。我还使用Redis缓存一些不太动态的MySQL信息，但我相信有很多机会可以更好地利用它，因为一旦流量增加，我经常遇到以下瓶颈：
MySQLdeadlocks的连接太多(可能是因为主服务器超载时写入开始在多台服务器上我的目标是将更多的写操作从MySQL移到Redis中，但是我很难根据存储在Redis中的计数/预算来过滤MyS
浏览 1提问于2020-08-28得票数 0
1回答
将KTable数据放入外部数据库
java、apache-kafka、apache-kafka-streams
我有一个场景，我需要将数据放在KTable中，并将KTable中的数据存储到Oracle11g DB中。做这件事的可能方法是什么？
浏览 4提问于2017-10-09得票数 0
1回答
我可以使用Pyspark更新远程Mysql DB中的表中的值吗？
python、mysql、pyspark、apache-kafka、pyspark-sql
我正在使用kafka从远程mysql数据库读取数据，并将其传递到Pyspark streaming以应用情感分析，然后用该值更新mysql数据库中的列。这是最好的情况，还是有比这更有效的架构？
浏览 1提问于2019-11-20得票数 0
1回答
架构建议:如何实时聆听数据库更改？
mysql、apache-kafka
我正在开发一个系统，当一个新条目到达集中数据库(MySQL)时，会存储一些预测/估计结果。我有多个微服务写入数据库，在那里我修补了我的代码，将记录推入Kafka，而kafka的消费者正在估计并将结果推回DB。
浏览 5提问于2020-05-21得票数 1
回答已采纳
1回答
卡夫卡连接(Debezium连接器)只听table.include.list中的特定表
mysql、apache-kafka、apache-kafka-connect、debezium
我正在使用debezium连接器读取数据写入我的数据库，然后发送给卡夫卡消费的卡夫卡消费者。我在table.include.list中指定了三个表，但它只侦听第一个表中的更改。以下是我在kafka connect中使用的配置：database.user=roottopic.creation.default.partitions=3tasks.max=1
浏览 6提问于2021-05-05得票数 0
1回答
需要针对大容量应用程序的设计
java、jakarta-ee、architecture
保存到数据库的次数大约是每(1-5)秒100,000次，这只是一个估计。哪种类型的设置会产生更好的结果？
浏览 2提问于2015-01-29得票数 0
1回答
如果KStream#process执行所有DB操作，并转发到下一个使用者，最后写入主题，则只维护一次语义
apache-kafka、apache-kafka-streams
我想在外部数据库中做所有的有状态操作，而不是RocksDB，为了做任何需要有状态操作的地方，我编写了自定义处理器，它将进行DB操作，context#forward方法将键值对witten转发到DB到下游消费者，最后写入到一个主题。
浏览 0提问于2019-09-07得票数 0
1回答
在另一个数据库中插入Debezium记录
postgresql、apache-kafka、debezium
我在Azure有PostgreSQL数据库。此外，我还有一个指向这个数据库的Debezium连接器。当新数据插入到某些表中时，此连接器将从选定的表中生成数据。现在，我正在寻找一种方法，我可以做一个卡夫卡消费者，它将插入这些记录到另一个数据库，同时对每一行做一些轻微的修改。
有什么想法吗？
浏览 7提问于2022-10-26得票数 0
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号