1回答
我有一个springboot应用程序，它执行向表(Mysql)的插入操作。这反过来触发并插入到另一个表中。是否可以使用kafka从表中读取数据。
浏览 2提问于2018-10-31得票数 0
我正在研究kafka，看到生产者和消费者结构是如何工作的，我发现它非常有用和简单。 Producer:
$ ./kafka-console-producer.sh --broker-list "BootstrapBrokerStringTls" --producer.config client.properties/kafka-console-consumer.sh --bootstrap-server "BootstrapBrokerStringTls" -
浏览 21提问于2021-07-04得票数 1
我和Kakfa Producer有120个数据生产者，他们每秒发送消息，有些有敏感的数据(我的意思是，我们必须发送是或是)，而且这些生产者有时可能关闭或失去互联网连接，所以我需要生产者中的容错。我知道有发送数据的方式，同步和异步，他们坚持尝试发送数据并将其保存在内存中，但如果我想将其保存在磁盘中而不是缓冲内存中，我们如何做到这一点。如果消息没有发送，我们如何在磁盘中保存它们？当Kafka生产者抛出异
浏览 0提问于2020-03-05得票数 0
我正在使用kafka从远程mysql数据库读取数据，并将其传递到Pyspark streaming以应用情感分析，然后用该值更新mysql数据库中的列。这是最好的情况，还是有比这更有效的架构？
浏览 1提问于2019-11-20得票数 0
我想使用kafka获取已删除的记录，并将其插入Sink数据库中的表中(并将删除标志列更新为Sink数据库中的true )。在我的源表中，如果：
新记录=将新记录插入Sinkupdate record =将新记录插入Sink 删除记录(从表中删除行)=将新记录插入Sink(并将DeleteFlag列作为true)
浏览 2提问于2021-02-24得票数 0
我正在尝试使用DB数据作为我的java代码中的Kafka生成器。源数据不断增长(例如每秒20行)。每次向DB表中插入新记录时，都会从DB中读取整个数据并将其添加到Kafka主题中。我只希望将新添加的行发送到主题(即，如果表已经包含10行，并且向其追加了4行，则只需要将这4行发送到主题)。
如果我们也可以使用Kafka API，有
浏览 4提问于2017-11-30得票数 1
我正在使用Table/SQL从Kafka读取并使用SQL查找，以丰富并重新插入SQL表。在对SQL表进行更新后，将相同的事件流到Kafka Sink.。但是MySQL的上插和卡夫卡的插入是并行的，但是我们想要一个像下面这样的串行顺序我们正在获得的流程:查找KAFKA<
浏览 1提问于2022-02-18得票数 0
我想每秒向KAFKA中插入大约500k的数据，然后将它们与每秒仅支持40k插入/更新的MySQL数据库同步。因此，为了实现我的目标，我想使用KAFKA作为热存储，因为我需要尽可能快地使用数据，并与多个服务共享它们，并快速进行更新，因为它不能单独使用MySQL (我想将其用作冷存储，以尽可能长地存储数据并存档更改这里有一个关于我的需求的模式：
有没有关于如何</em
浏览 0提问于2019-06-20得票数 0
1回答
我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好
我们用java编写了一个调度程序，它每2分钟运行一次，并将修改后的记录从MySQL更新到mongo。最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定
浏览 14提问于2020-02-04得票数 0
我有一个应用程序发布有关Kafka主题的消息。我已经使用Confluent的斯诺同步将主题与雪花表同步，所以当我向主题发布消息时，它将被插入到表中。每次从我的应用程序执行insert/update/delete操作时，我都会插入到我们的数据库中，但我也需要让它与雪花保持同步，我们计划为此使用Kafka主题。并应插入/更新/删除。插入<
浏览 13提问于2022-04-29得票数 0
回答已采纳
我使用了疾病预防控制中心从MySQL到卡夫卡的主题，这里的问题是一些主题是创建的，而一些主题并不是按照特定数据库中的表列表创建的。我在数据库中有5个表，名称是demo。_3 demo.demo.table_5默认行为是Debezium连接器将一个表中所有插入、更新和删除操作的事件写入到一个MySQLKafka主题命名约定如下：
serverNam
浏览 4提问于2021-10-30得票数 0
1回答
作为POC的一部分，我有一个任务，它基本上读取MySQL表的所有内容，并将记录转储到一个Kafka主题中。
该表仅包含2条记录&我的batch.max.rows值为2。当任务以"bulk“模式运行时，我在kafka主题中看到了2条单独的JSON记录。如何配置连接器以插入包含这2条记录的JSON数组的1条JSON记录。最终没有。向卡夫卡主题发布的信息为1而不是2。
浏览 0提问于2021-01-06得票数 1
回答已采纳
2回答
我想从csv文件中将数据插入mysql表中。从文件导入数据。在包含3列第3列的region_codes.csv文件中，它有,分隔的数据，包括如何在mysql中插入的逗号。idx_country_code` (`country_code`)我使用LOAD DATA LO
浏览 2提问于2014-03-25得票数 1
回答已采纳
我想在Apache Kafka中创建实时数据管道。我有一个数据库，它位于远程位置，该数据库不断更新。我应该使用哪个Kafka连接API从数据库中提取数据并实时摄取到Kafka broker中？稍后，我将使用kafka stream和KSQL运行即席查询来执行指标。
任何帮助都将不胜感激！
浏览 2提问于2018-08-28得票数 1
1回答
Kafka用例替换控制M作业
、、、、
第一项任务-加载csv文件记录并插入数据库暂存表第二项任务-对临时表第三作业中的每个记录执行数据封装-从暂存表中读取数据并插入到另一个表。创建csv kafka源连接器来读取csv中的数据，并插入kafka输入主题创建春云kaf
浏览 1提问于2021-05-14得票数 0
现在，我正在尝试编写一个自定义的HiveStorageHandler实现，用于使用Hive Table查询和推送消息到Kafka。我看到了HiveStorageHandler的其他实现，它允许我们使用hive表在NoSQL数据库上查询和写入。有人
浏览 5提问于2018-11-25得票数 0
2回答
我的公司每天产生大约600万条记录，我看到hadoop是处理大量数据的一个很好的解决方案。我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
我使用Debezium MySql连接器将数据库更改事件从MySql数据库流式传输到Kafka。我需要将特定的转换应用于某些指定表(而不是其他表)中的记录。有没有一种只使用Kafka Connect单消息转换(没有Kafka Streams或KSQL)的方法？我甚至不介意写一个自定义的SMT。但我找不到如何为消息指定要应用SMT的表/主题。谢谢。
浏览 10提问于2019-04-11得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
