来自MySQL和Kafka主题的事件数据。我们将从MySQL加载历史数据，然后切换到Kafka，以便当前的data.Mysql ID也会流入Kafka。因此，消息包含事件ID。Kafka流事件将使用spark作业进行处理，并最终将数据摄取到报表中。 问题:如何加载历史数据并实时切换到Kafka源。 1-创建临时使用者组以存储所有分区的当前偏移量和当前时间戳TS1。2-从create
浏览 18提问于2020-01-23得票数 0
1回答
我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好
我们用java编写了一个调度程序，它每2分钟运行一次，并将修改后的记录从MySQL更新到mongo。最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定寻找任何可以从MySQL binlo
浏览 14提问于2020-02-04得票数 0
我已经创建了一个卡夫卡生产者，从MySQL数据库读取网站点击数据流，它工作得很好。我发现我也可以使用kafka connect或debezium将kafka连接到MySQL数据源。我的目标是使用kafka摄取数据，并将其发送到Storm进行消费和分析。看起来这两种方法都可以实现我的目标，但使用kafka producer可能需要我构建一个kafka服务来不断读取数据源。
浏览 1提问于2018-07-10得票数 0
我试图下沉的表数据一个数据库到另一个数据库使用kafka debezium ( Kafka流)在docker的帮助下。DB流工作正常。但是流式数据接收另一个MySQL DB进程时出错。{ "config": { "to
浏览 4提问于2019-11-21得票数 3
1回答
问GoldenGate会推送(卡夫卡) AVRO文件，需要阅读和转换成JSON形式推送到谷歌扳手。(新的AVRO，谷歌扳手)寻求如何开始？
浏览 2提问于2018-10-31得票数 0
我正在不同的DC上设置两个kafka v0.10.1.0集群，并计划使用镜像机将一个作为源，另一个作为目标，但我不确定的是当我的源/主集群出现故障时，如何确保高可用性(源kafka集群崩溃的完整DC)，我是否需要让我的应用程序切换到目标kafka产生消息，当来源kafka返回时会发生什么？
浏览 1提问于2017-02-24得票数 4
回答已采纳
在MySQL中，使用binlog，我们可以提取数据更改。我的意图是每天在timeseries数据库中备份整个MySQL数据库。它有助于通过参考当天存在的实际数据来调试我的应用程序的过去日期
浏览 4提问于2021-10-28得票数 0
我正在使用kafka源连接器对kafka进行mysql连接。一切都很好。现在我需要传递key.serializer和value.serializer来加密数据，就像在上显示的那样。POST API启动源连接器 "name": "jdbc-source-connectorconnector.class
浏览 1提问于2020-01-07得票数 0
回答已采纳
最近我更新了kafka镜像，现在它不能连接到源zk服务器-消费者失败。之前的版本基于java:openjdk-8-jre，kafka_2.11-1.0.2.tgz和zookeeper:3.4.10。我将kafka更新为kafka_2.12-2.2.0.tgz，仍然使用相同的3.4.10ZK版本和java:openjdk-8-jre。<init>(KafkaConsumer.java:721)
... 13 more 如果我将kafka
浏览 28提问于2019-05-12得票数 0
回答已采纳
1回答
我已经启动了zookeeper，kafka服务器，kafka生产者和kafka消费者，我已经把从confluent下载的jdbc sql连接器jar放在路径中，我已经在connect-standalone\config\sink quickstart-MYSQL.properties没有任何错误，但是它有很多警告并且没有开始，但是我的数据没有反映在tables.what中我错过了，你能帮我吗我有下面的警告<init>(Reflections.java:140)
at org.a
浏览 21提问于2020-10-28得票数 0
1回答
从我的阅读和观察来看，我理解Kafka Connect允许您使用Source连接器将数据发送到Kafka，使用Sink连接器从Kafka读取数据。例如，您可以使用PostgreSQL源连接器向Kafka写入，然后使用Elasticsearch和Neo4J Sink连接器并行读取卡夫卡的数据。
我的问题是:这种抽象是如何工作的？为什么不同人编写的源连接器和Sink连接器能够一起工作？为了从Kafka读
浏览 2提问于2021-02-05得票数 0
由于Kafka JDBC接收器对于数组数据类型有一些缺点，我想将kafka JDBC接收器连接器与支持数组数据类型的简单kafka连接器结合起来。然而，我想知道我源PostgreSQL中的哪个表至少有一列的数组数据类型，这样我就可以从我的kafka接收器操作中过滤它，并将它们切换到简单的kafka消费者操作中，并且知道哪个表具有数组是相当耗时的。
浏览 22提问于2020-09-02得票数 1
回答已采纳
我有一个正在运行的Kafka 0.10实例，我目前正在使用Gobblin将数据存储到HDFS中。我想切换到Kafka，当我进行研究时，我发现汇合提供了一个连接器。意思是，例如，我可以从合流源复制相关的脚本，并以某种方式让我的Kafka实例使用它吗？我基本上还在学习这些东西，所以我对这个领域还不太熟悉。
谢谢。
浏览 3提问于2016-09-06得票数 0
2回答
我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
1回答
我已经使用kafka源连接器将文档从Couchbase获取到kafka。然后将这些文档复制到Mongo DB。Couchbase --> Source Connector --> Kafka --> Sink Connector -> Mongo 如果源连接器关闭，那么如何再次将所有文档同步到Kafka？有没有get和touch功能可以将kafka主题在停机
浏览 20提问于2019-10-17得票数 0
1回答
我使用部署在Kafka中的Debezium MySQL连接器来流MySQL对Kafka的更改，我们从那里获取这些消息，丰富数据并将数据推送到另一个MySQL。行导入失败，错误：(“不正确的日期时间值：'2021-10-06T09:32:46Z‘用于第1行的&
浏览 13提问于2021-12-22得票数 0
我的源是MySql，我使用debezium连接器将其连接到Kafka connect。来自源的数据格式为JSON。现在在KSQL中，我已经创建了一个派生主题，并将JSON主题转换为AVRO，以便可以使用JDBC连接器将数据转换到MYSQL。create TABLE avro_stream WITH (VALUE_FORMAT='AVRO') AS select * from json_stream;
我曾尝试直接使用JSON消息来接收mysq
浏览 26提问于2019-07-10得票数 0
我想使用来自多个数据源的CDC数据，例如cassandra、mysql、Oracle ...etc。我已经浏览了一些文档，将cdc数据流到kafka，并将数据存储到主题中。我在想，我不能写火花程序直接从源消费数据，而是先将数据推入kafka主题，然后触发程序连接到kafka主题以进一步消费信息。
浏览 3提问于2020-12-14得票数 0
如何使用Kafka连接源连接器将模式和数据更改以及某些类型的转换流到另一个MySQL实例。如果我使用Kafka的Python (Confluent_kafka)在加载到目标DB之前使用和转换消息，是否也有一种传播模式更改的方法。
浏览 3提问于2022-06-01得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号