Kafka和Clickhouse在Docker中运行。我正在尝试通过JDBC Connect从Kafka流中插入一些数据到ClickHouse表中。从流中查询数据显示，数据在stream.Then I create Clickhouse表中，其字段与Kafka</em
浏览 23提问于2020-11-24得票数 0
回答已采纳
主要目的是将卡夫卡主题的数据转换为Clickhouse表。我想，为什么不使用Clickhouse卡夫卡引擎呢？好吧，有。我试过去，但一切都一样。因此，我决定使用Kafka，但得到了一个错误：
没有为jdbc:clickhouse://localhost找到合适的驱动程序:8123/默认在java.sql.DriverManager.getConnection) at org.apach
浏览 4提问于2020-03-06得票数 0
回答已采纳
1回答
我正在尝试构建一个从MySql到Ksql的数据管道。我在用若要启动独立连接器，请执行以下操作。而且效果很好。当我在MySQL表中<em
浏览 0提问于2018-10-23得票数 1
回答已采纳
我试着将一些实时指标从kafka放到clickhouse，我的查询如下所示
CREATE TABLE queue2 (timestamp String, namespace String, data Float, unit String, plugin_running_on String, version UInt64, last_advertised_time String) ENGINE = Kafka('10.224.54.99:9092', 'outtopic1&#x
浏览 27提问于2018-01-03得票数 0
回答已采纳
较长版本：
到目前为止，这一切都很有效。我第一次遇到瓶颈时，我加快了输入数据的速度(40万点&
浏览 1提问于2019-01-14得票数 2
回答已采纳
我有两个(以及更多) Kafka主题，我需要加入他们。我的问题来自我在博客/StackOverflow上读到的内容...有两个选项： 1)将它们都流式传输，Clickhouse Kafka引擎/spark流，然后运行join，这在Clickhouse中是不推荐的2)构建一个包含所有列的表，并使用Clickhouse引擎/spark streaming更新相同的入口？ 任何建议
浏览 22提问于2019-03-06得票数 1
1回答
我在kafka-streams-0.11.0.0.jar中找不到StoreBuilder类。
浏览 0提问于2018-09-12得票数 0
回答已采纳
要求:我有不同的微服务生产数据给卡夫卡。我想收集信息，进行聚合，并为报告构建表。寻找帮助来理解连接的最佳方式。
浏览 4提问于2019-12-03得票数 2
回答已采纳
1回答
我每天都会收到一些文件，我想在这些文件进来时进行处理，并插入到现有的sql表中(使用postgres)。创建自动管道的最佳方法是什么？我已经在python上编写了文件处理脚本，它以要附加到sql表的格式返回数据。什么是使这条管道实时化的最好方法。也就是说，让管道自动处理文件的发送给我，然后将数据添加到sql表中。
浏览 11提问于2022-01-27得票数 2
我希望定期将MySQL数据库中的数据插入到clickHouse中，也就是说，当数据在mySQL数据库中添加/更新时，我希望将数据自动添加到clickHouse中。我正在考虑使用变更数据捕获(CDC)。CDC是一种捕获对MySQL中的数据所做的更改并将其应用于目标ClickHouse表的技术。它只导入更
浏览 4提问于2021-08-16得票数 0
回答已采纳
我使用的是confluent kafka连接器。我想将数据插入到接收器连接器中的特定表TB_TEST_KAFKA中。我已经创建了这个表。 auto.create=false。我正在尝试插入到特定表TB_TEST_KAFKA中， connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
浏览 51提问于2021-08-10得票数 0
我有一个具有嵌套字段和kafka_handle_error_mode='stream',input_format_import_nested_json=1设置的kafka_handle_error_mode='stream',input_format_import_nested_json=1表的Clickhouse服务器和两个物化视图：
_error='' case，将数据存储到与Engine=Kaf
浏览 12提问于2021-12-10得票数 0
1回答
我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好
我们用java编写了一个调度程序，它每2分钟运行一次，并将修改后的记录从MySQL更新到mongo。最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定寻找任何可以从My
浏览 14提问于2020-02-04得票数 0
我正在阅读Connect API上的Kafka文档，并试图将其与我的问题域联系起来。我有多个数据库，其中有公共表，我需要在任何更新/插入/删除时同步这些表。2)有人将记录插入到"purchase_order“中--我希望将插入传递给DB2/DB3等，以便在那些DB2/DB3等中进行相同的插入。
3)表将出现在所有D
浏览 2提问于2017-09-11得票数 0
我使用的是confluent平台JDBC连接器，它是从mysql到kafka消费者的流式数据。通过应用程序将数据插入另一个数据库以进行报告。这里的问题是，它只是在某个时间间隔内一次又一次地流式传输所有数据。实际上，A只想要那些新插入的数据或对以前记录的任何更新。
根据时间戳不能这样做，因为表不包含任何时间列。并且按照增量id也是不可能的。&quo
浏览 0提问于2021-06-14得票数 0
2回答
我试图弄清楚如何最初从查询中获取所有数据，然后只使用kafka连接器进行增量更改。原因是我想把所有数据加载到弹性搜索中，然后保持es与我的kafka流同步。目前，我首先使用带有mode = bulk的连接器，然后将其更改为时间戳。这个很好用。但是，如果我们想要将所有数据重新加载到流和ES中，这意味着我们必须编写一些脚本，以某种方式清除或删除kafka流和es索引数据</em
浏览 3提问于2017-05-04得票数 7
回答已采纳
1回答
我正在尝试使用kafka-connect从两个表中获取行。然后我注册了一个侦听器来使用来自“作者”和“书籍”主题的消息，以便将它们插入到另一个数据库中。例如，我在源DB中使用id=23插入作者"George Orwell“，使用id=37和authorId=23插入书籍"1984”，两条消息被推送到卡夫卡中，一条在“作者”主题中，另一条在“书”
浏览 1提问于2020-09-29得票数 0
我试图将表的所有内容移动到另一个具有相同结构的表中。有很多行，所以当我尝试像这样执行它时我会犯这样的错误：我假设它尝试将整个SELECT数据加载到RAM中，然后将其插入表中，在这种情况下是不可能的。我也不想按小部分选择和插入循环<e
浏览 4提问于2019-03-13得票数 6
我想使用卡夫卡流来处理卡夫卡主题中的信息。
处理的最后一步是将结果放入数据库表中。为了避免与数据库争用相关的问题(程序将运行24*7并处理数百万条消息)，我将使用批处理来处理JDBC调用。但是在这种情况下，有可能丢失消息(在一个场景中，我从一个主题中读取了500条消息，流将标记偏移，现在程序失败了。JDBC批处理更新中的消息丢失，但偏移量被标记为这些消息)。我想在数据库插入
浏览 6提问于2019-11-12得票数 6
回答已采纳
有没有办法自动告诉Kafka将一个特定主题的所有事件发送到数据库的特定表中？
为了避免创建新的使用者，需要从该主题中读取并显式执行副本。
浏览 2提问于2021-12-13得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
