Clickhouse Kafka引擎:物化视图优势

文章/答案/技术大牛

发布

1回答

apache-kafka、clickhouse

在文档中，它展示了一种使用从KafkaEngine消费的物化视图将数据发送到*MergeTree族表的方法。这样做的好处是，在转换逻辑发生更改的情况下，可以分离表、进行更改和重新附加。但是，如果您没有对其应用逻辑(例如，字段类型转换)，那么使用物化视图作为目标，应用*MergeTree引擎是否更有意义？即移除TO table部件并将查询发送到物化视图。

浏览 21提问于2018-08-22得票数 0

回答已采纳

1回答

Clickhouse不通过复杂物化视图消费Kafka信息

apache-kafka、materialized-views、clickhouse

TLDR摘要: Clickhouse Kafka engine，物化视图不适用于复杂的select语句.较长版本： ->源->生产者-> Kafka -> Clickhouse(卡夫卡引擎) ->物

浏览 1提问于2019-01-14得票数 2

回答已采纳

1回答

我试着将一些实时指标从kafka放到clickhouse，我的查询如下所示 CREATE TABLE queue2 (timestamp String, namespace String, data Float, unit String, plugin_running_on String, version UInt64, last_advertised_time String) ENGINE = Kafka('10.224.54.99:9092', 'outtopic1', 'group2&

浏览 27提问于2018-01-03得票数 0

回答已采纳

1回答

ClickHouse JSON解析异常:无法在前面解析输入: expected '，‘

apache-kafka、clickhouse

我试图从Kafka向ClickHouse添加JSON数据。下面是简化的JSON： ...sendCommChannelTypeId":4, "sendAddress":"789345345945"},} 下面是在ClickHouse中创建表的步骤，使用Kafka引擎创建另一个表，创建物化

浏览 9提问于2020-12-02得票数 2

回答已采纳

1回答

某些数据未被kafka-engine使用

apache-kafka、clickhouse

我们使用kafka引擎来连接kafka主题，然后使用物化视图来存储数据。但是有时候，kafka-engine没有使用一些数据(因为我们还应用flume将数据放到hdfs文件中，而这些丢失的数据可以在hdfs文件中找到)。除了升级clcikhouse服务器版本(我们正在升级clickhouse服务器)之外，有没有其他方法可以找到与定位问题相关的日志？

浏览 1提问于2019-12-25得票数 0

2回答

Clickhouse Kafka主题加入：

apache-kafka、clickhouse

我有两个(以及更多) Kafka主题，我需要加入他们。我的问题来自我在博客/StackOverflow上读到的内容...有两个选项： 1)将它们都流式传输，Clickhouse Kafka引擎/spark流，然后运行join，这在Clickhouse中是不推荐的2)构建一个包含所有列的表，并使用Clickhouse引擎/spark streaming更新相同的入口？任何建议

浏览 22提问于2019-03-06得票数 1

1回答

Clickhouse中包含\的null和字符串的数据类型

apache-kafka、clickhouse

我可以使用大多数键来创建表，只是想知道我应该为KEYS_INSTANCE_ID提供什么数据类型，以便在Clickhouse中使用MergerTree创建表，并使用物化视图创建Kafka引擎。#使用mergetree引擎创建表：()ORDER BY KEYS_INSTANCE_ID #使用ka

浏览 4提问于2020-08-23得票数 0

2回答

Clickhouse错误DB::Exception: Pos在空缓冲区中，堆栈跟踪(在复制此消息时，始终包括下面的行)

clickhouse

Clickhouse版本21.7.2.7 kafka_topic_list = 'topic', kafka_f

浏览 21提问于2022-02-16得票数 0

回答已采纳

1回答

Clickhouse中的物化视图未填充

apache-kafka、clickhouse

我目前正在从事一个项目，该项目需要从Kafka主题(JSON格式)中摄取数据，并将其直接写入Clickhouse。我遵循了中建议的方法问题3:是否有办法在阅读卡夫卡主题时将Avro转换为JSON？或者<

浏览 2提问于2018-07-20得票数 2

回答已采纳

2回答

无法从Kafka获取数据到分布式表

java、apache-kafka、clickhouse

我需要从Kafka队列(用我的脚本填充它)获取数据到ClickHouse (CH)集群中的每个副本。我创造了：当我将数据放入Kafka时，我非常肯定表接受数据当我停止填充Kafka时，我有一个很短的时间窗口来完成我的查询。但几秒钟后，我所创建的每个表都会得到-0的计数。

浏览 0提问于2019-02-23得票数 0

回答已采纳

2回答

如何强制Clickhouse的Kafka引擎检查嵌套列的长度

clickhouse

我有一个具有嵌套字段和kafka_handle_error_mode='stream',input_format_import_nested_json=1设置的kafka_handle_error_mode='stream',input_format_import_nested_json=1表的Clickhouse服务器和两个物化视图： _error='' case，将数据存储到与Engine=Kafka表相同结构的下置表中，

浏览 12提问于2021-12-10得票数 0

1回答

数据管道'MSSQL -> Kafka* -> CH‘不工作*

sql-server、jdbc、apache-kafka、clickhouse

我在Kafka中创建了到SQL Server的JDBC连接，数据已成功加载到主题中。如何在Clickhouse中阅读此主题？我用引擎Kafka(关于这个主题)和物化视图创建了一个新表，但没有成功。kafka_broker_list = localhost:9092, kafka_group_name =LOG-END-OFFSET LAG

浏览 105提问于2020-05-21得票数 1

2回答

clickhouse

我的要求是拥有一个基于Postgres表的Clickhouse物化视图。在Clickhouse中创建Postgres连接，表数据可见。物化视图没有反映插入/更新的数据。created_date timestamp(6) NOT NULL, updated_date timestamp(6) NULLClickhouse中的物化视图 CREAT

浏览 13提问于2022-07-18得票数 0

1回答

clickhouse:在启动时创建物化视图(停靠)

docker、clickhouse

我正在尝试在启动时设置一个具有物化视图的本地开发对接程序。因此，拥有这个Dockerfile：COPY default /var/lib/clickhouse/metadata/toYYYYMM(startTimestamp)SETTINGS index_granularity = 8192

浏览 6提问于2021-04-30得票数 1

回答已采纳

点击加载更多