那些年我们踩过的一些坑之 ClickHouse
摘要：ClickHouse 挺好用的，但是这些坑防不胜防，用过的才懂。本篇文章将持续更新...
- 内存限制
- 写数据失败
- 删除数据
- Join 关联默认值
1、group by 使用内存限制
错误信息如下：
Code: 241.DB::Exception: Memory limit (for query) exceeded:would use
9.37 GiB (attempt to allocate chunk of 134217760 bytes),
maximum: 9.31 GiB.定位到该查询中的 SQL 中使用了 group by ，默认的配置中没有对 group by 做内存限制。
解决方案：
执行 SQL 之前，在客户端进行如下设置
set max_memory_usage=32000000000;
set max_bytes_before_external_group_by=16000000000;
-- 下面是 sql 内容在进行group by的时候，内存使用量已经达到了max_bytes_before_external_group_by的时候就进行写磁盘(基于磁盘的group by相对于基于磁盘的order by性能损耗要好很多的)，一般max_bytes_before_external_group_by设置为max_memory_usage / 2，原因是在clickhouse中聚合分两个阶段：查询并且建立中间数据；合并中间数据 写磁盘在第一个阶段，如果无须写磁盘，clickhouse在第一个和第二个阶段需要使用相同的内存。 https://clickhouse.tech/docs/en/sql-reference/statements/select/group-by/#select-group-by-in-external-memory
2、写入数据失败
1.错误信息如下：
Too many parts (300). Merges are processing significantly
slower than inserts...使用 Flink 实时消费 Kafka 的数据，Sink 到 ClickHouse ，策略是一条一条插入，任务上线一段时间之后，ClickHouse 扛不住数据插入的压力了(
是因为MergeTree的merge的速度跟不上 data part 生成的速度。)，就报错了上述的报错信息。
解决方案：
优化 FLink ClickHouse Sink逻辑， 根据时间和数据量做触发，满足其一才会执行插入操作。
2.错误信息如下
Code: 252, e.displayText() = DB::Exception: Too many partitions
for single INSERT block (more than 100). 大概意思就是单次插入的数据分区太多了，超过默认配置的 100 个了。
解决方案：
1.合理设置分区字段 2.修改这个 max_partitions_per_insert_block 参数，调大这个值。
3、删除数据失败
错误信息如下：
Code: 359,e.displayText()=DB::Exception: Table or Partition in xxx was not dropped.
Reason:
1. Size (158.40 GB) is greater than max_[table/partition]_size_to_drop (50.00 GB)
2. File '/data/clickhouse/clickhouse-server/flags/force_drop_table' intended to force DROP doesn't exist从报错信息中的原因 1 可以看到，删除的数据实际大小已经超过了配置的大小。原因 2 说明是可以跳过配置检查，进行强制删除的，但是没找到这个文件 /data/clickhouse/clickhouse-server/flags/force_drop_table，所以不能跳过检查，也就是不能强制删除。
根据错误提示2 ，在所在的节点执行：
sudo touch '/data/clickhouse/clickhouse-server/flags/force_drop_table'
&& sudo chmod 666 '/data/clickhouse/clickhouse-server/flags/force_drop_table' 然后再次执行 删除操作就可以了。
需要注意的是，这个标识文件有效期只有一次，执行删除完毕之后，这个文件就会消失。
4、Join 误用
关联两张表，对于未关联的行，使用该字段的默认值填充，而不是使用 null 填充。
在 system.settings 表中可以找到参数 join_use_nulls
这和我们在 Mysql 或者 Hive 等使用习惯上不一致，如果想要改成一样的，需要修改这个参数 join_use_nulls 为 1。
准备数据
-- 建表 1
create table st_center.test_join_1
(
id String,
name String
) engine = MergeTree() order by tuple() SETTINGS index_granularity = 8192;
-- 建表 2
create table st_center.test_join_2
(
id String,
name String
) engine = MergeTree() order by tuple() SETTINGS index_granularity = 8192;
-- 插入测试数据
insert into test_join_1(id, name) values ('1','大数据学习指南');
insert into test_join_1(id, name) values ('2','大数据进阶之路');
insert into test_join_2(id, name) values ('1','大数据学习指南');
insert into test_join_2(id, name) values ('2','Java进阶之路');数据准备好了，下面我们测试一下。
select * from st_center.test_join_1 as t1
all left join st_center.test_join_2 as t2
on t1.id = t2.id关联结果如下，未连接的行使用默认值填充的。String类型就填充空字符串，数值类型就填充 0
修改参数，在 SQL 最后加入 settings join_use_nulls = 1
select * from st_center.test_join_1 as t1
all left join st_center.test_join_2 as t2
on t1.id = t2.id
settings join_use_nulls = 1关联结果如下，和我们在 mysql 等中的使用习惯一样了。
文篇文章将持续更新。
腾讯云开发者
