Kylin自动合并机制

A1 why

增量构建的Cube每天都可能有新的增量。日益剧增，Cube可能会包含上百个Segment，查询性能会受到影响。

A2 解决

合并segment：可手动，可自动。

在Web GUI中选中需要进行Segments合并的Cube，单击 Action→Merge，然后在对话框中选中需要合并的Segment，可以同时合并多个Segment，但是这些Segment必须是连续的。

A3 自动合并

cFyRwd.png

A4 数据持续更新

数仓里面的数据拿取的是数据库中某个时间的状态数据，不可能像Mysql中数据一样频繁的更新。

因为数据拉取的过程是有延时性的。T+1业务中，每日12点之后开始计算前一天的数据。

然后数据已经随着时间流式计算了。但是数据库中同步的数据其实是错误或者还需要修改的数据。

那么从kylin的角度来看，把对应日期的数据重新同步后重新计算。

对应日增情况，就是根据时间容忍度N，刷新前N个segment的数据，build新增的segment数据，如果设置了自动合并机制，或者不小心进行了不合适的合并情况下，可能造成大量数据的重复计算。

在这里插入图片描述

当最新数据进来时，刷新过去7天的数据，但是，这数据中有有一部分在之前的segment(94)中。有大量数据重复计算了。

因为segment是一个整体，无法拆分。所以只能全部更新达到数据持续更新的效果。

缺点：

• 日增数据建立segment。1天一个，在不合适的合并条件下，可能产生比较差的执行效率。

解决：

• 将时间范围放大，将segment的范围调整成N或者N+1, 以7天为例，持续更新7天的数据。

在这里插入图片描述

手动刷新：refresh

在这里插入图片描述

问题：

• 即使将时间范围放大，但是到达一定的临界点也会导致要refresh很多数据，使执行效率变差，这时可以采用手动合并。

A5 参考文献

kylin权威指南