By 大数据技术与架构
场景描述:Clickhouse是一个用于联机分析处理(OLAP)的列式数据库管理系统。
传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服务。但残酷的是,这种理想情形最终会随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的磁盘等等来解决问题(纵向扩展),但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果,那么ClickHouse也许可以解决你的问题。
关键词:Clickhouse OLAP
大数据技术与架构之前分享过《OLAP》的文章,里面提到一个俄罗斯Yandex公司开源的轻量级数据库Clickhouse。这篇文章是来自百分点的赵群分享的关于基于clickhouse构建数据中心的经验。
场景与挑战
数据存储:
数据量:2000亿+/日
高峰:500WRow/s
延时:<30秒 熔断/限流
2地双中心 查询/分析透明访问
查询:
1TB常规查询<10s
1TB聚合查询(排序/分组)<5m
综上所述,业务场景:
期望OLAP引擎:
Clickhouse的2地双中心设计
Clickhouse磁盘的Raid选择:
相关测试分析表明:
Clickhouse的写入稳定性设计
Clickhouse的查询优化
其他参数优化: