Apache Doris，MPP架构数据库王者学习总结
目录
一：doris介绍
二：开源olap引擎比较
三：doris基本概念和架构图
3.1 基本概念
3.2 架构图
四：doris数据导入
五：doris的三种数据模型
一：doris介绍
doris是一个基于mpp（massively parallel processing，即大规模并行处理）的交互式sql数据仓库,是一个面向多种数据分析场景的，兼容mysql协议的，高性能的，分布式关系型列式数据库，用于报告和分析。
具体的业务场景包括：
- 数据仓库建设
- olap分析
- 用户行为分析
- 系统监控分析
优点：传统数仓可以做的事情doris也可以做，查询分析引擎做的事情doris也能搞定。即存储，计算，查询doris可以搞定，实时，离线数据源也可以搞定。
二：开源olap引擎比较
doris性能较好，兼容mysql访问协议，技术融合成本低，运维成本低。
三：doris基本概念和架构图
3.1 基本概念
FE：FrontEnd Doris的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作。
BE：BackEnd Doris的后端节点，负责数据存储，计算执行，以及compaction,副本管理等工作。
Broker ：Doris中和外部HDFS/对象存储等外部数据对接的中转服务，辅导提供导入导出功能。
Tablet：Dorois表的逻辑分片，也是doris中副本管理的基本单位，每个表根据分区和分桶机制被划分成多个tablet存储在不同BE节点。
3.2 架构图
四：doris数据导入
数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到doris中，方便查询和使用。
- 支持导入数据源有：本地文件，HDFS，kafka等
- 支持的导入方式有：批量导入，流式导入，实时导入
- 支持的数据格式有：csv, parquet, orc
五：doris的三种数据模型
代码中出现了aggregate key，他属于一种数据模型。
Doris 这类 MPP 架构的 OLAP 数据库，通常都是通过提高并发，来处理大量数据的.
Doris 的数据模型主要分为3类:Aggregate, Uniq, Duplicate.
Aggregate模型:在doris中通过key来决定value的聚合粒度大小。
Uniq模型：这类数据没有聚合需求，只需要保证主键的唯一性
Duplicate模型：在某些多维分析场景下，数据既没有主键，也没有聚合需求
数据模型的选择建议：
- 1）Aggregate 模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量， 非常适合有固定模式的报表类查询场景。但是该模型对 count(*) 查询很不友好。 同时因为固定了 Value 列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语意正确性。
- 2）Uniq 模型针对需要唯一主键约束的场景，可以保证主键唯一性约束。 但是无法利用 ROLLUP 等预聚合带来的查询优势（因为本质是 REPLACE，没有 SUM 这种聚合方式）。
- 3）Duplicate 适合任意维度的 Ad-hoc 查询。虽然同样无法利用预聚合的特性， 但是不受聚合模型的约束，可以发挥列存模型的优势（只读取相关列，而不需要读取所有 Key 列）。