[最佳实践] -- 建表如何选择Doris表模型
Doris的表模型和MySQL的存储引擎: innodb,myisam,memeory等功能类似, 不同的表模型擅长处理不同的数据方式. 如何能高效的查询, 直接取决于选择的表模型. 表一旦创建, 表模型不能更改.
1. Doris表中字段分类
在Doris表中, 字段被人为的分为2种: Key和Value. Key也就是俗称的维度, Value是指标. 建表时Key列必须在Value列前面.
2. Doris目前支持三种表模型
- AGGREGATE 聚合模型, 聚合模型支持Value列在导入数据时, 按照指定的聚合类型聚合数据, 达到预先聚合数据, 提高查询的目的. 目前Doris支持4种聚合方式: SUM、REPLACE、MAX、MIN, 分别的聚合含义如下: 1). SUM：求和，多行的 Value 进行累加。 2). REPLACE：替代，下一批数据中的 Value 会替换之前导入过的行中的 Value。 3). MAX：保留最大值。 4) MIN：保留最小值。 接下来以社区的sum聚合的一个例子说明, 统计一个网站pv, 先用如下SQL创建一个表:
CREATE TABLE `agg_tbl_demo` (
siteid INT,
city SMALLINT,
username VARCHAR(32),
pv BIGINT SUM DEFAULT '0'
) ENGINE=OLAP
AGGREGATE KEY(siteid, city, username)
DISTRIBUTED BY HASH(`siteid`) BUCKETS 1
PROPERTIES (
"replication_num" = "1"
);siteid: 表示网站id
city: 访问者所在的城市id
username: 访问者用户名
pv: 访问者pv. 后面的sum表示导入这列数据时, 以siteid,city,username为“主键”, 将导入的每条数据的pv值做sum计算保存.
我们分别添加三条数据, 然后分别观察三条数据的添加结果:
francis访问了站点id=100, 次数为1次:
insert into agg_tbl_demo values(100, 200, 'francis', 1);
结果为:
+--------+------+----------+------+
| siteid | city | username | pv |
+--------+------+----------+------+
| 100 | 200 | francis | 1 |
+--------+------+----------+------+jim访问了站点100, 次数为1次
insert into agg_tbl_demo values(100, 200, 'jim', 1);
结果为:
+--------+------+----------+------+
| siteid | city | username | pv |
+--------+------+----------+------+
| 100 | 200 | francis | 1 |
| 100 | 200 | jim | 1 |
+--------+------+----------+------+francis又访问了站点100, 次数为1次:
insert into agg_tbl_demo values(100, 200, 'francis', 1);
结果为:
+--------+------+----------+------+
| siteid | city | username | pv |
+--------+------+----------+------+
| 100 | 200 | francis | 2 |
| 100 | 200 | jim | 1 |
+--------+------+----------+------+执行完成后, 看看francis的统计结果, 发现francis的pv由1变成2了. 2=1+1.再想想sum的聚合方式. 是不是有点意思.
jim又访问了站点100, 次数为10次.
insert into agg_tbl_demo values(100, 200, 'jim', 10);
结果为:
+--------+------+----------+------+
| siteid | city | username | pv |
+--------+------+----------+------+
| 100 | 200 | francis | 2 |
| 100 | 200 | jim | 11 |
+--------+------+----------+------+此时看看jim的pv由1变成11了, 11=1+10.再想想sum的聚合方式. 是不是有点意思.
聚合表模型的好处时可以采用预先聚合的方式, 加快查询速度. 但是原始数据会丢失, 会失去一定的灵活性. 一般比较适用于一些固定报表、固定统计. 比如pv, uv.
2. UNIQUE
唯一模型, 其实是聚合模型的一个特例, 在唯一模型中, 所有的Value列会按照REPLACE的方式聚合, 也就是除了UNIQUE KEY之外的列, 都是新数据替换旧数据.
唯一模型是解决数据有主键, 除了主键之外的都替换的情况, 同时也可以保存明细.
3. DUPLICATE
明细模型, 很多时候数据是没有主键、也不需要预先聚合的明细.
这种数据模型区别于 Aggregate 和 Uniq 模型。数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留
社区原文: http://doris.apache.org/master/zh-CN/getting-started/data-model-rollup.html#aggregate-%E6%A8%A1%E5%9E%8B