下一代实时数据库：Apache Doris 【六】数据划分

• 3.4 数据划分
  • 3.4.1 列定义
  • 3.4.2 分区与分桶
  • 3.4.3 PROPERTIES
  • 3.4.4 ENGINE
  • 3.4.5 其他
• 后记

3.4 数据划分

以 3.3.2 的建表示例来理解。

3.4.1 列定义

以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。 列的基本类型， 可以通过在 mysql-client 中执行 HELP CREATE TABLE; 查看。

AGGREGATE KEY 数据模型中， 所有没有指定聚合方式(SUM 、REPLACE 、MAX、 MIN) 的列视为 Key 列。而其余则为 Value 列。

定义列时， 可参照如下建议：

➢ Key 列必须在所有 Value 列之前。

➢ 尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。

➢ 对于不同长度的整型类型的选择原则，遵循够用即可。

➢ 对于 VARCHAR 和 STRING 类型的长度，遵循 够用即可。

➢ 所有列的总字节长度(包括 Key 和 Value)不能超过 100KB。

3.4.2 分区与分桶

Doris 支持两层的数据划分。第一层是 Partition，支持 Range 和 List 的划分方式。第二 层是 Bucket (Tablet)， 仅支持 Hash 的划分方式。

也可以仅使用一层分区。使用一层分区时，只支持 Bucket 划分。

3.4.2.1 Partition

➢ Partition 列可以指定一列或多列。分区类必须为 KEY 列。多列分区的使用方式在

后面介绍。

➢ 不论分区列是什么类型， 在写分区值时， 都需要加双引号。

➢ 分区数量理论上没有上限。

➢ 当不使用 Partition 建表时，系统会自动生成一个和表名同名的，全值范围的

Partition。该 Partition 对用户不可见， 并且不可删改。

1. Range 分区

分区列通常为时间列，以方便的管理新旧数据。不可添加范围重叠的分区。 Partition 指定范围的方式

⚫ VALUES LESS THAN (...) 仅指定上界，系统会将前一个分区的上界作为该分区的

下界，生成一个左闭右开的区间。分区的删除不会改变已存在分区的范围。删除分 区可能出现空洞。

⚫ VALUES [...) 指定同时指定上下界， 生成一个左闭右开的区间。

通过 VALUES [...) 同时指定上下界比较容易理解。这里举例说明，当使用 VALUES LESS THAN (...) 语句进行分区的增删操作时， 分区范围的变化情况：

(1) 如上 expamle_range_tbl 示例， 当建表完成后，会自动生成如下 3 个分区：

img

img

(2) 增加一个分区 p201705 VALUES LESS THAN ("2017-06-01") ，分区结果如下：

img

img

(3) 此时删除分区 p201703 ，则分区结果如下：

img

img

注意到 p201702 和 p201705 的分区范围并没有发生变化， 而这两个分区之间， 出现了 一个空洞：[2017-03-01, 2017-04-01)。即如果导入的数据范围在这个空洞范围内，是无法导 入的。

(4) 继续删除分区 p201702 ，分区结果如下：

img

img

空洞范围变为： [2017-02-01, 2017-04-01)

(5) 现在增加一个分区 p201702new VALUES LESS THAN ("2017-03-01")，分区结果

如下：

img

img

可以看到空洞范围缩小为：[2017-03-01, 2017-04-01)

(6)现在删除分区 p201701，并添加分区 p201612 VALUES LESS THAN ("2017-01-01")，

分区结果如下：

img

img

即出现了一个新的空洞： [2017-01-01, 2017-02-01)

1. List 分区

分 区 列 支 持 BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE,

DATETIME, CHAR, VARCHAR 数据类型，分区值为枚举值。只有当数据为目标分区枚举值

其中之一时，才可以命中分区。不可添加范围重叠的分区。

Partition 支持通过 VALUES IN (...) 来指定每个分区包含的枚举值。下面通过示例说明， 进行分区的增删操作时， 分区的变化。

(1) 如上 example_list_tbl 示例， 当建表完成后，会自动生成如下 3 个分区：

img

img

(2) 增加一个分区 p_uk VALUES IN ("London")，分区结果如下：

img

img

(3) 删除分区 p_jp ，分区结果如下：

img

img

3.4.2.2 Bucket

(1) 如果使用了 Partition，则 DISTRIBUTED ... 语句描述的是数据在各个分区内的划 分规则。如果不使用 Partition ，则描述的是对整个表的数据的划分规则。

(2) 分桶列可以是多列，但必须为 Key 列。分桶列可以和 Partition 列相同或不同。

(3) 分桶列的选择，是在 查询吞吐 和 查询并发 之间的一种权衡：

① 如果选择多个分桶列，则数据分布更均匀。

如果一个查询条件不包含所有分桶列的等值条件，那么该查询会触发所有分桶同时 扫描，这样查询的吞吐会增加，单个查询的延迟随之降低。这个方式适合大吞吐低并发 的查询场景。

② 如果仅选择一个或少数分桶列，则对应的点查询可以仅触发一个分桶扫描。

此时，当多个点查询并发时， 这些查询有较大的概率分别触发不同的分桶扫描， 各 个查询之间的 IO 影响较小(尤其当不同桶分布在不同磁盘上时) ，所以这种方式适合 高并发的点查询场景。

(4) 分桶的数量理论上没有上限。

3.4.2.3 使用复合分区的场景

以下场景推荐使用复合分区

(1) 有时间维度或类似带有有序值的维度，可以以这类维度列作为分区列。分区粒度 可以根据导入频次、分区数据量等进行评估。

(2) 历史数据删除需求：如有删除历史数据的需求(比如仅保留最近 N 天的数据) 。 使用复合分区，可以通过删除历史分区来达到目的。也可以通过在指定分区内发送 DELETE 语句进行数据删除。

(3) 解决数据倾斜问题： 每个分区可以单独指定分桶数量。如按天分区，当每天的数 据量差异很大时， 可以通过指定分区的分桶数，合理划分不同分区的数据,分桶列建议选择 区分度大的列。

3.4.2.4 多列分区

Doris 支持指定多列作为分区列，示例如下：

1. Range 分区

img

img

指定 date(DATE 类型) 和 id(INT 类型) 作为分区列。以上示例最终得到的分区如下：

p201701_1000: [(MIN_VALUE, MIN_VALUE), ("2017-02-01", "1000") ) p201702_2000: [("2017-02-01", "1000"), ("2017-03-01", "2000") ) p201703_all: [("2017-03-01", "2000"), ("2017-04-01", MIN_VALUE))

注意， 最后一个分区用户缺省只指定了 date 列的分区值，所以 id 列的分区值会默 认填充 MIN_VALUE。当用户插入数据时，分区列值会按照顺序依次比较，最终得到对应

的分区。举例如下：

img

img

1. List 分区

img

img

img

img

当用户插入数据时， 分区列值会按照顺序依次比较，最终得到对应的分区。举例如下：

img

img

3.4.3 PROPERTIES

在建表语句的最后 PROPERTIES 中， 可以指定以下两个参数：

3.4.3.1 replication_num

每个 Tablet 的副本数量。默认为 3，建议保持默认即可。在建表语句中， 所有 Partition 中的 Tablet 副本数量统一指定。而在增加新分区时，可以单独指定新分区中 Tablet 的副本 数量。

副本数量可以在运行时修改。强烈建议保持奇数。

最大副本数量取决于集群中独立 IP 的数量(注意不是 BE 数量) 。Doris 中副本分布的 原则是，不允许同一个 Tablet 的副本分布在同一台物理机上， 而识别物理机即通过 IP。所 以， 即使在同一台物理机上部署了 3 个或更多 BE 实例，如果这些 BE 的 IP 相同，则依然只 能设置副本数为 1。

对于一些小，并且更新不频繁的维度表，可以考虑设置更多的副本数。这样在 Join 查询 时，可以有更大的概率进行本地数据 Join。

3.4.3.2 storage_medium & storage_cooldown_time

BE 的数据存储目录可以显式的指定为 SSD 或者 HDD (通过 .SSD 或者 .HDD 后缀 区分)。建表时，可以统一指定所有 Partition 初始存储的介质。注意，后缀作用是显式指 定磁盘介质，而不会检查是否与实际介质类型相符。

默认初始存储介质可通过 fe 的配置文件 fe.conf 中指定 default_storage_medium=xxx， 如果没有指定， 则默认为 HDD。如果指定为 SSD，则数据初始存放在 SSD 上。

如果没有指定 storage_cooldown_time，则默认 30 天后，数据会从 SSD 自动迁移到 HDD 上。如果指定了 storage_cooldown_time，则在到达 storage_cooldown_time 时间后，数据才会 迁移。

注意， 当指定 storage_medium 时，如果 FE 参数 enable_strict_storage_medium_check 为 False 该参数只是一个“尽力而为”的设置。即使集群内没有设置 SSD 存储介质， 也不会报 错， 而是自动存储在可用的数据目录中。 同样， 如果 SSD 介质不可访问、空间不足，都可 能导致数据初始直接存储在其他可用介质上。而数据到期迁移到 HDD 时， 如果 HDD 介质 不 可 访 问 、 空 间 不 足 ， 也 可 能 迁 移 失 败 (但 是 会 不 断 尝 试 ) 。 如果 FE 参数 enable_strict_storage_medium_check 为 True 则当集群内没有设置 SSD 存储介质时，会报错 Failed to find enough host in all backends with storage medium is SSD。

3.4.4 ENGINE

本示例中， ENGINE 的类型是 olap，即默认的 ENGINE 类型。在 Doris 中，只有这个 ENGINE 类型是由 Doris 负责数据管理和存储的。其他 ENGINE 类型，如mysql 、broker、 es 等等，本质上只是对外部其他数据库或系统中的表的映射，以保证 Doris 可以读取这些数 据。而 Doris 本身并不创建、管理和存储任何非 olap ENGINE 类型的表和数据。

3.4.5 其他

IF NOT EXISTS 表示如果没有创建过该表， 则创建。注意这里只判断表名是否存在， 而不会判断新建表结构是否与已存在的表结构相同

后记

📢博客主页：https://manor.blog.csdn.net

📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！

📢本文由 Maynor 原创，首发于 CSDN博客🙉

📢不能老盯着手机屏幕，要不时地抬起头，看看老板的位置⭐

📢专栏持续更新,欢迎订阅：https://blog.csdn.net/xianyu120/category_12401955.html

本文由 mdnice 多平台发布