个人更推荐Doris
DECIMAL(10, 0)
Java
string_type_soft_limit
, 实际能存储的最大长度取两者最小值。
只能用在value 列,不能用在 key 列和分区、分桶列。
Doris 的数据模型主要分为3类:
注意
不设置模型的时候
默认
使用Duplicate模型
。
Duplicate、Aggregate、Unique 模型,都会在建表指定 key 列。
然而实际上是有所区别的:
我们看一个配置
CREATE TABLE IF NOT EXISTS zdb.t_student (
`id` BIGINT NOT NULL COMMENT "用户id",
`name` VARCHAR(255) COMMENT "用户名",
`subject` VARCHAR(255) COMMENT "科目",
`score` BIGINT COMMENT "分数"
)
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`name`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
其中
DUPLICATE KEY()
设置使用的模型和Key,使用Unique 模型时可以省略。DISTRIBUTED BY HASH() BUCKETS 1
,分桶配置不能省略,可以设置为DISTRIBUTED BY ... BUCKETS auto
。PROPERTIES()
配置,不能省略。特征
聚合模型必须有维和度量,维度全部相同的度量值会自动合并。
创建表
CREATE TABLE IF NOT EXISTS zdb.t_user01 (
`user_id` LARGEINT NOT NULL COMMENT "用户id",
`date` DATE NOT NULL COMMENT "数据灌入日期时间",
`city` VARCHAR(20) COMMENT "用户所在城市",
`age` SMALLINT COMMENT "用户年龄",
`sex` TINYINT COMMENT "用户性别",
`last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
`cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
`max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
`min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
) AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1 PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
表中的列按照是否设置了 AggregationType
,分为 Key (维度列) 和 Value(指标列)。
没有设置 AggregationType
的,如 user_id
、date
、age
… 等称为 Key,而设置了 AggregationType
的称为 Value。
如下
`max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间"
其中MAX
就是AggregationType
。
AggregationType
目前有以下几种聚合方式:
插入数据
insert into zdb.t_user01 values
(10000,"2017-10-01","北京",20,0,"2017-10-01 06:00:00",20,10,10),
(10000,"2017-10-01","北京",20,0,"2017-10-01 07:00:00",15,2,2),
(10001,"2017-10-01","北京",30,1,"2017-10-01 17:05:45",2,22,22),
(10002,"2017-10-02","上海",20,1,"2017-10-02 12:59:12",200,5,5),
(10003,"2017-10-02","广州",32,0,"2017-10-02 11:20:00",30,11,11),
(10004,"2017-10-01","深圳",35,0,"2017-10-01 10:00:15",100,3,3),
(10004,"2017-10-03","深圳",35,0,"2017-10-03 10:20:22",11,6,6);
查看表信息
desc zdb.t_user01;
这种模式会根据主键聚合,分两种模式
这是一个典型的用户基础信息表。
这类数据没有聚合需求,只需保证主键唯一性。(这里的主键为 user_id + username)。
那么我们的建表语句如下:
CREATE TABLE IF NOT EXISTS zdb.t_user02
(
`user_id` LARGEINT NOT NULL COMMENT "用户id",
`username` VARCHAR(50) NOT NULL COMMENT "用户昵称",
`city` VARCHAR(20) COMMENT "用户所在城市",
`age` SMALLINT COMMENT "用户年龄",
`sex` TINYINT COMMENT "用户性别",
`phone` LARGEINT COMMENT "用户电话",
`address` VARCHAR(500) COMMENT "用户地址",
`register_time` DATETIME COMMENT "用户注册时间"
)
UNIQUE KEY(`user_id`, `username`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
Unique 模型的读时合并实现完全可以用聚合模型中的 REPLACE 方式替代。
CREATE TABLE IF NOT EXISTS example_db.example_tbl
(
`user_id` LARGEINT NOT NULL COMMENT "用户id",
`username` VARCHAR(50) NOT NULL COMMENT "用户昵称",
`city` VARCHAR(20) REPLACE COMMENT "用户所在城市",
`age` SMALLINT REPLACE COMMENT "用户年龄",
`sex` TINYINT REPLACE COMMENT "用户性别",
`phone` LARGEINT REPLACE COMMENT "用户电话",
`address` VARCHAR(500) REPLACE COMMENT "用户地址",
`register_time` DATETIME REPLACE COMMENT "用户注册时间"
)
AGGREGATE KEY(`user_id`, `username`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
写时合并要添加配置"enable_unique_key_merge_on_write" = "true"
CREATE TABLE IF NOT EXISTS example_db.example_tbl
(
`user_id` LARGEINT NOT NULL COMMENT "用户id",
`username` VARCHAR(50) NOT NULL COMMENT "用户昵称",
`city` VARCHAR(20) COMMENT "用户所在城市",
`age` SMALLINT COMMENT "用户年龄",
`sex` TINYINT COMMENT "用户性别",
`phone` LARGEINT COMMENT "用户电话",
`address` VARCHAR(500) COMMENT "用户地址",
`register_time` DATETIME COMMENT "用户注册时间"
)
UNIQUE KEY(`user_id`, `username`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1",
"enable_unique_key_merge_on_write" = "true"
);
数据既没有主键,也没有聚合需求时使用。
这种数据模型区别于 Aggregate 和 Unique 模型。数据完全按照导入文件中的数据进行存储,不会有任何聚合。
而在建表语句中指定的 DUPLICATE KEY,只是用来指明底层数据按照那些列进行排序。
CREATE TABLE IF NOT EXISTS zdb.t_student (
`id` BIGINT NOT NULL COMMENT "用户id",
`name` VARCHAR(255) COMMENT "用户名",
`subject` VARCHAR(255) COMMENT "科目",
`score` BIGINT COMMENT "分数"
) DUPLICATE KEY(`id`) DISTRIBUTED BY HASH(`name`) BUCKETS auto PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
最省略的写法
CREATE TABLE IF NOT EXISTS zdb.t_student (
`id` BIGINT NOT NULL COMMENT "用户id",
`name` VARCHAR(255) COMMENT "用户名",
`subject` VARCHAR(255) COMMENT "科目",
`score` DOUBLE COMMENT "分数"
) DISTRIBUTED BY HASH(`name`) BUCKETS auto PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。
自动分桶
CREATE TABLE IF NOT EXISTS zdb.t_student03 (
`id` BIGINT NOT NULL COMMENT "用户id",
`name` VARCHAR(255) COMMENT "用户名",
`subject` VARCHAR(255) COMMENT "科目",
`score` BIGINT COMMENT "分数"
) DISTRIBUTED BY HASH(`name`) BUCKETS auto;
分桶数伪代码,我们想自己设置具体的值也可以参考
int N = 计算数据量N值;
int M = 计算M值;
int y = BE节点个数;
int x = min(M, N, 128);
if (x < N && x < y) {
return y;
}
return x;
先根据数据量得出一个桶数 N。
N = estimate_partition_size / 5
首先使用 estimate_partition_size
的值除以 5(按文本格式存入 Doris 中有 5 比 1 的数据压缩比计算),得到的结果为:
estimate_partition_size
的默认值取为 10GB。也就是说按照默认设置N=2
。
根据 BE 节点数以及每个 BE 节点的磁盘容量,计算出桶数 M。
其中每个 BE 节点算 1,每 50G 的磁盘容量算 1,
那么 M 的计算规则为:M = BE 节点数 *( 一块磁盘块大小 / 50GB)* 磁盘块数
例如有 3 台 BE,每台 BE 都有 4 块 500GB 的磁盘,那么 M = 3 *(500GB / 50GB)* 4 = 120
开启autobucket之后,
在show create table
的时候看到的schema也是BUCKETS AUTO
:
show create table t_student03;
如果想要查看确切的bucket数,可以通过以下语法来查看:
show partitions from t_student03;
注意以下几点:
JDBC 连接串需添加 rewriteBatchedStatements=true
参数,并使用 PreparedStatement
方式。
目前 Doris 暂不支持服务器端的 PrepareStatemnt,所以 JDBC Driver 会在客户端进行批量 Prepare。
rewriteBatchedStatements=true
会确保 Driver 执行批处理。
并最终形成如下形式的 INSERT 语句发往 Doris:
INSERT INTO example_tbl VALUES
(1000, "baidu1", 3.25)
(2000, "baidu2", 4.25)
(3000, "baidu3", 5.25);
create database zdb;
CREATE TABLE IF NOT EXISTS t_student (
`id` BIGINT NOT NULL COMMENT "用户id",
`name` VARCHAR(255) COMMENT "用户名",
`subject` VARCHAR(255) COMMENT "科目",
`score` DOUBLE COMMENT "分数"
) DISTRIBUTED BY HASH(`name`) BUCKETS auto PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
drop table t_student;
SELECT
c.COLUMN_NAME AS fieldname,
c.data_type AS fieldtype,
c.COLUMN_COMMENT AS fieldalias,
c.CHARACTER_MAXIMUM_LENGTH AS fieldlength,
c.NUMERIC_PRECISION as fieldaccuracy,
IF(c.IS_NULLABLE = 'YES', 1, 0) as fieldnullable,
c.ORDINAL_POSITION fieldorder
FROM
INFORMATION_SCHEMA.COLUMNS c
WHERE
c.TABLE_NAME = 't_student';