和分区一样,分桶也是一种通过改变表的存储模式,从而完成对表优化的一种调优方式。
但和分区不同的是,分区是将表拆分到不同的子目录中进行存储,而分桶是将表拆分到不同文件中进行存储。
那什么是分桶呢?它按分桶键哈希取模的方式,将表中数据随机、均匀地分发到若干桶文件中。
比如,对表的ID字段进行分桶,那ID字段被称为分桶键。ID字段存储的数据假设是1-10,执行分桶操作时,需要确定要分几个桶,这里定为3个;那么便会对分桶键中的值,按照桶的数量进行哈希取模,这里即对桶数3进行取余。
那么,ID为3、6、9的数据会存放到第一个桶中,ID为1、4、7、10的会存放到第二个桶中,ID为2、5、8的则存放到第三个桶中。而每个桶在进行存储的时候,会存储为一个桶文件。
那分桶操作的目的是什么呢?它通过改变数据的存储分布,提升查询、取样、Join等特定任务的执行效率。
因为分桶之后,在数据查询中,根据分桶键的过滤条件,就可以直接通过哈希取模来确定数据存放的桶文件,从而减少需要处理的数据量;在海量数据场景中,能极大提升数据处理效率。而在数据取样过程中,可以直接对某几个桶文件进行取样,缩短取样时间。
其次,如果在Hive中,两张表需要进行join操作,转换为MapReduce或Spark作业之后,必定要经过Shuffle,而Shuffle过程会耗费大量时间,从而拉低了处理效率。但两张表,假设使用ID进行Join,而且都使用ID作为分桶键进行了分桶操作,分桶数也相同,均为3;那么便可以直接对两张表的对应桶文件直接进行join处理,提升处理效率。因为ID相同的数据,按照相同的方式进行哈希取模,必定会存放到相同的桶文件中。
所以当两张表的桶数相同或成倍数时,会带来join效率的提升。
分区和分桶是两种不同的优化手段,当然也可以同时进行,即先分区后分桶;最终的存储效果便是在子目录下的数据,被存储为多个桶文件。
CREATE [EXTERNAL] TABLE <table_name>
(<col_name> <data_type> [, <col_name> <data_type> ...])]
[PARTITIONED BY ...]
CLUSTERED BY (<col_name>)
[SORTED BY (<col_name> [ASC|DESC] [, <col_name> [ASC|DESC]...])]
INTO <num_buckets> BUCKETS
[ROW FORMAT <row_format>]
[LOCATION '<file_path>']
[TBLPROPERTIES ('<property_name>'='<property_value>', ...)];
例如,现创建一张分桶表tb_buckets,包含字段id、name、age,将id作为分桶键,分桶数为3:
create table tb_buckets(
id int,
name string,
age int
)
clustered by (id) into 3 buckets
stored as textfile;
分桶后,数据存放时默认按分桶键升序。如果需要为桶文件进行自定义排序,则可以使用SORTED BY进行设定。
例如,创建分桶表tb_buckets_desc,包含字段id、name、age,将id作为分桶键,分桶数为3,在桶中按ID降序排列:
create table tb_buckets_desc(
id int,
name string,
age int
)
clustered by (id)
sorted by (id desc)
into 3 buckets
stored as textfile;
分桶表创建完成后,可以插入数据:
--再次强调,Hive不建议单条插入,会生成小文件,这里只是方便演示
insert into table tb_buckets values(1, 'zs', 18);
insert into table tb_buckets values(2, 'ls', 18);
insert into table tb_buckets values(3, 'ls', 18);
insert into table tb_buckets values(4, 'ls', 18);
但是,在数据插入之后,在HDFS中查看数据文件,却发现是4个文件,而且没有桶文件的区分:
那么说明,在数据插入时,不会自动分桶。而必须要开启配置:
set hive.enforce.bucketing=true;
参数默认值为false;设置为true之后,mr运行时会根据bucket桶的个数自动分配reduce task个数。一次作业产生的桶(文件数量)和reduce task个数 一致。这个参数在2.x版本之前,不需要进行设置。
当然用户也可以通过mapred.reduce.tasks自己设置reduce任务个数,但分桶时不推荐使用。
为了对比,设置分桶的配置参数后,向tb_buckets_desc表插入相同的数据:
--开启配置
set hive.enforce.bucketing=true;
--插入数据
insert into table tb_buckets_desc values(1, 'zs', 18);
insert into table tb_buckets_desc values(2, 'ls', 18);
insert into table tb_buckets_desc values(3, 'ls', 18);
insert into table tb_buckets_desc values(4, 'ls', 18);
数据插入后,再进入到HDFS中进行查看,可以看到虽然文件数较多,因为TextFile仅支持追加,每插入一次数据便会生成一个文件,但桶已经可以区分出来了。