Hive小知识之分桶抽样

王知无-import_bigdata

发布于 2020-08-04 16:45:20

1.2K0

发布于 2020-08-04 16:45:20

先把大家都知道的分桶抽样查询的语法以及用法po出

select * from 分桶表 tablesample(bucket x out of y on 分桶字段);

假设当前分桶表，一共分了z桶！

x: 代表从当前的第几桶开始抽样

0<x<=y

y: z/y 代表一共抽多少桶！

y必须是z的因子或倍数！

怎么抽：从第x桶开始抽，当y<=z每间隔y桶抽一桶，直到抽满 z/y桶

举例1：

select * from stu_buck2 tablesample(bucket 1 out of 2 on id);

从第1桶开始抽，每间隔2桶抽一桶，一共抽2桶！

桶号：x+y*(n-1) 抽0号桶和2号桶

举例2：

select * from stu_buck2 tablesample(bucket 1 out of 1 on id);

从第1桶开始抽，每间隔1桶抽一桶，一共抽4桶！

抽0,1,2,3号桶

举例3：

select * from stu_buck2 tablesample(bucket 2 out of 8 on id);

从第2桶开始抽，一共抽0.5桶！

抽1号桶的一半

然而，当我自己实验时，发现实际情况跟预期有偏差

建表语句：

--创建分桶表
create table people (id int,name string)
clustered by (id)
sorted by (name desc) into 4 buckets
row format  delimited fields terminated by '\t';
--创建临时表
create table tmp (id int,name string)
row format delimited fields terminated by '\t';
--加载数据
load data local inpath '/home/guigu/data.txt' into table tmp;
--加载数据到分桶表
insert overwrite table people 
select * from tmp;

然而查询时却发现本来打算取第2个桶里的4/8 数据，但返回的数据跟预期差得很多

其实

select * from 分桶表 tablesample(bucket x out of y on 分桶字段); 这个抽样查询的底层是把所有数据按照字段的hash值 % y 分成y 个区（相当于Hadoop里的分区），然后取第 x 区 中的数据。 之所以没有达到预期的效果，是因为用来测试的数据太少！

本文参与腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2020-07-30，如有侵权请联系 cloudcommunity@tencent.com 删除

hadoop