专栏首页企鹅号快讯大数据入门基础系列之浅谈Hive的桶表

大数据入门基础系列之浅谈Hive的桶表

在前面的博文里,我已经介绍了

前言

Hive 中 table 可以继续拆分成Partition table(分区表) 和 桶(BUCKET)表,桶操作是通过 Partition 的 CLUSTERED BY 实现的,BUCKET 中的数据可以通过 SORT BY 排序。

  BUCKET 主要作用如下

1) 数据 sampling;

2) 提升某些查询操作效率,例如 Map Side Join。

需要特别主要的是,CLUSTERED BY 和 SORT BY 不会影响数据的导入,这意味着,用户必须自己负责数据的导入,包括数据额分桶和排序。

Hive还可以把表(外部表和内部表)或分区表,组织成桶表。将表或分区组织成桶有以下几个目的:

第一个目的是为看取样更高效,因为在处理大规模的数据集时,在开发、测试阶段将所有的数据全部处理一遍可能不太现实,这时取样就必不可少。

第二个目的是为了获得更好的查询处理效率。

桶为了表提供了额外的结构,Hive在处理某些查询时利用这个结构,能给有效地提高查询效率。

桶是通过对指定列进行哈希计算来实现的,通过哈希值将一个列名下的数据切分为一组桶,并使每个桶对应于该列名下的一个存储文件

以下为创建带有桶的表的语句:

CREATE TABLE bucketed_user(id INT,name String)CLUSTERED BY (id) INTO4 BUCKETS;

向桶中插入数据,这里按照用户id分成了4个桶,在插入数据时对应4个reduce操作,输出4个文件。

分区中的数据可以被进一步拆分成桶,bucket,不同于分区对列直接进行拆分,桶往往使用列的哈希值进行数据采样。

在分区数量过于庞大以至于可能导致文件系统崩溃时,建议使用桶。

桶的数量是固定的。

Hive使用基于列的哈希函数对数据打散,并分发到各个不同的桶中从而完成数据的分桶过程。

注意,hive使用对分桶所用的值进行hash,并用hash结果除以桶的个数做取余运算的方式来分桶保证了每个桶中都有数据,但每个桶中的数据条数不一定相等

哈希函数的选择依赖于桶操作所针对的列的数据类型。除了数据采样,桶操作也可以用来实现高效的Map端连接操作。

记住,分桶比分区,更高的查询效率

如何进行Hive桶表的操作?

例子1

1、创建临时表 student_tmp,并导入数据。

hive>desc student_tmp;hive>select*fromstudent_tmp;

2、创建 student 表。经过分区操作过后的表已经被拆分成2个桶。

create table student(idint,ageint,namestring)partitioned by (stat_datestring)clustered by (id) sorted by(age) into 2bucketrow format delimited fields terminated by',';

分区中的数据可以被进一步拆分成桶!!!正确理解

  所有,桶,先partitioned by (stat_date string)

      ,再,clustered by (id) sorted by(age) into 2 bucket

3、设置环境变量。(这个别忘了)

4、插入数据

hive>fromstudent_tmpinsert overwrite table student partition(stat_date='2017-08-20')selectid,age,namewherestat_date='2017-08-20'sort by age;

这都是固定的格式,一环扣一环的。

5、查看文件目录

$ hadoop fs -ls /usr/hive/warehouse/student/stat_date=2017-08-20/

6、查看 sampling 数据。

Hive>select*fromstudent tablesample(bucket1outof2on id);

tablesample 是抽样语句,语法如下:

tablesample(bucket x out of y)

y 必须是 table 中 BUCKET 总数的倍数或者因子。

例子2

在下面的例子中,经过分区操作过后的表已经被拆分成100个桶。

CREATE EXTERNAL TABLE videos_b(prodicerstring,titlestring,categorystring)PARTITIONED BY(yearint)CLUSTERED BY(title)INTO 100 BUCKETS;

现在,我们开始填充这张带桶操作的表:

此外,还需要在SELECT语句后面加上CLUSTERBY来实现INSERT查询。

下面是不使用桶设置的例子:

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

看完本文有收获?请转发分享给更多人

关注「大数据躺过的坑」,提升大神技能

觉得不错,请点赞和留言

本文来自企鹅号 - 好记性不如烂笔头干货媒体

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 日报:万达网科员工遭集体裁员,首例“花呗”套现案宣判

    每日播报 市场瞬变,信息更迭, 每日播报,资讯汇总。 1 前海惠农前实际控制人是老赖,被执行标的超过2000万 近日,多名投资人爆料,前海惠农曾经的实际控制人蔡...

    企鹅号小编
  • 卷积神经网络学习笔记

    1.卷积神经网络的图像识别原理: 通过过滤函数 来描绘出图像的边界: 过滤函数和图像相同区域的数值进行相乘,得到新的图像, 新图像则只剩下边图像。 cros...

    企鹅号小编
  • 数据挖掘干货

    what is k-NN ? k-nearest neighbors algorithm (k-NN)是通过测量不同特征值之间的距离进行分类。它的的思路是:如...

    企鹅号小编
  • hive排序:distribute by 、sort by 、cluster by 、order by 区别

     3 . 总结分析 1). order by 只有一个reduce负责对所有的数据进行排序,若大数据量,则需要较长的时间。建议在小的数据集中使用order b...

    学到老
  • hive排序:distribute by 、sort by 、cluster by 、order by 区别

     3 . 总结分析 1). order by 只有一个reduce负责对所有的数据进行排序,若大数据量,则需要较长的时间。建议在小的数据集中使用order ...

    学到老
  • Dilated-Net+BPB+SBE:解决分割边界模糊问题 (CVPR2020)

    今天分享一篇发表在CVPR2020上的关于医学图像处理的论文:Structure Boundary Preserving Segmentation for Me...

    Minerva
  • 马化腾:大数据生态需各方参与共建┃“2016数博会”演讲全文

    image.png   非常荣幸,各位嘉宾大家好,我是第二次来到贵阳参加数博会,我记得第一次来了之后印象非常深刻,决定今年再次参加。   也在此恭喜贵州能够这...

    腾讯研究院
  • 技术行业的宏观趋势|TW洞见

    于舟(译) ThoughtWorks 我们每半年发布一次技术雷达:它是所有我们认为横跨业界当下和将来的相关重要技术的快照。我们从世界各地召集了约20位最有资历的...

    ThoughtWorks
  • DX-Seo与WP-codebox插件冲突解决方法

    这两天折腾代码高亮插件,折腾得够呛!缘由要不就是导致网站爆卡,要不就是点击复制按钮出问题。 这里说下 wp-codebox 和 DX-Seo 插件冲突的现象及解...

    张戈
  • docker连接两个容器

    序 容器是用来提供服务的,每个容器都是运行一个进程,或许是一个web程序,或许是一个数据库服务,而在每个容器之间都是需要相互访问的,从而在这里构建一个pytho...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券