专栏首页分布式系统和大数据处理Hive中分区和分桶的概念和操作
原创

Hive中分区和分桶的概念和操作

在使用传统的RDBMS数据库(关系数据库),例如MySql时,对于一些大表,我们通常会进行分表操作,以提升查询效率。在Hive中也提供了类似的概念和操作,本文将对其进行讲述。

1. RDBMS中的分表操作

假设有一张订单表OrderInfo,简化一下,字段分别为:订单Id OrderId、卖家 Retailer、买家 Customer、订单金额 OrderAmount、下单日期 OrderDate。比较常见的做法有两种:一种是按年分表,例如建OrderInfo_2018、OrderInfo_2017。按年分表的问题是如果查询不基于时间,例如查询某个单号、查询某个买家/卖家的所有订单,则依然要全表查找(所有按年分的表都要查)。类似地,也可以按卖家进行分表。按卖家分表(或者类似的其他字段)的问题在于:数据分布不一致,会造成有的表数据极多,有的表数据极少。

提示:可以实际地建两张表 OrderInfo_2018、OrderInfo_2017,也可以隐式地建,对数据库的上层应用不可见(表名仍然为OrderInfo)。隐式建表有时会有一些限制,也需要对数据库有更深一些的了解,因此,很多开发人员直接显式地创建多张不同表。

还有一种是按单号的Hash值取模进行分表,假设分4张表(OrderInfo_0~OrderInfo_3),那么具体某个订单存入哪张表,规则是 Hash(OrderId)%4,根据余数决定存入那张表。根据这种方式分表,优点是可以提升基于单号的查找速度,以及对于单号的join连接查询。但是如果针对某个买家或者时间段来查询,又需要全表查询。使用这种方式还有一个缺陷就是不好扩表,假设开始时设计了4张表(除4取余),后来单表数据仍然很多,想要重新改为8张表(除8取余),此时就需要将现有表中的记录重新进行计算并迁移到对应的表中。

说明:这两种方式,第一种可以视为连续的(基于时间连续,或者基于某个列连续,比如卖家),第二种则为离散的。有一种间接的改进策略可以集成两种方式的优点,称为异构索引表。具体可以参看这里:企业IT架构转型之道

2. Hive中的表分区

Hive中的表分区和上面RDBMS的第一种方式极为类似,用来对连续的数据进行分区。Hive中的表存储在HDFS上,HDFS是一个分布式文件系统,通过目录来对文件进行组织和管理。Hive中的一张表对应HDFS上的一个或者多个文件。创建一个Hive的表分区,相当于在HDFS上创建了几个目录,分别存储表中对应的数据。

继续通过上面订单的例子来查看一下,假设我们按照年(Year)和卖家(Retailer),使用下面的语句创建EShop库,并在该库中创建OrderInfo表:

提示:关于HDFS和Hive环境的搭建,可以查看这两篇文章: 安装和配置Hive安装和配置Hadoop(单节点)

CREATE DATABASE IF NOT EXISTS Eshop; 
CREATE TABLE IF NOT EXISTS Eshop.OrderInfo ( 
OrderId int, 
Customer string, 
OrderAmount int, 
OrderDate Timestamp ) 
PARTITIONED BY(Year string, Retailer string) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

这里需要注意的是表的定义中没有了Retailer字段,因为同一个分表中的Retailer都是一样的,所以将它作为数据列存在表中也就没有了意义,只需要存在“表名”中就可以了。假设Retailer是Apple和XiaoMi,如果是RDBMS,可以这样建表 OrderInfo_Apple、OrderInfo_XiaoMi,此时就不需要再将Apple和XiaoMi的值存到表中,因为表中的值都一样。但这样会带来查询问题,当需要以select columns from table的方式统一获取时又不方便。Hive巧妙地解决了这个问题,即将Partition的列作为虚拟列,虽然实际上不存数据,但是在查询的时候却可以直接使用select来查询。

接下来,插入一些数据进行测试,假设有这样一批数据:

OrderId

Retailer

Customer

OrderAmount

OrderDate

1

Apple

Jimmy

5200

2017-10-01 00:00:00

2

Apple

Jack

3180

2017-11-01 00:00:00

3

XiaoMi

Jimmy

2010

2017-12-01 00:00:00

4

XiaoMi

Alice

980

2018-10-01 00:00:00

5

XiaoMi

Eva

1080

2018-10-20 00:00:00

6

XiaoMi

Ellie

680

2018-11-01 00:00:00

7

Apple

Alice

920

2018-12-01 00:00:00

那么再插入时,就需要提前分好组(实际应用中都是通过写代码来进行分组),然后分四次插入:

INSERT INTO TABLE EShop.OrderInfo PARTITION(Year="2017", Retailer="Apple") VALUES 
(1, 'Jimmy', 5200, '2017-10-01 00:00:00'), 
(2, 'Jack', 3180, '2017-11-01 00:00:00');  

INSERT INTO TABLE EShop.OrderInfo PARTITION(Year="2017", Retailer="XiaoMi") VALUES 
(3, 'Jimmy', 2010, '2017-12-01 00:00:00');  

INSERT INTO TABLE EShop.OrderInfo PARTITION(Year="2018", Retailer="Apple") VALUES 
(7, 'Alice', 920, '2018-12-01 00:00:00');  

INSERT INTO TABLE EShop.OrderInfo PARTITION(Year="2018", Retailer="XiaoMi") VALUES 
(4, 'Alice', 980, '2018-10-01 00:00:00'), 
(5, 'Eva', 1080, '2018-10-20 00:00:00'), 
(6, 'Ellie', 680, '2018-11-01 00:00:00'); 

插入完成后,执行下面的select查询:

hive > select OrderId, Retailer, Customer, OrderAmount, OrderDate, Year from EShop.OrderInfo; 
OK 1       
Apple   Jimmy   5200    2017-10-01 00:00:00     2017 2       
Apple   Jack    3180    2017-11-01 00:00:00     2017 3       
XiaoMi  Jimmy   2010    2017-12-01 00:00:00     2017 7       
Apple   Alice   920     2018-12-01 00:00:00     2018 4       
XiaoMi  Alice   980     2018-10-01 00:00:00     2018 5       
XiaoMi  Eva     1080    2018-10-20 00:00:00     2018 6       
XiaoMi  Ellie   680     2018-11-01 00:00:00     2018 

Time taken: 0.26 seconds, Fetched: 7 row(s) 

可以看到用作分区的虚拟列Year和Retailer也可以包含在Select当中。接下来查看一下HDFS:

图1. OrderInfo表下的Year分区

不管是EShop库,还是OrderInfo表,在HDFS上都只是一个目录,一个文件夹。而year分区和retailer分区也不过是在orderinfo下的子文件夹。

图2. Year分区(目录)下的Retailer分区(目录)

目录的最底层,是实际的数据文件,点击下载后,因为建表时设置的存储格式为TEXTFILE,所以是以纯文本的格式保存。可以使用文本编辑器打开,看到下面的数据:

图3. year=2017,retailer=apple分区下的数据文件内容

3. Hive中的表分桶

Hive中的分桶和第二种情况类似,它不会像分区那样创建独立的文件夹,而是直接按照桶数去拆分文件。而在插入时,也无需像分区那样指定到哪个桶中。如同上面所述,分桶会基于指定的列进行Hash运算,根据Hash的结果来自动进行分桶(数据归档)。分桶后基于分桶列所做的查询和join操作会有执行效率的优化和提升。

现将前面创建的OrderInfo表删除掉,然后再重新创建:

DROP TABLE EShop.OrderInfo; 

CREATE TABLE IF NOT EXISTS Eshop.OrderInfo (
 OrderId int,
 Retailer string,
 Customer string, 
 OrderAmount int, 
 OrderDate Timestamp ) 
CLUSTERED BY (OrderId) 
INTO 2 BUCKETS ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
STORED AS TEXTFILE; 

因为没有分区,所以此时就需要将Retailer字段再加回去。

接下来执行插入操作:

INSERT INTO TABLE EShop.OrderInfo VALUES 
(1, 'Apple', 'Jimmy', 5200, '2017-10-01 00:00:00'), 
(2, 'Apple', 'Jack', 3180, '2017-11-01 00:00:00'), 
(3, 'XiaoMi', 'Jimmy', 2010, '2017-12-01 00:00:00'), 
(4, 'XiaoMi', 'Alice', 980, '2018-10-01 00:00:00'), 
(5, 'XiaoMi', 'Eva', 1080, '2018-10-20 00:00:00'), 
(6, 'XiaoMi', 'Ellie', 680, '2018-11-01 00:00:00'), 
(7, 'Apple', 'Alice', 920, '2018-12-01 00:00:00'); 

继续查看HDFS,可以看到分为了2个文件,一个文件ID全是奇数1,3,5,7,另一个文件ID全是偶数2,4,6。可能因为OrderId为int型,所以没有Hash,就直接根据桶数2进行取模了吧。

图4. 不分区,只进行分桶后的数据

类似地,如果将桶数改为3,文件被分割为:(1,4,7)、(2,5)、(3,6)。

当把Id改为字符串类型,将值设为a~g,再进行分桶的测试,文件被分割为:(a,c,e,g)和(b,d,f)

感谢阅读,希望这篇文章能给你带来帮助!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用Spark进行数据统计并将结果转存至MSSQL

    在 使用Spark读取Hive中的数据 中,我们演示了如何使用python编写脚本,提交到spark,读取并输出了Hive中的数据。在实际应用中,在读取完数据后...

    张子阳
  • 常用Git命令和操作

    用于将文件从工作目录(Working Directory)提交到暂存区(Staging Index)。

    张子阳
  • Web标准中的常见问题

    大概在2004年的时候,Web标准的概念藉由一本名为《网站重构》的书开始被国内人所了解。随后的几年中,其更少的代码量、更好的搜索引擎友好性、更好的浏览器兼容性使...

    张子阳
  • Python分析《我不是药神》豆瓣评论

    看来网上关于 我不是药神 vs 达拉斯 的争论很热啊。关于词频统计就这些,代码中也会完成一些其它的分析任务(其实都是一些很简单的任务,纯练手用),后续会持续更新...

    猫咪编程
  • 一道SQL考题的更多思考

    问题1,方案1执行update,select的结果应该是(1e,2b),存在不匹配的记录,不会进行更新,是我贴错了,我的锅,

    bisal
  • 【DB笔试面试590】在Oracle中,什么是反连接(Anti Join)?

    反连接(Anti Join)也是一种特殊的连接类型,通常用于从一个表中返回不在另一个数据源中的数据行。当做子查询展开时,Oracle经常会把那些外部WHERE条...

    小麦苗DBA宝典
  • 【DB笔试面试767】在Oracle中,OGG的命令接口是哪个?

    对OGG进行交互的命令为GGSCI(GoldenGate Software Command Interface),GGSCI提供了十分丰富的命令来对OGG进行各...

    小麦苗DBA宝典
  • java 获取一天内crontab任务执行的时间点

    但是,貌似这个方法已经过时无法使用了。 可以通过下面的方法,获取当天一整天内任务执行的时间点。

    我是李超人
  • 关于oracle中的反连接(r3笔记第95天)

    在之前的章节中见到讨论过oracle中的半连接 http://blog.itpub.net/23718752/viewspace-1334483/ 与半连接相对...

    jeanron100
  • 程序员该如何安排工作时间

    这周又是早九点,晚八点。上周上上周....... 早九晚八,累的跟狗似的。 不禁要唱唱时间都去哪了,还没好好感受年轻就老了 一、停下脚步 ? 让我们停下来审视一...

    程序员互动联盟

扫码关注云+社区

领取腾讯云代金券