Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.5 HQL:DDL数据定义)(草稿)

第11章 Hive:SQL on Hadoop

11.5 HQL:DDL数据定义

HQL中数据定义部分,也就是DDL,主要包括数据库定义和数据表的定义。

前面创建的Hive数据表都是普通的数据表,下来演示分区表等特殊表的定义与使用。

11.5.1 删除表

查找需要删除的表

hive> use default;
OK
Time taken: 0.038 seconds
hive> show tables;
OK
employees
tb1
tb2
Time taken: 0.09 seconds, Fetched: 3 row(s)

删除

hive> drop table tb2;
OK
Time taken: 4.143 seconds
hive> show tables;
OK
employees
tb1
Time taken: 0.056 seconds, Fetched: 2 row(s)
hive> 

11.5.2 修改表

(1)修改表名

hive> show tables;
OK
employees
tb1
Time taken: 0.045 seconds, Fetched: 2 row(s)
hive> alter table tb1 rename to demo;
OK
Time taken: 0.448 seconds
hive> show tables;
OK
demo
employees
Time taken: 0.031 seconds, Fetched: 2 row(s)
hive> 

(2)增加列

hive> desc demo;
OK
id                      int                                         
name                    string                                      
Time taken: 0.136 seconds, Fetched: 2 row(s)
hive> alter table demo add columns(age int);
OK
Time taken: 0.461 seconds
hive> desc demo;
OK
id                      int                                         
name                    string                                      
age                     int                                         
Time taken: 0.192 seconds, Fetched: 3 row(s)
hive> 

(3)修改列

hive> alter table demo change column name username varchar(20);
OK
Time taken: 0.407 seconds
hive> desc demo;
OK
id                      int                                         
username                varchar(20)                                 
age                     int                                         
Time taken: 0.112 seconds, Fetched: 3 row(s)
hive> 

11.5.3 分区表

Hive 查询一般是扫描整个表目录,但是有时候我们关心的数据只是集中在某一部分数据上,比如我们执行一个员工表查询,往往是只是查询某一部门的数据(类似的,查询学生表,往往关心查询某一班级或专业的学生),这样的情况下,可以使用分区表来优化,一个部门是一个分区,查询时候,Hive 只扫描指定部门分区的数据即可。

普通表和分区表的区别在于:一个 Hive 表在 HDFS 上是有一个对应的目录来存储数据,普通表的数据直接存储在这个目录下,而分区表数据存储时,是再划分子目录来存储的。一个分区一个子目录。主要作用是来优化查询性能。

[root@node3 ~]# mkdir hql
[root@node3 ~]# vi hql/emp.hql
[root@node3 ~]# cat hql/emp.hql 
--切换数据库
use test;

--创建表
create table if not exists emp(
    eid     int,
    ename       string,
    job         string,
    mgr         int,
    hiredate    date,   
    sal         double,
    comm        double
)
partitioned by(did int) 
row format delimited fields terminated by ',';
[root@node3 ~]# 

其中,if not exists表示如果不存在表才创建。emp表以 did 字段分区,注意did是个虚拟的字段,该字段不存储数据,而是用来分区的。实际数据存储时,did字段值一样的数据存入同一个子目录中,插入数据或者导入数据时,同部门的数据 did字段赋值一样,这样就实现数据按 did部门分区存储了。

向Hive中导入HQL脚本

[root@node3 ~]# hive -f /root/hql/emp.hql
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive-2.1.1/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/opt/hive-2.1.1/lib/hive-common-2.1.1.jar!/hive-log4j2.properties Async: true
OK
Time taken: 2.591 seconds
OK
Time taken: 1.357 seconds
[root@node3 ~]# 
hive> desc test.emp;
OK
eid                     int                                         
ename                   string                                      
job                     string                                      
mgr                     int                                         
hiredate                date                                        
sal                     double                                      
comm                    double                                      
did                     int                                         

# Partition Information      
# col_name              data_type               comment             

did                     int                                         
Time taken: 1.946 seconds, Fetched: 13 row(s)
hive> 

再次强调,所谓分区,这是将满足某些条件的记录打包,做个记号,在查询时提高效率,相当于按文件夹对文件进行分类,文件夹名可类比分区字段。这个分区字段形式上存在于数据表中,在查询时会显示到客户端上,但并不真正在存储在数据表文件中,是所谓伪列。所以,千万不要以为是对属性表中真正存在的列按照属性值的异同进行分区。

11.5.4 桶

对于每一个数据表或者分区表, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。 Hive表可以针对某一列进行桶的组织。Hive采用对列值哈希计算,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。比如要安装name属性分为3个桶,就是对name属性值的hash值对3取摸,按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件,取模为1的数据存放到一个文件,取模为2的数据存放到一个文件。 (1)为什么需要桶?

  • 获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
  • 使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。

(2)创建带桶的表

hive> create table users(id int,name string)
    > clustered by (id) sorted by(name) into 4 buckets
    > row format delimited fields terminated by '\t' 
    > stored as textfile; 
OK
Time taken: 0.231 seconds
hive> 

使用clustered by子句来指定划分桶所用的列和要划分的桶的个数

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java技术栈

MySQL数据库开发的 36 条军规!

来自一线的实战经验,主要针对DBA和后端开发人员,总是在灾难发生后,才想起容灾的重要性;总是在吃过亏后,才记得曾经有人提醒过。文末是详细的视频讲解和PDF下载。...

785
来自专栏andychai

MySQL模糊查询性能优化

根据模糊查找的业务场景,比对一下上面列出的6种条件,如果你的场景是全都要支持,并且是 大用户量, 接口qps高,海量的数据检索量,那就不要在数据库上做任何挣扎了...

3084
来自专栏杨建荣的学习笔记

简单分析oracle的数据存储(r2笔记89天)

在数据库的存储结构中,我们知道一般来说一个表都存储在对应的数据文件里,数据文件可以分为多个段,一般来说一个表会对应一个数据段,单纯考虑数据段的时候,数据段又可以...

2798
来自专栏杨建荣的学习笔记

MySQL创建表失败的问题

今天有一个朋友问我一个MySQL的建表问题,问题的现象是创建表失败,根据他的反馈,问题比较奇怪, CREATE TABLE XXX ..此处省略260多个字...

3447
来自专栏智能大石头

6,ORM组件XCode(撬动千万级数据)

有了前面的《动手》,基本上可以进行开发了。本篇我们来试试XCode的基本功功力如何,测试在单表一千万业务数据的环境下查询的速度,添删改等没什么可测试的。其实应...

1878
来自专栏Aloys的开发之路

oracle表空间表分区详解及oracle表分区查询使用方法(转+整理)

此文从以下几个方面来整理关于分区表的概念及操作: 1.表空间及分区表的概念 2.表分区的具体作用 3.表分区的优缺点 4.表分区的几种类型及操作方法 5...

2659
来自专栏企鹅号快讯

大数据入门基础系列之详谈Hive的视图

在前面的博文里,我已经介绍了 问:哪个版本开始Hive开始支持视图了? 答:Hive0.6开始 可以先,从MySQL里的视图概念理解入手 视图是由从数据库的基本...

2479
来自专栏腾讯Bugly的专栏

移动客户端中高效使用 SQLite

导语 iOS 程序能从网络获取数据。少量的 KV 类型数据可以直接写文件保存在 Disk 上,App 内部通过读写接口获取数据。稍微复杂一点的数据类型,也可以将...

3516
来自专栏数据和云

自相矛盾:Null is Not Null引发的成本误区

黄玮(Fuyuncat) 资深Oracle DBA,个人网www.HelloDBA.com,致力于数据库底层技术的研究,其作品获得广大同行的高度评价. 在SQL...

2824
来自专栏杨建荣的学习笔记

分析函数牛刀小试 (59天)

今天有个同事问我一个问题,想通过一条sql语句完成一个稍显复杂的查询。 结构如下面所示。需要算出tax apply 的值,但是需要汇总charge_amount...

2948

扫码关注云+社区