Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.5 HQL:DDL数据定义)(草稿)

第11章 Hive:SQL on Hadoop

11.5 HQL:DDL数据定义

HQL中数据定义部分,也就是DDL,主要包括数据库定义和数据表的定义。

前面创建的Hive数据表都是普通的数据表,下来演示分区表等特殊表的定义与使用。

11.5.1 删除表

查找需要删除的表

hive> use default;
OK
Time taken: 0.038 seconds
hive> show tables;
OK
employees
tb1
tb2
Time taken: 0.09 seconds, Fetched: 3 row(s)

删除

hive> drop table tb2;
OK
Time taken: 4.143 seconds
hive> show tables;
OK
employees
tb1
Time taken: 0.056 seconds, Fetched: 2 row(s)
hive> 

11.5.2 修改表

(1)修改表名

hive> show tables;
OK
employees
tb1
Time taken: 0.045 seconds, Fetched: 2 row(s)
hive> alter table tb1 rename to demo;
OK
Time taken: 0.448 seconds
hive> show tables;
OK
demo
employees
Time taken: 0.031 seconds, Fetched: 2 row(s)
hive> 

(2)增加列

hive> desc demo;
OK
id                      int                                         
name                    string                                      
Time taken: 0.136 seconds, Fetched: 2 row(s)
hive> alter table demo add columns(age int);
OK
Time taken: 0.461 seconds
hive> desc demo;
OK
id                      int                                         
name                    string                                      
age                     int                                         
Time taken: 0.192 seconds, Fetched: 3 row(s)
hive> 

(3)修改列

hive> alter table demo change column name username varchar(20);
OK
Time taken: 0.407 seconds
hive> desc demo;
OK
id                      int                                         
username                varchar(20)                                 
age                     int                                         
Time taken: 0.112 seconds, Fetched: 3 row(s)
hive> 

11.5.3 分区表

Hive 查询一般是扫描整个表目录,但是有时候我们关心的数据只是集中在某一部分数据上,比如我们执行一个员工表查询,往往是只是查询某一部门的数据(类似的,查询学生表,往往关心查询某一班级或专业的学生),这样的情况下,可以使用分区表来优化,一个部门是一个分区,查询时候,Hive 只扫描指定部门分区的数据即可。

普通表和分区表的区别在于:一个 Hive 表在 HDFS 上是有一个对应的目录来存储数据,普通表的数据直接存储在这个目录下,而分区表数据存储时,是再划分子目录来存储的。一个分区一个子目录。主要作用是来优化查询性能。

[root@node3 ~]# mkdir hql
[root@node3 ~]# vi hql/emp.hql
[root@node3 ~]# cat hql/emp.hql 
--切换数据库
use test;

--创建表
create table if not exists emp(
    eid     int,
    ename       string,
    job         string,
    mgr         int,
    hiredate    date,   
    sal         double,
    comm        double
)
partitioned by(did int) 
row format delimited fields terminated by ',';
[root@node3 ~]# 

其中,if not exists表示如果不存在表才创建。emp表以 did 字段分区,注意did是个虚拟的字段,该字段不存储数据,而是用来分区的。实际数据存储时,did字段值一样的数据存入同一个子目录中,插入数据或者导入数据时,同部门的数据 did字段赋值一样,这样就实现数据按 did部门分区存储了。

向Hive中导入HQL脚本

[root@node3 ~]# hive -f /root/hql/emp.hql
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive-2.1.1/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/opt/hive-2.1.1/lib/hive-common-2.1.1.jar!/hive-log4j2.properties Async: true
OK
Time taken: 2.591 seconds
OK
Time taken: 1.357 seconds
[root@node3 ~]# 
hive> desc test.emp;
OK
eid                     int                                         
ename                   string                                      
job                     string                                      
mgr                     int                                         
hiredate                date                                        
sal                     double                                      
comm                    double                                      
did                     int                                         

# Partition Information      
# col_name              data_type               comment             

did                     int                                         
Time taken: 1.946 seconds, Fetched: 13 row(s)
hive> 

再次强调,所谓分区,这是将满足某些条件的记录打包,做个记号,在查询时提高效率,相当于按文件夹对文件进行分类,文件夹名可类比分区字段。这个分区字段形式上存在于数据表中,在查询时会显示到客户端上,但并不真正在存储在数据表文件中,是所谓伪列。所以,千万不要以为是对属性表中真正存在的列按照属性值的异同进行分区。

11.5.4 桶

对于每一个数据表或者分区表, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。 Hive表可以针对某一列进行桶的组织。Hive采用对列值哈希计算,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。比如要安装name属性分为3个桶,就是对name属性值的hash值对3取摸,按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件,取模为1的数据存放到一个文件,取模为2的数据存放到一个文件。 (1)为什么需要桶?

  • 获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
  • 使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。

(2)创建带桶的表

hive> create table users(id int,name string)
    > clustered by (id) sorted by(name) into 4 buckets
    > row format delimited fields terminated by '\t' 
    > stored as textfile; 
OK
Time taken: 0.231 seconds
hive> 

使用clustered by子句来指定划分桶所用的列和要划分的桶的个数

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏乐沙弥的世界

SQL*Loader使用方法

SQL*Loader由一个输入控制文件来控制整个装载的相关描述信息,一个或多个数据文件作为原始数据,其详细组成结构包括

722
来自专栏哲学驱动设计

Rafy 框架 - 使用 SqlTree 查询

本文介绍如何使用 Rafy 框架中的 Sql Tree 查询: 除了开发者常用的 Linq 查询,Rafy 框架还提供了 Sql 语法树的方式来进行查询。 这种...

1987
来自专栏黑泽君的专栏

day28_Struts2综合案例

a、拷贝必要的jar包(图中黄色框框) 和 与数据库操作有关的jar包与配置文件(图中绿色框框)

551
来自专栏Spark学习技巧

实战phoenix

一 安装部署 1, 下载 http://archive.apache.org/dist/phoenix/ 本文下载的是apache-phoenix-4.12....

32210
来自专栏大内老A

创建代码生成器可以很简单:如何通过T4模板生成代码?[上篇]

在《基于T4的代码生成方式》中,我对T4模板的组成结构、语法,以及T4引擎的工作原理进行了大体的介绍,并且编写了一个T4模板实现了如何将一个XML转变成C#代码...

5138
来自专栏web编程技术分享

【手把手】JavaWeb 入门级项目实战 -- 文章发布系统 (第九节)

2616
来自专栏互联网杂技

SQL注入攻防入门详解

毕业开始从事winfrm到今年转到 web ,在码农届已经足足混了快接近3年了,但是对安全方面的知识依旧薄弱,事实上是没机会接触相关开发……必须的各种借口。这几...

43710
来自专栏岑玉海

Hive Tunning(二)优化存储

接着上一章我们讲的hive的连接策略,现在我们讲一下hive的数据存储。 下面是hive支持的数据存储格式,有我们常见的文本,JSON,XML,这里我们主要...

3764
来自专栏数据库新发现

关于shared pool的深入探讨(五)

http://www.eygle.com/internal/shared_pool-5.htm

992
来自专栏逸鹏说道

SQL Server 使用全文索引进行页面搜索

概述 全文引擎使用全文索引中的信息来编译可快速搜索表中的特定词或词组的全文查询。全文索引将有关重要的词及其位置的信息存储在数据库表的一列或多列中。全文索引是一...

3157

扫码关注云+社区