Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.5 HQL:DDL数据定义)(草稿)

第11章 Hive:SQL on Hadoop

11.5 HQL:DDL数据定义

HQL中数据定义部分,也就是DDL,主要包括数据库定义和数据表的定义。

前面创建的Hive数据表都是普通的数据表,下来演示分区表等特殊表的定义与使用。

11.5.1 删除表

查找需要删除的表

hive> use default;
OK
Time taken: 0.038 seconds
hive> show tables;
OK
employees
tb1
tb2
Time taken: 0.09 seconds, Fetched: 3 row(s)

删除

hive> drop table tb2;
OK
Time taken: 4.143 seconds
hive> show tables;
OK
employees
tb1
Time taken: 0.056 seconds, Fetched: 2 row(s)
hive> 

11.5.2 修改表

(1)修改表名

hive> show tables;
OK
employees
tb1
Time taken: 0.045 seconds, Fetched: 2 row(s)
hive> alter table tb1 rename to demo;
OK
Time taken: 0.448 seconds
hive> show tables;
OK
demo
employees
Time taken: 0.031 seconds, Fetched: 2 row(s)
hive> 

(2)增加列

hive> desc demo;
OK
id                      int                                         
name                    string                                      
Time taken: 0.136 seconds, Fetched: 2 row(s)
hive> alter table demo add columns(age int);
OK
Time taken: 0.461 seconds
hive> desc demo;
OK
id                      int                                         
name                    string                                      
age                     int                                         
Time taken: 0.192 seconds, Fetched: 3 row(s)
hive> 

(3)修改列

hive> alter table demo change column name username varchar(20);
OK
Time taken: 0.407 seconds
hive> desc demo;
OK
id                      int                                         
username                varchar(20)                                 
age                     int                                         
Time taken: 0.112 seconds, Fetched: 3 row(s)
hive> 

11.5.3 分区表

Hive 查询一般是扫描整个表目录,但是有时候我们关心的数据只是集中在某一部分数据上,比如我们执行一个员工表查询,往往是只是查询某一部门的数据(类似的,查询学生表,往往关心查询某一班级或专业的学生),这样的情况下,可以使用分区表来优化,一个部门是一个分区,查询时候,Hive 只扫描指定部门分区的数据即可。

普通表和分区表的区别在于:一个 Hive 表在 HDFS 上是有一个对应的目录来存储数据,普通表的数据直接存储在这个目录下,而分区表数据存储时,是再划分子目录来存储的。一个分区一个子目录。主要作用是来优化查询性能。

[root@node3 ~]# mkdir hql
[root@node3 ~]# vi hql/emp.hql
[root@node3 ~]# cat hql/emp.hql 
--切换数据库
use test;

--创建表
create table if not exists emp(
    eid     int,
    ename       string,
    job         string,
    mgr         int,
    hiredate    date,   
    sal         double,
    comm        double
)
partitioned by(did int) 
row format delimited fields terminated by ',';
[root@node3 ~]# 

其中,if not exists表示如果不存在表才创建。emp表以 did 字段分区,注意did是个虚拟的字段,该字段不存储数据,而是用来分区的。实际数据存储时,did字段值一样的数据存入同一个子目录中,插入数据或者导入数据时,同部门的数据 did字段赋值一样,这样就实现数据按 did部门分区存储了。

向Hive中导入HQL脚本

[root@node3 ~]# hive -f /root/hql/emp.hql
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive-2.1.1/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/opt/hive-2.1.1/lib/hive-common-2.1.1.jar!/hive-log4j2.properties Async: true
OK
Time taken: 2.591 seconds
OK
Time taken: 1.357 seconds
[root@node3 ~]# 
hive> desc test.emp;
OK
eid                     int                                         
ename                   string                                      
job                     string                                      
mgr                     int                                         
hiredate                date                                        
sal                     double                                      
comm                    double                                      
did                     int                                         

# Partition Information      
# col_name              data_type               comment             

did                     int                                         
Time taken: 1.946 seconds, Fetched: 13 row(s)
hive> 

再次强调,所谓分区,这是将满足某些条件的记录打包,做个记号,在查询时提高效率,相当于按文件夹对文件进行分类,文件夹名可类比分区字段。这个分区字段形式上存在于数据表中,在查询时会显示到客户端上,但并不真正在存储在数据表文件中,是所谓伪列。所以,千万不要以为是对属性表中真正存在的列按照属性值的异同进行分区。

11.5.4 桶

对于每一个数据表或者分区表, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。 Hive表可以针对某一列进行桶的组织。Hive采用对列值哈希计算,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。比如要安装name属性分为3个桶,就是对name属性值的hash值对3取摸,按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件,取模为1的数据存放到一个文件,取模为2的数据存放到一个文件。 (1)为什么需要桶?

  • 获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
  • 使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。

(2)创建带桶的表

hive> create table users(id int,name string)
    > clustered by (id) sorted by(name) into 4 buckets
    > row format delimited fields terminated by '\t' 
    > stored as textfile; 
OK
Time taken: 0.231 seconds
hive> 

使用clustered by子句来指定划分桶所用的列和要划分的桶的个数

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java架构师历程

Mysql面试题目

5>.InnoDB不支持全文索引,而MyISAM支持。(X) (2) 问各种不同mysql版本的2者的改进 (3)2者的索引的实现方式

1073
来自专栏沈唁志

谈谈在SQL语句中的优化技巧

1624
来自专栏高爽的专栏

Oracle学习记录

       oracle学习过程中记录的一些知识点,包括sqlplus一些命令、角色、DML、DCL、DDL、数据字典、表空间、函数。 1. sys 超级管...

1870
来自专栏FreeBuf

新手科普 | MySQL手工注入之基本注入流程

MySQL手工注入的基本步骤以及一些技巧的记录,当出现学习手工注入的时候,网上的文章参差不齐,导致很长一段时间对手工注入的理解一直处于一知半解的状态,特此记录本...

1807
来自专栏云计算教程系列

想熟悉PostgreSQL?这篇就够了

PostgreSQL是自由的对象-关系型数据库服务器,在灵活的BSD风格许可证下发行。它在其他开放源代码数据库系统和专有系统之外,为用户又提供了一种选择。 我们...

1402
来自专栏Hadoop数据仓库

HAWQ技术解析(十一) —— 数据管理

一、基本操作 1. INSERT         在常用的增删改查数据库操作中,HAWQ仅支持INSERT和SELECT两种,不支持UPDATE和DELETE,...

2365
来自专栏程序猿

Mssql高级注入笔记

暴库特殊技巧::%5c='\' 或者把/和\ 修改%5提交 and 0<>(select count(*) from master.dbo.sysdatabas...

3547
来自专栏java架构师

SQL 写入调优

今天看到一篇非常适合本人这种数据库调优小白级别的人学的文章,做个笔记,学习之。 首先建一个用户表: CREATE TABLE [dbo].[jk_users](...

2536
来自专栏后端之路

有趣的mysql string和0比较返回1的问题

6月19日出现了诡异的情况 开发环境所有的移动端用户无法登陆。 移动端通过rmi来访问,为了移动端可以访问权限内的数据,因此增加了相关的权限控制RMI鉴权 那...

1799
来自专栏Netkiller

数据库恢复方案

数据库恢复方案 摘要 这里所谈的内容是对备份数据的恢复,不是对损坏数据表的恢复,或者说灾难恢复。 目录 1. 背景 2. 备份方式分析 3. 恢复方案 3.1....

2895

扫码关注云+社区