Hive基础学习

本节我们主要来学习一些hive的命令操作,同时探究一下Hive,HDFS,MySQL之间的联系,从而更好的理解其内部原理。

常用的基础命令
#此处的命令都是指在hive命令行下执行的命令,所有的命令别忘记以分号结尾。
hive> show databases;#查看当前数据库列表
hive> create databases dbname;#创建一个名称为dbname的数据库
hive> use databasename;#将当前的数据库切换为databasename
hive> show tables;#查看当前数据库中有哪些表
hive> desc tbname;#查看表结构,包括字段类型,注释等
Hive的数据类型

hive基本数据类型

hive集合数据类型

注:图片来自《hive编程指南》
这里先简单了解一下Hive的数据类型,本节我们暂时不会用到太多很复杂的类型。
建表

假设我们现在建立一张student表,它有两个字段,id(int)name(string)

hive> create database learn;#创建数据库learn
hive> use learn;#切换到learn数据库
hive> create table student(id int, name string);#创建表student
hive> show create table student;#查看建表语句

创建表,查看建表语句

我们通过show create table student;命令查看student表建立时一些详细信息。关注一下LOCATION的值为:hdfs://localhost:8020/user/hive/warehouse/learn.db/student,猜测这是一个HDFS的文件路径,我们通过浏览器验证一下:

在浏览器中查看student表的location

可以看到,我们建立的student表是HDFS上的一个目录(文件夹),目录的位置就是LOCATION对的值。

将本地文件加载到Hive表

本地文件:当前目录下的student.txt,字段之间用空格分割,

1 zhangsan
2 lisi
3 wangwu
hive> load data local inpath 'student.txt' into table student;

加载本地数据

加载成功之后,我们先来看一下HDFS中student目录,如下图所示,可以看到该目录下出现了一个student文件。

查看HDFS中student目录

然后用hive命令查询一下student表。

hive> select * from student;
OK
NULL    NULL
NULL    NULL
NULL    NULL
Time taken: 0.139 seconds, Fetched: 3 row(s)

可以看到结果虽然是有三行,但全部否是null。如果执行select count(*) from student;也能输出结果为3。

查询student表的行数

出现这种情况是,我们建表时没有指定数据列之间的分隔符,hive默认的字段分隔符是\001,即ASCII码的第一个字符Control-A,而我们的文件的分隔符是空格,二者不一致是导致数据不能正确加载的原因。

接下来我们创建一个新的表并指定分隔符为\t,即tab符,然后重新加载以\t分割的本地文件。

hive> create table teacher(id int, name string) row format delimited fields terminated by '\t';#创建teacher表并指定行分隔符为'\t'
hive> load data local inpath 'teacher.txt' into table teacher;#实际运行加了overwrite,表示覆盖表中已有的数据,如果不加overwrite就会在已有的数据后直接添加。

加载tab符分割的数据

创建teacher表同样在HDFS中建立了相应的目录,load数据同样也将本地的数据加载到了相应的目录中。

HDFS中查看teacher目录

将HDFS文件加载到Hive表

我们按照以下的步骤进行操作:

①在本地建立course.txt文件,写入三行内容,字段之间用空格分割。

1    语文
2    数学
3    体育

②将course.txt上传到HDFS中并检查是否上传成功。

③在hive中建立course表,指定分隔符为tab符

④执行load data inpath '/course.txt' into table course命令,加载HDFS数据到course表中。

⑤查询course表中的数据,验证是否成功加载

⑥查看HDFS中是否依然存在course.txt文件。

从执行的结果我们可以看出,从HDFS中加载数据时,是将HDFS中的文件直接移动到了表对应的HDFS目录中(内部表)。

理解Hive的元数据

Hive环境搭建的时候我们使用MySQL存储了Hive元数据,并且在初始化时生成了很多mysql数据表。那么它们有什么作用呢?我们来看一下TBLS,COLUMNS_V2,SDS三个表的信息,很容易联系到我们前面创建的表。

mysql> use metastore;#切换到我们之前创建的元数据库。
mysql> show tables;
+---------------------------+
| Tables_in_metastore       |
+---------------------------+
| BUCKETING_COLS            |
| CDS                       |
| COLUMNS_V2                |
| COMPACTION_QUEUE          |
| COMPLETED_TXN_COMPONENTS  |
| DATABASE_PARAMS           |
| DBS                       |
| DB_PRIVS                  |
| DELEGATION_TOKENS         |
| FUNCS                     |
| FUNC_RU                   |
| GLOBAL_PRIVS              |
| HIVE_LOCKS                |
| IDXS                      |
| INDEX_PARAMS              |
| MASTER_KEYS               |
| NEXT_COMPACTION_QUEUE_ID  |
| NEXT_LOCK_ID              |
| NEXT_TXN_ID               |
| NOTIFICATION_LOG          |
| NOTIFICATION_SEQUENCE     |
| NUCLEUS_TABLES            |
| PARTITIONS                |
| PARTITION_EVENTS          |
| PARTITION_KEYS            |
| PARTITION_KEY_VALS        |
| PARTITION_PARAMS          |
| PART_COL_PRIVS            |
| PART_COL_STATS            |
| PART_PRIVS                |
| ROLES                     |
| ROLE_MAP                  |
| SDS                       |
| SD_PARAMS                 |
| SEQUENCE_TABLE            |
| SERDES                    |
| SERDE_PARAMS              |
| SKEWED_COL_NAMES          |
| SKEWED_COL_VALUE_LOC_MAP  |
| SKEWED_STRING_LIST        |
| SKEWED_STRING_LIST_VALUES |
| SKEWED_VALUES             |
| SORT_COLS                 |
| TABLE_PARAMS              |
| TAB_COL_STATS             |
| TBLS                      |
| TBL_COL_PRIVS             |
| TBL_PRIVS                 |
| TXNS                      |
| TXN_COMPONENTS            |
| TYPES                     |
| TYPE_FIELDS               |
| VERSION                   |
+---------------------------+
53 rows in set (0.00 sec)
mysql> select * from TBLS;#存放我们已经建立的表,具体字段如图所示
mysql> select * from COLUMNS_V2;#存放表的字段,CD_ID是外键
mysql> select * from SDS;#存放表的LOCATION和格式信息

注:这个表横向太长了。因此截成了两段,凑合看。感兴趣的可以自己动手试试。

TBS存放的是我们已经创建的表,COLUMNS_V2存放了标的字段信息,SDS存放了表的LOCATION和格式信息。其他表的信息我们也可以通过看里面的内容理解其作用~请读者自行了解~

其他命令

查看某个表的基本信息:

hive> desc student;#查看表的字段及其类型
OK
id                      int
name                    string
Time taken: 0.069 seconds, Fetched: 2 row(s)

hive> desc formatted student;#查看表的详细信息,包括字段,位置,类型,存储信息等
OK
# col_name                data_type               comment

id                      int
name                    string

# Detailed Table Information
Database:               learn
Owner:                  chenghengchao
CreateTime:             Sat Jun 08 00:31:45 CST 2019
LastAccessTime:         UNKNOWN
Protect Mode:           None
Retention:              0
Location:               hdfs://localhost:8020/user/hive/warehouse/learn.db/student
Table Type:             MANAGED_TABLE
Table Parameters:
    COLUMN_STATS_ACCURATE   true
    numFiles                1
    numRows                 0
    rawDataSize             0
    totalSize               27
    transient_lastDdlTime   1559973358

# Storage Information
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
InputFormat:            org.apache.hadoop.mapred.TextInputFormat
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
Compressed:             No
Num Buckets:            -1
Bucket Columns:         []
Sort Columns:           []
Storage Desc Params:
    serialization.format    1
Time taken: 0.059 seconds, Fetched: 32 row(s)

在hive命令下直接操作HDFS:

# 在hive下直接操作HDFS,建立data文件夹并上传本地文件到HDFS,命名为a.txt 和b.txt
hive> dfs -mkdir /data;
hive> dfs -put student.txt /data/a.txt;
hive> dfs -put student.txt /data/b.txt;

表的类型有两种MANAGED_TABLE和EXTERNAL_TABLE。

hive内部表和外部表的区别 1)创建表时:创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径, 不对数据的位置做任何改变。 2)删除表时:在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据 reference:https://blog.csdn.net/u010886217/article/details/83796151 reference:https://www.jianshu.com/p/ac2eca9181be reference:https://blog.csdn.net/qq_36743482/article/details/78393678

#创建外部表并指向已有的data目录,如果指定的location不存在则会创建。
hive> create external table ext_student(id bigint,name string) row format delimited fields terminated by '\t' location '/data';
OK
Time taken: 0.064 seconds
hive> select * from ext_student;
OK
1   zhangsan
2   lisi
3   wangwu
1   zhangsan
2   lisi
3   wangwu
Time taken: 0.034 seconds, Fetched: 6 row(s)

查询结果显示了6条记录,前3条和后3条是一样的。这是因为/data 下面有两个文件a.txt 和b.txt,每个文件有3行有数据。如果再上传一次teacher文件到/data目录下。在看ext_student中的数据

hive> dfs -put teacher.txt /data/c.txt;
hive> select * from ext_student;
OK
1    zhangsan
2    lisi
3    wangwu
1    zhangsan
2    lisi
3    wangwu
1    赵老师
2    王老师
3    刘老师
4    邓老师
Time taken: 0.032 seconds, Fetched: 10 row(s)

可见,指定的location,即/data目录下的三个文件的数据都被加载到了ext_student中。事实上,无论是外部表还是内部表,只要把某个文件放到表的目录下,就会被扫描并被查询出来。查询的执行过程是先通过TBLS表找到student表,然后根据表id到COLUMNS_V2表查找这张表都有哪些字段,然后再根据表id到SDS表中查找应该到HDFS的那个目录下去查找数据。

Hive分区表
hive> create external table players(id bigint,name string) partitioned by (nation string) row format delimited fields terminated by '\t' location '/players';#执行后会在HDFS上创建/players目录,这是一个以nation分区的表
OK
Time taken: 0.095 seconds
hive> dfs -put china.txt /players;#将本地的china.txt上传到HDFS的players目录下
hive> select * from players;#查询players表,发现结果是空的,但如果从浏览器中查看players牡蛎,发现文件china.txt存在。
OK
Time taken: 0.041 seconds

查询没有数据的原因,是没有上传文件到指定分区。我们换一种方式。

hive> load data local inpath 'china.txt' into table players partition(nation='China');
Loading data to table learn.players partition (nation=China)
Partition learn.players{nation=China} stats: [numFiles=1, numRows=0, totalSize=38, rawDataSize=0]
OK
Time taken: 0.242 seconds
hive> select * from players;
OK
1    zhangjike   China
2    yijianlian  China
3    subingtian  China
Time taken: 0.045 seconds, Fetched: 3 row(s)

我们上传文件时指定分区,就能查询出结果。此时在HDFS上出现了一个nation=China的目录,china.txt被上传到了改该目录下。

我们试一下手动创建nation=USA目录,并将usa.txt上传到该目录。再查询players

hive> dfs -mkdir /players/nation=USA;
hive> dfs -put usa.txt /players/nation=USA;
hive> select * from players;
OK
1    zhangjike   China
2    yijianlian  China
3    subingtian  China
Time taken: 0.042 seconds, Fetched: 3 row(s)

查询的结果没有USA分区的数据,但从浏览器中查看确实已经存在了/players/nation=USA/usa.txt,并且usa.txt是有数据的。这是因为元数据库中没有记录USA这个分区。(看SDS表的话,只有nation=China的记录)。但如果此时使用load命令加载数据,则可以创建nation=USA的分区。在SDS表中也会出现nation=USA。

hive> load data local inpath 'usa.txt' into table players partition(nation='USA');
Loading data to table learn.players partition (nation=USA)
Partition learn.players{nation=USA} stats: [numFiles=2, numRows=0, totalSize=50, rawDataSize=0]
OK
hive> select * from players;
OK
1    zhangjike   China
2    yijianlian  China
3    subingtian  China
1    Curry   USA
2    Phelps  USA
3    Woods   USA
1    Curry   USA
2    Phelps  USA
3    Woods   USA
Time taken: 0.037 seconds, Fetched: 9 row(s)

查询的结果中出现了USA分区,但是有重复。这是因为nation=USA目录下有两个相同内容的文件。原因是通过load命令将目录“变”为分区的同时,也加载了相同的一份数据。我们也可以看出:分区一定是一个目录,但目录不一定是分区。而且如果删除了分区,文件夹可以继续存在,如果删除了文件夹,分区也继续存在。

我们也可以通过另一种方式修改(增加)分区,如下面命令所示。如果直接运行该命令,会在HDFS上创建目录nation=Other。如果我们先用mkdir创建nation=Other目录,再使用该命令,也可以将目录“变”为分区,此时目录下的文件就会被加载到表中,读者可以自行验证。

hive> alter table players add partition(nation='Other') location '/players/nation=Other';

再总结一下查看和删除分区的命令。

hive> show partitions players;#查看分区
OK
nation=China
nation=Other
nation=USA
Time taken: 0.047 seconds, Fetched: 3 row(s)
hive> alter table players drop if exists partition (nation='Other');#删除某个分区
Dropped the partition nation=Other
OK
Time taken: 0.068 seconds

使用了分区之后,最大的好处是能提高查询的速度,同时也对数据进行了更细粒度的划分。可以使用where关键字限制分区。

hive> select * from players where nation = 'China';
OK
1    zhangjike   China
2    yijianlian  China
3    subingtian  China
Time taken: 0.074 seconds, Fetched: 3 row(s)
hive> select * from players where nation = 'USA';
OK
1    Curry   USA
2    Phelps  USA
3    Woods   USA
1    Curry   USA
2    Phelps  USA
3    Woods   USA
Time taken: 0.047 seconds, Fetched: 6 row(s)
总结

本文我们对Hive的一些基础知识进行了学习,包括查看数据库,查看表的基本命令,如何建表并加载数据,hive元数据的存储位置,hive分区表与HDFS的关系等。通过学习我们对Hive底层原理有了更为深刻的认识。

本文分享自微信公众号 - 超哥的杂货铺(gh_a624b94bfdab),作者:程恒超

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MacOS 下hive的安装与配置

    之前的文章中我们提到了Hive是Hadoop生态系统中的重要的成员之一,允许用户使用类似SQL的方式,很方便地进行离线数据的统计分析。本节我们就在Hadoop集...

    超哥的杂货铺
  • Hive安装配置的修正补充

    在前面的文章MacOS 下hive的安装与配置中我们进行了Hive环境的配置。其中有一步是修改hive-env.sh,我们只修改了漏掉了该文件中的HADOOP_...

    超哥的杂货铺
  • 常用Hive函数的学习和总结

    今天来小结一下工作中经常会使用到的一些Hive函数。关于Hive函数的总结,网上早有十分全面的版本。参考:https://blog.csdn.net/dovey...

    超哥的杂货铺
  • hive-2.1.0 comment中文乱码 修改sql和相关代码重新打包

    在使用hive-2.1.0的过程中使用desc tableName或者show create table tableName发现comment出现中文乱码问题。...

    captainzmc
  • 通过数据库客户端界面工具DBeaver连接Hive

    本文讲解如何通过数据库客户端界面工具DBeaver连接hive,并解决驱动下载不下来的问题。

    董可伦
  • 【Vue.js】Vue.js中的Vuex、Vue-Ajax和京东购物车项目实战

    当我们的应用遇到多个组件共享状态时,单向数据流的简洁性很容易被破坏:(1)多个视图依赖于同一状态,传参的方法对于多层嵌套的组件将会非常繁琐,并且对于兄弟组件间的...

    魏晓蕾
  • 基于JQuery实现电梯导航特效

    越陌度阡
  • 用CSS3绘制iPhone手机

    本博客所有文章如无特别注明均为原创。作者:阿珏 ,复制或转载请以超链接形式注明转自 阿珏博客 。 原文地址《用CSS3绘制iPhone手机》

    阿珏
  • 网传思科要裁员,人均赔偿高达100万,老板我也想被裁

    今天有消息称,思科在上海的研发部门裁员,原因是做美国户外光纤盒子的产品被淘汰了。每个被裁员工可获N+7赔偿,约人均100万元,两年后还可申请再回思科。

    SDNLAB
  • CSS构造模型与动态布局

    版权声明:本文为博主原创文章,转载请注明出处。 ...

    魏晓蕾

扫码关注云+社区

领取腾讯云代金券