前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hive 中内部表与外部表的区别与创建方法

Hive 中内部表与外部表的区别与创建方法

作者头像
用户1177713
发布2018-02-24 12:20:18
2.4K0
发布2018-02-24 12:20:18
举报
文章被收录于专栏:数据之美数据之美

先来说下Hive中内部表与外部表的区别: Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径, 不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on write(写时模式),而 Hive 在load时是不检查数据是否 符合schema的,hive 遵循的是 schema on read(读时模式),只有在读的时候hive才检查、解析具体的 数据字段、schema。 读时模式的优势是load data 非常迅速,因为它不需要读取数据进行解析,仅仅进行文件的复制或者移动。 写时模式的优势是提升了查询性能,因为预先解析之后可以对列建立索引,并压缩,但这样也会花费要多的加载时间。 下面来看下 Hive 如何创建内部表:

代码语言:javascript
复制
create table test(userid string);
LOAD DATA INPATH '/tmp/result/20121213' INTO TABLE test partition(ptDate='20121213');

这个很简单,不多说了,下面看下外部表:

代码语言:javascript
复制
hadoop fs -ls /tmp/result/20121214
Found 2 items
-rw-r--r--   3 june supergroup       1240 2012-12-26 17:15 /tmp/result/20121214/part-00000
-rw-r--r--   1 june supergroup       1240 2012-12-26 17:58 /tmp/result/20121214/part-00001
-- 建表
create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
-- 建立分区表,利用分区表的特性加载多个目录下的文件,并且分区字段可以作为where条件,更为重要的是
-- 这种加载数据的方式是不会移动数据文件的,这点和 load data 不同,后者会移动数据文件至数据仓库目录。
alter table test add partition (ptDate='20121214') location '/tmp/result/20121214';
-- 注意目录20121214最后不要画蛇添足加 /*,我就是linux shell用多了,加了这玩意,调试了一下午。。。

注意:location后面跟的是目录,不是文件,hive会把整个目录下的文件都加载到表中:

代码语言:javascript
复制
create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';

否则,会报错误:

FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException java.io.FileNotFoundException: Parent path is not a directory: /hive/dw/record_2013-04-04.txt

最后提下还有一种方式是建表的时候就指定外部表的数据源路径,

但这样的坏处是只能加载一个数据源了:

CREATE EXTERNAL TABLE sunwg_test09(id INT, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LOCATION ‘/sunwg/test08′; 上面的语句创建了一张名字为sunwg_test09的外表,该表有id和name两个字段, 字段的分割符为tab,文件的数据文件夹为/sunwg/test08 select * from sunwg_test09; 可以查询到sunwg_test09中的数据。 在当前用户hive的根目录下找不到sunwg_test09文件夹。 此时hive将该表的数据文件信息保存到metadata数据库中。 mysql> select * from TBLS where TBL_NAME=’sunwg_test09′; 可以看到该表的类型为EXTERNAL_TABLE。 mysql> select * from SDS where SD_ID=TBL_ID; 在表SDS中记录了表sunwg_test09的数据文件路径为hdfs://hadoop00:9000/hjl/test08。 # hjl为hive的数据库名 实际上外表不光可以指定hdfs的目录,本地的目录也是可以的。 比如: CREATE EXTERNAL TABLE test10(id INT, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’

LOCATION ‘file:////home/hjl/sunwg/’;

推荐阅读:

hive中partition如何使用 http://p-x1984.iteye.com/blog/1156408 用正则表达式匹配w3c日志,导入hive http://essen.iteye.com/blog/1720491 hive中的外表EXTERNAL TABLE

http://www.oratea.net/?p=489

HIVE 数据定义 DDL

http://www.kaixinwenda.com/article-iquicksandi-8522691.html

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档