前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hive 创建外部表 原

Hive 创建外部表 原

作者头像
北漂的我
发布2019-05-29 12:01:21
1.8K0
发布2019-05-29 12:01:21
举报
文章被收录于专栏:北漂的我

1. 将数据上传至 hdfs

代码语言:javascript
复制
hdfs dfs -put stocks /user/bigdata

2. 创建外部表

代码语言:javascript
复制
create external table if not exists stocks_external(
ymd date,
price_open float,
price_high float,
price_low float,
price_close float,
volume int,
price_adj_close float
)
partitioned by (exchanger string,symbol string)
row format delimited fields terminated by ','
location '/user/bigdata/stocks';

3. 载入数据

代码语言:javascript
复制
alter table stocks_external add partition(exchanger="NASDAQ", symbol="AAPL") 
location '/user/bigdata/stocks/NASDAQ/AAPL';

alter table stocks_external add partition(exchanger="NASDAQ", symbol="INTC") 
location '/user/bigdata/stocks/NASDAQ/INTC';

alter table stocks_external add partition(exchanger="NYSE", symbol="IBM") 
location '/user/bigdata/stocks/NYSE/IBM';

alter table stocks_external add partition(exchanger="NYSE", symbol="GE") 
location '/user/bigdata/stocks/NYSE/GE';

-- 展示分区信息
show partitions stocks_external;

4. 查询表

代码语言:javascript
复制
select * from stocks_external where exchanger = 'NASDAQ' and symbol = 'AAPL' limit 10;

select ymd, price_close from stocks_external where exchanger = 'NASDAQ' and symbol = 'AAPL' limit 10;

select exchanger, symbol, count(*) from stocks_external group by exchanger,symbol;

select exchanger, symbol, max(price_high) from stocks_external group by exchanger, symbol;

5. 删除表

代码语言:javascript
复制
-- 删除外部表
drop table stocks_external;
-- 查看 hdfs 上的数据,删除外部表是只删除表的元数据,不删除表的实际数据,这点和
hdfs dfs -ls /user/bigdata

最后归纳一下Hive中表与外部表的区别:   1、在导入数据到外部表,数据并没有移动到自己的数据仓库目录下,也就是说外部表中的数据并不是由它自己来管理的!而表则不一样;   2、在删除表的时候,Hive将会把属于表的元数据和数据全部删掉;而删除外部表的时候,Hive仅仅删除外部表的元数据,数据是不会删除的!   那么,应该如何选择使用哪种表呢?在大多数情况没有太多的区别,因此选择只是个人喜好的问题。但是作为一个经验,如果所有处理都需要由Hive完成,那么你应该创建表,否则使用外部表!

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档