前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hivesql导出本地文件

hivesql导出本地文件

作者头像
用户1217611
发布2021-01-21 06:17:13
1.5K0
发布2021-01-21 06:17:13
举报
文章被收录于专栏:文渊之博文渊之博

介绍

做数据分析的时候,经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果,然后再将查询结果放到Excel等工具中,但是如果查询的字段太多,这时候将查询结果放到Excel会经常会碰到错位问题,很是头疼.

解决方案一:借助linux管道替换输出分隔符

样例如下:

代码语言:javascript
复制
# 方法一:sed

hive -e "select * from db.table_name" | sed 's/\t/,/g' > ./abc.txt

 

# 方法二:tr

hive -e "select * from db.table_name" | tr "\t" ","

结果查看如下:

代码语言:javascript
复制
$ cat abc.txt 

解决方案二:借助Hive的insert语法

代码如下:

代码语言:javascript
复制
insert overwrite local directory 'path'
row format delimited
fields terminated by ','
select xxxx 
from xxxx;

上面的sql将会把查询结果写到指定目录中,字段之间以‘,’分隔

结果如下:

代码语言:javascript
复制
$ ls path
代码语言:javascript
复制
000000_0
代码语言:javascript
复制

官方介绍:

代码语言:javascript
复制
Standard syntax:
代码语言:javascript
复制
INSERT OVERWRITE [LOCAL] DIRECTORY directory1
代码语言:javascript
复制
  [ROW FORMAT row_format] [STORED AS file_format] (Note: Only available starting with Hive 0.11.0)
代码语言:javascript
复制
  SELECT ... FROM ...
代码语言:javascript
复制
代码语言:javascript
复制
Hive extension (multiple inserts):
代码语言:javascript
复制
FROM from_statement
代码语言:javascript
复制
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
代码语言:javascript
复制
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 select_statement2] ...
代码语言:javascript
复制
row_format
代码语言:javascript
复制
  : DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char]
代码语言:javascript
复制
        [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
代码语言:javascript
复制
        [NULL DEFINED AS char] (Note: Only available starting with Hive 0.13)
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2021-01-11 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 介绍
  • 解决方案一:借助linux管道替换输出分隔符
  • 解决方案二:借助Hive的insert语法
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档