专栏首页A2DataApache Hive File

Apache Hive File

Apache Hive TM

(文件存储格式)

Hive 文件存储格式主要包括以下几类:

1、TEXTFILE

2、SEQUENCEFILE

3、RCFILE

4、ORCFILE(0.11以后出现)

其中TEXTFILE默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理;

SEQUENCEFILE,RCFILE,ORCFILE格式的表不能直接从本地文件导入数据,数据要先导入到textfile格式的表中, 然后再从表中用insert导入SequenceFile,RCFile,ORCFile表中。

Apache Hive

Hive环境

⊙前提创建环境

(本系列教程使用,CDH 官方快速入门)

hive-common-1.1.0-cdh5.13.0

数据结构

Data Structure

数据源(来源网络)

◆ ◆

一、TEXTFILE

创建一张格式为:TEXTFILE, 表名为: nsf_textfile

并且导入服务器本地数据!

create table if not exists a2data.nsf_testfile(
id string,chicun string,fbl string,qz string,hz string ,dc string,tag string ,phone string ,keywords string,xq string,type string, new_keyworlds string) row format delimited fields terminated by '\t' stored as textfile;
load data local inpath '/home/cloudera/a2data/hive/file.txt' overwrite into table a2data.nsf_testfile;

TEXTFILE:默认格式,数据不做压缩,这样就会导致磁盘开销大,数据解析开销大。

可结合Gzip、Bzip2 使用(系统自动检查,执行查询时自动解压),使用这种方式,hive不会对数据进行切分,从而无法对数据进行并行操作。

示例:
create table if not exists a2data.textfile_table(
id string,chicun string,fbl string,qz string,hz string ,dc string,tag string ,phone string ,keywords string,xq string,type string, new_keyworlds string)
row format delimited
fields terminated by '\t'
stored as textfile;
插入数据操作:
set hive.exec.compress.output=true;  
set mapred.output.compress=true;  
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;  
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;  
insert overwrite table a2data.textfile_table select * from a2data.nsf_testfile;  

二、SEQUENCEFILE

SequenceFile是Hadoop API提供的一种二进制文件支持,其具有使用方便、可分割、可压缩的特点。

SequenceFile支持三种压缩选择:NONE,RECORD,BLOCK。Record压缩率低,一般建议使用BLOCK压缩。

示例:
create table if not exists a2data.seqfile_table(
id string,chicun string,fbl string,qz string,hz string ,dc string,tag string ,phone string ,keywords string,xq string,type string, new_keyworlds string)
row format delimited
fields terminated by '\t'
stored as sequencefile;
插入数据操作:
set hive.exec.compress.output=true;  
set mapred.output.compress=true;  
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;  
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;  
SET mapred.output.compression.type=BLOCK;
insert overwrite table a2data.seqfile_table select * from a2data.textfile_table;  

三、RCFILE

⊙RCFILE是一种行列存储相结合的存储方式。首先,其将数据按行分块,保证同一个record在一个块上,避免读一个记录需要读取多个block。其次,块数据列式存储,有利于数据压缩和快速的列存取。

示例:
create table if not exists a2data.rcfile_table(
id string,chicun string,fbl string,qz string,hz string ,dc string,tag string ,phone string ,keywords string,xq string,type string, new_keyworlds string)row format delimited
fields terminated by '\t'
stored as rcfile;
插入数据操作:
set hive.exec.compress.output=true;  
set mapred.output.compress=true;  
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;  
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;  
insert overwrite table a2data.rcfile_table select * from a2data.textfile_table; 

四、ORCFILE(简写ORC)

ORC File,它的全名是Optimized Row Columnar (ORC) file,其实就是对RCFile做了一些优化。这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。

运用ORC File可以提高Hive的读、写以及处理数据的性能。

和RCFile格式相比,ORC File格式有以下优点:

(1)、每个task只输出单个文件,这样可以减少NameNode的负载;

(2)、支持各种复杂的数据类型,比如: datetime, decimal, 以及一些复杂类型(struct, list, map, and union);

(3)、在文件中存储了一些轻量级的索引数据;

(4)、基于数据类型的块模式压缩:a、integer类型的列用行程长度编码(run-length encoding);b、String类型的列用字典编码(dictionary encoding);

(5)、用多个互相独立的RecordReaders并行读相同的文件;

(6)、无需扫描markers就可以分割文件;

(7)、绑定读写所需要的内存;

(8)、metadata的存储是用 Protocol Buffers的,所以它支持添加和删除一些列。

五、再看TEXTFILE、SEQUENCEFILE、RCFILE三种文件的存储情况:

结论

相比TEXTFILESEQUENCEFILERCFILE由于列式存储方式,数据加载时性能消耗较大,但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取,因此,整体来看,RCFILE相比其余两种格式具有较明显的优势。

本文分享自微信公众号 - DataScience(DataScienceTeam),作者:年少风

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Apache Hive Length

    DataScience
  • Linux我就想知道你用了多少

    看上面使用了du --max-depth=1 -h的命令来查找磁盘的使用情况,因为后面没有跟路径,它就默认是当前的路径。这个命令的-h参数是为了方便你读懂每个文...

    DataScience
  • [原创]-Day6.数据可视化之PPT引入

    辛辛苦苦用pyecharts做好后,那如何展示给老板们看呢?打工人日常用的最多的展示工具是PPT,这次展示如何把pyecharts放到ppt上?一般把html文...

    DataScience
  • Swift3.0带来的变化汇总系列一——字符串与基本运算符中的变化

          Apple与今年6月13日正式发布了Swift3.0的第一个预览版本,并且相应推出了Xcode8的第一个bate版本。开发者已经可以在Xcode8b...

    珲少
  • 继承练习之医学院教师类—C++

    汐楓
  • ShareSDK第三方分享与登录遇到的问题

    LeeCen
  • react-native组建wechat

    IT故事会
  • iOS9.0 友盟分享详细过程

    一: 申请友盟的AppKey(友盟的Key是根据应用的名称生成的!) 在友盟注册了你自己的开发者账号后就可以申请AppKey了。然后在这个方法里面设置Key -...

    Mr.RisingSun
  • RTSP协议视频智能分析/内容识别平台EasyNVR安防视频云服务关于POST接口C#调用的例子介绍说明

    TSINGSEE青犀视频云边端架构视频智能分析平台EasyNVR、EasyCVR等具备视频流拉取、转码、分发的功能,并且我们提供丰富的API接口进行二次开发。

    EasyNVR
  • c#中关于string的特性介绍以及注意事项

    string类型在我们实际项目开发中是一个最使用的类型,string是一个引用类型这一点大家都知道,但是在实际使用过程中,大家会发现string和我们常见的引...

    小小许

扫码关注云+社区

领取腾讯云代金券