Hadoop基础教程-第11章 Hive：SQL on Hadoop（11.4 数据类型和存储格式）（草稿）
Hadoop基础教程-第11章 Hive：SQL on Hadoop（11.4 数据类型和存储格式）（草稿）
第11章 Hive：SQL on Hadoop
11.4 数据类型和存储格式
11.4.1 数据类型
（1）基本类型 Hive 支持关系型数据中大多数基本数据类型，
类型 | 描述 | 示例 |
|---|---|---|
boolean | true/false | TRUE |
tinyint | 1字节的有符号整数 | -128~127 1Y |
smallint | 2个字节的有符号整数，-32768~32767 | 1S |
int | 4个字节的带符号整数 | 1 |
bigint | 8字节带符号整数 | 1L |
float | 4字节单精度浮点数 | 1.0 |
double | 8字节双精度浮点数 | 1.0 |
deicimal | 任意精度的带符号小数 | 1.0 |
String | 字符串，变长 | “a”,’b’ |
varchar | 变长字符串 | “a”,’b’ |
char | 固定长度字符串 | “a”,’b’ |
binary | 字节数组 | 无法表示 |
timestamp | 时间戳，纳秒精度 | 122327493795 |
date | 日期 | ‘2016-03-29’ |
和其他的SQL语言一样，这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现，因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如，string类型实现的是Java中的String，float实现的是Java中的float，等等。
（2）复杂类型
类型 | 描述 | 示例 |
|---|---|---|
array | 有序的的同类型的集合 | array(1,2) |
map | key-value,key必须为原始类型，value可以任意类型 | map(‘a’,1,’b’,2) |
struct | 字段集合,类型可以不同 | struct(‘1’,1,1.0), named_stract(‘col1’,’1’,’col2’,1,’clo3’,1.0) |
hive> create table employees(
> id int,
> name map<string,string>,
> birthday date,
> salary double,
> address struct<street:string,city:string,zip:int>,
> phone array<string>
> );
OK
Time taken: 1.044 seconds
hive> 14.4.2 存储格式
Hive会为每个创建的数据库在HDFS上创建一个目录，该数据库的表会以子目录形式存储，表中的数据会以表目录下的文件形式存储。对于default数据库，默认的缺省数据库没有自己的目录，default数据库下的表默认存放在/user/hive/warehouse目录下。
（1）textfile textfile为默认格式，存储方式为行存储。数据不做压缩，磁盘开销大，数据解析开销大。 （2）SequenceFile SequenceFile是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。 SequenceFile支持三种压缩选择：NONE, RECORD, BLOCK。 Record压缩率低，一般建议使用BLOCK压缩。 （3）RCFile 一种行列存储相结合的存储方式。 （4）ORCFile 数据按照行分块，每个块按照列存储，其中每个块都存储有一个索引。hive给出的新格式，属于RCFILE的升级版,性能有大幅度提升,而且数据可以压缩存储,压缩快 快速列存取。 （5）Parquet Parquet也是一种行式存储，同时具有很好的压缩性能；同时可以减少大量的表扫描和反序列化的时间。
hive 表的文件格式一般是在创建表时用 stored as 语句声明
hive> create table tb1(id int,name string)
> stored as textfile;
OK
Time taken: 0.84 seconds
hive>hive> desc tb1;
OK
id int
name string
Time taken: 0.174 seconds, Fetched: 2 row(s)
hive> 14.4.3 数据格式
当数据存储在文本文件中，必须按照一定格式区别行和列，并且在Hive中指明这些区分符。Hive默认使用了几个平时很少出现的字符，这些字符一般不会作为内容出现在记录中。
Hive默认的行和列分隔符如下表所示。
分隔符 | 描述 |
|---|---|
\n | 对于文本文件来说，每行是一条记录，所以\n 来分割记录 |
^A (Ctrl+A) | 分割字段，也可以用\001 来表示 |
^B (Ctrl+B) | 用于分割 Arrary 或者 Struct 中的元素，或者用于 map 中键值之间的分割，也可以用\002 分割。 |
^C | 用于 map 中键和值自己分割，也可以用\003 表示。 |
用户可以根据需要自定义分隔符，例如：
hive> create table tb2(id int,name string)
> row format delimited fields terminated by '\t'
> stored as textfile;
OK
Time taken: 0.276 seconds
hive> 其中row format delimited fields terminated by '\t'指定了列分隔符为’\t’，也就是tab键（制表符）。