Hadoop基础教程-第11章 Hive:SQL on Hadoop(11.4 数据类型和存储格式)(草稿)

第11章 Hive:SQL on Hadoop

11.4 数据类型和存储格式

11.4.1 数据类型

(1)基本类型 Hive 支持关系型数据中大多数基本数据类型,

类型

描述

示例

boolean

true/false

TRUE

tinyint

1字节的有符号整数

-128~127 1Y

smallint

2个字节的有符号整数,-32768~32767

1S

int

4个字节的带符号整数

1

bigint

8字节带符号整数

1L

float

4字节单精度浮点数

1.0

double

8字节双精度浮点数

1.0

deicimal

任意精度的带符号小数

1.0

String

字符串,变长

“a”,’b’

varchar

变长字符串

“a”,’b’

char

固定长度字符串

“a”,’b’

binary

字节数组

无法表示

timestamp

时间戳,纳秒精度

122327493795

date

日期

‘2016-03-29’

和其他的SQL语言一样,这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现,因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如,string类型实现的是Java中的String,float实现的是Java中的float,等等。

(2)复杂类型

类型

描述

示例

array

有序的的同类型的集合

array(1,2)

map

key-value,key必须为原始类型,value可以任意类型

map(‘a’,1,’b’,2)

struct

字段集合,类型可以不同

struct(‘1’,1,1.0), named_stract(‘col1’,’1’,’col2’,1,’clo3’,1.0)

hive> create table employees(
    > id int,
    > name map<string,string>,
    > birthday date,
    > salary double,
    > address struct<street:string,city:string,zip:int>,
    > phone array<string>
    > );
OK
Time taken: 1.044 seconds
hive> 

14.4.2 存储格式

Hive会为每个创建的数据库在HDFS上创建一个目录,该数据库的表会以子目录形式存储,表中的数据会以表目录下的文件形式存储。对于default数据库,默认的缺省数据库没有自己的目录,default数据库下的表默认存放在/user/hive/warehouse目录下。

(1)textfile textfile为默认格式,存储方式为行存储。数据不做压缩,磁盘开销大,数据解析开销大。 (2)SequenceFile SequenceFile是Hadoop API提供的一种二进制文件支持,其具有使用方便、可分割、可压缩的特点。 SequenceFile支持三种压缩选择:NONE, RECORD, BLOCK。 Record压缩率低,一般建议使用BLOCK压缩。 (3)RCFile 一种行列存储相结合的存储方式。 (4)ORCFile 数据按照行分块,每个块按照列存储,其中每个块都存储有一个索引。hive给出的新格式,属于RCFILE的升级版,性能有大幅度提升,而且数据可以压缩存储,压缩快 快速列存取。 (5)Parquet Parquet也是一种行式存储,同时具有很好的压缩性能;同时可以减少大量的表扫描和反序列化的时间。

hive 表的文件格式一般是在创建表时用 stored as 语句声明

hive> create table tb1(id int,name string)
    > stored as textfile;
OK
Time taken: 0.84 seconds
hive>
hive> desc tb1;
OK
id                      int                                         
name                    string                                      
Time taken: 0.174 seconds, Fetched: 2 row(s)
hive> 

14.4.3 数据格式

当数据存储在文本文件中,必须按照一定格式区别行和列,并且在Hive中指明这些区分符。Hive默认使用了几个平时很少出现的字符,这些字符一般不会作为内容出现在记录中。

Hive默认的行和列分隔符如下表所示。

分隔符

描述

\n

对于文本文件来说,每行是一条记录,所以\n 来分割记录

^A (Ctrl+A)

分割字段,也可以用\001 来表示

^B (Ctrl+B)

用于分割 Arrary 或者 Struct 中的元素,或者用于 map 中键值之间的分割,也可以用\002 分割。

^C

用于 map 中键和值自己分割,也可以用\003 表示。

用户可以根据需要自定义分隔符,例如:

hive> create table tb2(id int,name string)
    > row format delimited fields terminated by '\t'
    > stored as textfile;
OK
Time taken: 0.276 seconds
hive> 

其中row format delimited fields terminated by '\t'指定了列分隔符为’\t’,也就是tab键(制表符)。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

Python正则表达式的七个使用范例

作为一个概念而言,正则表达式对于Python来说并不是独有的。但是,Python中的正则表达式在实际使用过程中还是有一些细小的差别。 本文是一系列关于Pyth...

3295
来自专栏数据结构与算法

分块之区间查询与区间修改

给出一个长为n的数列,以及n个操作,操作涉及区间加法,区间求和。 这题的询问变成了区间上的询问,不完整的块还是暴力;而要想快速统计完整块的答案,需要维护每个块的...

2816
来自专栏TungHsu

这或许是对小白最友好的python入门了吧——8,初识for语句

有时候我们想要使用列表中所有元素,但是如果手打又不现实,这时候我们可以用for语句来遍历整个列表,我们先举个例子,还是昨天的列表 ? 现在我们用for语句来遍历...

2716
来自专栏一个会写诗的程序员的博客

MongoDB ObjectId详解及使用ObjectId构成ObjectId获取时间根据时间构造ObjectIdQ&A

MongoDB中我们经常会接触到一个自动生成的字段:”_id”,类型为ObjectId。 本文详解ObjectId的构成和使用。

724
来自专栏企鹅号快讯

MySQ基础入门系列之——字符与日期数据处理

今天这一篇分享MySQL中的字符串处理工具与日期时间处理,这一部分内容虽然看似不多,但是往往是输出处理中的的痛点。 我的MySQL数据库中已经建好了一个包含两列...

1780
来自专栏york技术分享

awk 使用教程 - 通读篇(30分钟入门)

很多刚接触awk,sed等命令时,看到帮助文档一堆参数,一堆符号感觉有点慌,我刚开始学习时也出现过这样的问题,这篇文章从我们工作遇到的问题出发,由浅入深,重点在...

58817
来自专栏怀英的自我修炼

怀英漫谈8 - JS的字符串和数

你好,这周想和你聊聊JS中的基本语法的另一个部分——字符串和数组的使用。这次我们先聊聊字符串和它的方法。

842
来自专栏禅林阆苑

mysql学习总结02 — 数据类型

无符号:表示存储的数据在当前字段中,没有负数(只有正数,例如 tinyint 区间为 0~255)

1142
来自专栏移动开发面面观

快速排序法及优化

1274
来自专栏JMCui

MongoDB系列四(索引).

一、索引简介     再来老生常谈一番,什么是索引呢?数据库索引与书籍的索引类似。有了索引就不需要翻整本书,数据库可以直接在索引中查找,在索引中找到条目以后,就...

2634

扫码关注云+社区