hive文件存储格式:SequenceFile系统总结

问题导读 1.什么是SequenceFile? 2.如何 通过 源码实现SequenceFile压缩? 3.SequenceFile格式压缩有什么优点和缺点? 1.SequenceFile是什么 1.1 SequenceFile概述

1.1.sequenceFile文件是Hadoop用来存储二进制形式的<Key,Value>对而设计的一种平面文件(Flat File)。

1.2.可以把SequenceFile当做是一个容器,把所有的文件打包到SequenceFile类中可以高效的对小文件进行存储和处理。

1.3.SequenceFile文件并不按照其存储的Key进行排序存储,SequenceFile的内部类Writer提供了append功能。

1.4.SequenceFile中的Key和Value可以是任意类型Writable或者是自定义Writable。

1.5.在存储结构上,SequenceFile主要由一个Header后跟多条Record组成,Header主要包含了Key classname,value classname,存储压缩算法,用户自定义元数据等信息,此外,还包含了一些同步标识,用于快速定位到记录的边界。每条Record以键值对的方式进行存储,用来表示它的字符数组可以一次解析成:记录的长度、Key的长度、Key值和value值,并且Value值的结构取决于该记录是否被压缩。

1.2:SequenceFile支持数据压缩

2.1.SequenceFIle的内部格式取决于是否启用压缩,如果是压缩,则又可以分为记录压缩和块压缩。

2.2.有一下三种类型的压缩:

A.无压缩类型:如果没有启用压缩(默认设置)那么每个记录就由它的记录长度(字节数)、键的长度,键和值组成。长度字段为4字节。

B.记录压缩类型:记录压缩格式与无压缩格式基本相同,不同的是值字节是用定义在头部的编码器来压缩。注意:键是不压缩的。下图为记录压缩:

C.块压缩类型:块压缩一次压缩多个记录,因此它比记录压缩更紧凑,而且一般优先选择。当记录的字节数达到最小大小,才会添加到块。该最小值由io.seqfile.compress.blocksize中的属性定义。默认值是1000000字节。格式为记录数、键长度、键、值长度、值。下图为块压缩:

1.3:优缺点 SequenceFile优点: A.支持基于记录(Record)或块(Block)的数据压缩。 B.支持splitable,能够作为MapReduce的输入分片。 C.修改简单:主要负责修改相应的业务逻辑,而不用考虑具体的存储格式。 SequenceFile的缺点 A.需要一个合并文件的过程,且合并后的文件不方便查看。 2.SequenceFile类解析 SequenceFile类位于org.apache.hadoop.io包内,类结构如下:

3.读写SequenceFile源码实例 写过程 1、创建Configuration 2、获取FileSystem 3、创建文件输出路径Path 4、调用SequenceFile.createWriter得到SequenceFile.Writer对象 5、调用SequenceFile.Writer.append追加写入文件 6、关闭流 3 例子如下:

[Bash shell] 纯文本查看 复制代码

?

import java.net.URI;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.SequenceFile.CompressionType;
import org.apache.hadoop.io.compress.BZip2Codec;
 
 
public class SequenceFileWrite {
 
    public static String uri = "hdfs://10.13.33.218:9000" ;
    public static String[] data = {
        "one,two" ,
        "three,four" ,
        "five,six" ,
        "seven,eight" ,
        "nine,ten"
    } ;
    public static void main(String args[])throws Exception{
        Configuration conf = new Configuration() ;
        FileSystem fs = FileSystem.get(URI.create(uri),conf) ;
//      Path path = new Path("/tmp.seq") ;
        Path path = new Path("/tmp1.seq") ;
        IntWritable key = new IntWritable() ;
        Text value = new Text() ;
        //SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf,path, key.getClass(), value.getClass()) ;
        SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf,path, key.getClass(), value.getClass(),CompressionType.RECORD,new BZip2Codec()) ;//对SequenceFile进行记录压缩
        for(int i=0;i<100;i++){
            key.set(100-i) ;
            value.set(data[i%data.length]) ;
            writer.append(key, value) ;
        }
        IOUtils.closeStream(writer) ;
    }
}

读过程 1、创建Configuration 2、获取FileSystem 3、创建文件输出路径Path 4、new一个SequenceFile.Reader进行读取 5、得到keyClass和valueClass 6、关闭流

[Bash shell] 纯文本查看 复制代码

?

import java.net.URI;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.util.ReflectionUtils;
 
 
public class SequenceFileRead {
 
    public static String uri = "hdfs://10.13.33.218:9000" ;
    public static String[] data = {
        "one,two" ,
        "three,four" ,
        "five,six" ,
        "seven,eight" ,
        "nine,ten"
    } ;
 
    public static void main(String[] args) throws Exception{
        Configuration conf = new Configuration() ;
        FileSystem fs = FileSystem.get(URI.create(uri),conf) ;
        //Path path = new Path("/tmp.seq") ;
        Path path = new Path("/tmp1.seq") ;
        SequenceFile.Reader reader = new SequenceFile.Reader(fs, path, conf) ;
        Writable key = (Writable)ReflectionUtils.newInstance(reader.getKeyClass(), conf) ;
        Writable value = (Writable)ReflectionUtils.newInstance(reader.getValueClass(), conf) ;
        while(reader.next(key,value)){
            System.out.println("key = " + key ) ;
            System.out.println("value = " + value) ;
            System.out.println("position = " + reader.getPosition()) ;//同步标识的偏移量
        }
 
        IOUtils.closeStream(reader) ;
    }
}

4.通过命令行接口显示SequenceFile hdfs dfs命令有一个-text选项可以以文本形式显示顺序文件,该选项可以查看文件的代码,由此检测出文件的类型并将其转换成相应的文本。该选项可以识别gzip压缩文件和顺序文件;否则,假设输入为纯文本文件。 对于顺序文件,如果键和值是由具体含义的字符串表示,那么这个命令就非常有用(通过toString()方法定义),同样,如果有自己定义的键或值的类,则应该确保它们在Hadoop类路径目录下。 project hdfs dfs -text tmp1.seq | head 5.SequenceFile的排序和合并 MapReduce是对多个顺序文件进行排序或合并的最有效的方法。MapReduce本身是并行的,并且可由用户指定要使用多少个reducer,该数决定这输出分区数。例如,通过指定一个reducer,可以得到一个输出文件。 除了MapReduce实现排序/归并,还有一种方法是使用SequenceFile.Sorter类中的sort()方法和merge()方法。它们比MapReduce更早出现,比MapReduce更底层,为了实现并行,需要手动对数据进行分区,因此不建议使用。

原文发布于微信公众号 - about云(wwwaboutyuncom)

原文发表时间:2016-08-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏同步博客

Redis命令总结及其基础知识讲述

  Redis拥有其他数据库不具备的数据结构,又拥有内存存储(这使得redis的速度非常快),远程操作(使得redis可以与多个客户端和服务器进行连接)、持久化...

9030
来自专栏Java后端技术

使用JavaMail发送邮件

  我们在实际开发中,常常会遇到需要使用java代码进行发送邮件的需求,我们可以通过这种方式向用户推送通知等。

10920
来自专栏Java 技术分享

JavaWeb 之文件的上传下载

65550
来自专栏MasiMaro 的技术博文

PE文件详解(六)

这篇文章转载自小甲鱼的PE文件详解系列原文传送门 之前简单提了一下节表和数据目录表,那么他们有什么区别? 其实这些东西都是人为规定的,一个数据在文件中或...

25720
来自专栏一个番茄说

让你在WebView中用JS调Native Object

之所做这个东西,源于之前项目中需要把一些页面用webView来呈现,但是web中需要调用native的方法,比如获取本地存的某些数据、调用摄像头等等,这里也就是...

11930
来自专栏xiaoheike

Spring Application Event Example

https://github.com/xiaoheike/SpringApplicationEventExample.git

18710
来自专栏生信宝典

ETE构建、绘制进化树

ETE能做什么 A Python framework for construction, analysis and visualization of trees...

87050
来自专栏MasiMaro 的技术博文

Windows平台下的内存泄漏检测

在C/C++中内存泄漏是一个不可避免的问题,很多新手甚至有许多老手也会犯这样的错误,下面说明一下在windows平台下如何检测内存泄漏。 在windows平...

26320
来自专栏闵开慧

hadoop压缩与解压

1 压缩 一般来说,计算机处理的数据都存在一些冗余度,同时数据中间,尤其是相邻数据间存在着相关性,所以可以通过一些有别于原始编码的特殊编码方式来保存数据, 使数...

43780
来自专栏hrscy

Alamofire 上传图片入门教程(下)

在 ViewController 的 extension 里面,uploadImage(_:progress:completion:) 的下面添加如下的代码:

37720

扫码关注云+社区

领取腾讯云代金券