专栏首页IT杂记Hadoop SequnceFile.Writer 压缩模式及压缩库浅析

Hadoop SequnceFile.Writer 压缩模式及压缩库浅析

先说明SequnceFile的压缩类型(Compression Type)分为三种NONE,RECORD,BLOCK,通过配置项io.seqfile.compression.type指定:

            NONE, Do not compress records  即不压缩

            RECORD, Compress values only, each separately.   每条记录都对value进行一次压缩

            BLOCK, Compress sequences of records together in blocks.   块压缩,当缓存的key和value字节大小达到指定的阈值,则进行压缩,阈值由配置项io.seqfile.compress.blocksize指定,默认值为1000000字节

    RECORD,BLOCK使用的压缩算法是由创建SequnceFile.Writer 时指定的CompressionOption决定的, CompressionOption中CompressionCodec codec属性即为压缩编码器,  不指定时默认为org.apache.hadoop.io.compress.DefaultCodec 对应的底层压缩库为zlib, 除了DefaultCodec还有几个其他的CompressionCodec:GzipCodec  Lz4Codec  SnappyCodec   BZip2Codec 这里不做比较

    DefaultCodec在实现zlib压缩的时候,可以指定使用libhadoop.so(hadoop 框架提供的native库)或java.util.zip库。下面了解下如何开启hadoop native库或java zip库:

    SequnceFile 默认使用的是org.apache.hadoop.io.compress.DefaultCodec 压缩方式,使用的是Deflate的压缩算法

    DefaultCodec在创建压缩器时会执行类ZlibFactory.getZlibCompressor(conf)方法,实现代码片段:

    return (isNativeZlibLoaded(conf)) ?
      new ZlibCompressor(conf) :
      new BuiltInZlibDeflater(ZlibFactory.getCompressionLevel(conf).compressionLevel());

    当加载本地Zlib库时,使用的是ZlibCompressor压缩器类,否则使用BuiltInZlibDeflater类,BuiltInZlibDeflater类是调用java的java.util.zip.Inflater类实现;

    其中isNativeZlibLoaded是根据NativeCodeLoader类是否已经加载hadoop native库来判断的,代码如下:

// Try to load native hadoop library and set fallback flag appropriately
    if(LOG.isDebugEnabled()) {
      LOG.debug("Trying to load the custom-built native-hadoop library...");
    }
    try {
      System.loadLibrary("hadoop");
      LOG.debug("Loaded the native-hadoop library");
      nativeCodeLoaded = true;
    } catch (Throwable t) {
      // Ignore failure to load
      if(LOG.isDebugEnabled()) {
        LOG.debug("Failed to load native-hadoop with error: " + t);
        LOG.debug("java.library.path=" +
            System.getProperty("java.library.path"));
      }
    }
    if (!nativeCodeLoaded) {
      LOG.warn("Unable to load native-hadoop library for your platform... " +
               "using builtin-java classes where applicable");
    }

    其中System.loadLibrary("hadoop"); 在linux上查找的就是libhadoop.so。

    总结:当无法加载本地的hadoop库,hadoop会使用java.util.zip.Inflater类来对SequnceFile进行压缩;当可以加载到本地hadoop库,则使用本地的库。

下面来比较实用native hadoop库和不使用native hadoop的性能区别。

不使用native hadoop即在jvm运行参数java.library.path中不包含native库的路径:

java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib

使用则在后面加上hadoop的native库路径:

java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib:$HADOOP_HOME/lib/native

虚拟机集群:

50w 数据,sequnceFile压缩模式为RECORD, key为随机的10字节,value为随机200字节:

    native lib disabled:    32689ms         after compression 114.07 MB

    native lib enabled:   30625ms        after compression 114.07 MB

50w 数据,sequnceFile压缩模式为BLOCK, key为随机的10字节,value为随机200字节:

    native lib disabled:   11354ms       after compression 101.17 MB

    native lib enabled:    10699ms       after compression 101.17 MB

物理机集群:

50w 数据,sequnceFile压缩模式为RECORD, key为随机的10字节,value为随机200字节:

    native lib disabled:    21953ms         after compression 114.07 MB

    native lib enabled:   24742ms        after compression 114.07 MB

100w 数据,sequnceFile压缩模式为RECORD, key为随机的10字节,value为随机200字节:

    native lib disabled:    48555ms         after compression 228.14 MB

    native lib enabled:   45770ms        after compression 228.14 MB

100w 数据,sequnceFile压缩模式为RECORD, key为随机的10字节,value为随机200字节, 设置zlib压缩级别为BEST_SPEED:

    native lib disabled:    44872ms         after compression 228.14 MB

    native lib enabled:  51582ms        after compression 228.14 MB

100w 数据,sequnceFile压缩模式为BLOCK, key为随机的10字节,value为随机200字节, 设置zlib压缩级别为BEST_SPEED:

    native lib disabled:    14374ms         after compression  203.54 MB

    native lib enabled:  14639ms        after compression   203.54 MB

100w 数据,sequnceFile压缩模式为BLOCK, key为随机的10字节,value为随机200字节, 设置zlib压缩级别为DEFAULT_COMPRESSION:

    native lib disabled:    15397ms         after compression  203.54 MB

    native lib enabled:  13669ms        after compression   203.54 MB

分析测试结果,总结如下:

当在不同的压缩模式,或不同的数据量,以及不同的zlib压缩级别时,使用hadoop native库压缩和使用java zip库之间没有太大差别

后续再尝试其他的native压缩编码方式: GzipCodec  Lz4Codec  SnappyCodec   BZip2Codec 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Mapreduce 任务提交源码分析1

    提交过程 一般我们mapreduce任务是通过如下命令进行提交的 $HADOOP_HOME/bin/hadoop jar $MR_JAR $MAIN_CLASS...

    囚兔
  • [Intellij IDEA]File size exceeds configured limit

        这两天尝试使用 IDEA, 发现一个问题File size exceeds configured limit (2560000). Code insig...

    囚兔
  • CentOS6配置odbc访问Oracle

    囚兔
  • 泰坦尼克乘客存活状况(决策树案例)

    1912年4月15日凌晨2点20分,“永不沉没”的“泰坦尼克”走完了它短暂的航程,缓缓沉入大西洋这座安静冰冷的坟墓。 ? 欢迎你们说我幼稚荒诞,也欢迎你...

    zhaoolee
  • 新计划只是上一计划的复制粘贴?用WOOP理论和系统方法优化你的OKR

    但是,实话说,4季度过半的时候,就发现OKR自评分很低,可能接触OKR以来从未有过如此之低。这不免让我陷入深深的反思,去学习,进而产生一些思考。

    PerfCloud王福
  • 产品研发团队如何融合OKR与Scrum敏捷开发?

    「 OKR 」现在非常的火爆,很多公司都在使用,不仅国外的 Google、英特尔等大公司在用,国内的一线知名互联网企业今日头条和一些创业团队也都在使用。

    奎哥
  • 你真的理解OKR吗?这里有一份完整的实践方法论

    以前在公司中也使用过OKR,但一直用起来都懵懵懂懂,有点不得要领。最近公司组织了一次系统培训,通过模拟的场景实践了一把OKR制定流程,然后把以前看过的书拿出来啃...

    石燕平
  • 互联网大佬都在用的目标管理方法:OKR

    OKR全称是Objectives and Key Results,即目标与关键成果法,OKR是一套定义和跟踪目标及其完成情况的管理工具和方法。1999年 Int...

    博文视点Broadview
  • 作为技术团队TL,如何运用OKR提高团队产出

    OKR诞生在Intel,随着Google的大规模使用而名声大噪。OKR作为一个科学的目标管理法,由O和KR两部分组成,其中O表示目标(Objective),KR...

    用户7676729
  • 过失游戏:识别安全事件响应中的罪魁祸首

    在发现严重的IT安全事件后,优先考虑的是将其关闭并以经济有效的方式快速恢复。但是,管理层希望找到问题的根源,以便他们有一个下手的方向,但这说起来容易做起来难。

    大大刺猬

扫码关注云+社区

领取腾讯云代金券