前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hadoop2.2源码编译后不支持bzip2压缩解决办法

hadoop2.2源码编译后不支持bzip2压缩解决办法

作者头像
我是攻城师
发布2018-05-11 16:15:38
6960
发布2018-05-11 16:15:38
举报
文章被收录于专栏:我是攻城师

有时候装完的hadoop2.2的集群,在我们的系统(REAL系)执行bin/hadoop checknative 命令时,出现如上图的警告,意思就是载入bzip2压缩失败,但是在整个编译过程,并没有出现任何错误,或异常,而且去cenots下的lib64位目录下,查看libbz2的so文件,发现也正常 ,那么问题出究竟现在哪里呢?

经过google查找,散仙在hadoop官网的的jira上找到答案,大家请看这个链接地址https://issues.apache.org/jira/browse/HADOOP-10409。,受影响的版本主要在hadoop2.3.0之前的hadoop版本

具体的原因是由于centos系统没有安装bzip2-devel库文件,然后导致在编译过程中没有将bzip2压缩,编译进入hadoop中,所以在我们查看checknative时,才出现了不支持bzip2压缩的警告,检验和解决办法如下:

  1. 在linux系统上执行 rpm -qa bzip2-devel 命令查找是否安装了bzip2库文件(一般装的是mini版iso文件的库,默认没有自带bzip2库)
  2. 如果系统没有安装,则执行yum install -y bzip2-devel命令,安装bzip2-devel库支持
  3. 安装完成后,重新编译hadoop源码即可
  4. 最后再次执行
  5. hadoop checknative -a 命令,检查hadoop对bizip2压缩是否正常
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2014-12-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 我是攻城师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档