hadoop2.2源码编译后不支持bzip2压缩解决办法

有时候装完的hadoop2.2的集群,在我们的系统(REAL系)执行bin/hadoop checknative 命令时,出现如上图的警告,意思就是载入bzip2压缩失败,但是在整个编译过程,并没有出现任何错误,或异常,而且去cenots下的lib64位目录下,查看libbz2的so文件,发现也正常 ,那么问题出究竟现在哪里呢?

经过google查找,散仙在hadoop官网的的jira上找到答案,大家请看这个链接地址https://issues.apache.org/jira/browse/HADOOP-10409。,受影响的版本主要在hadoop2.3.0之前的hadoop版本

具体的原因是由于centos系统没有安装bzip2-devel库文件,然后导致在编译过程中没有将bzip2压缩,编译进入hadoop中,所以在我们查看checknative时,才出现了不支持bzip2压缩的警告,检验和解决办法如下:

  1. 在linux系统上执行 rpm -qa bzip2-devel 命令查找是否安装了bzip2库文件(一般装的是mini版iso文件的库,默认没有自带bzip2库)
  2. 如果系统没有安装,则执行yum install -y bzip2-devel命令,安装bzip2-devel库支持
  3. 安装完成后,重新编译hadoop源码即可
  4. 最后再次执行
  5. hadoop checknative -a 命令,检查hadoop对bizip2压缩是否正常

原文发布于微信公众号 - 我是攻城师(woshigcs)

原文发表时间:2014-12-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

在Linux系统下运行微信Web开发者工具

微信Web开发者工具只有window版本和mac版本,如果想要在Linux系统下运行微信Web开发者工具,需要花费很大周折。 注:带 * 的步骤或文件为不确定...

5806
来自专栏Jed的技术阶梯

zookeeper-3.4.10的安装配置

leader:能接收所有的读写请求,也可以处理所有的读写请求,而且整个集群中的所有写数据请求都是由leader进行处理 follower:能接收所有的读写请求...

1624
来自专栏技术最杂谈

snova子账号操作指南1

在用户列表中,选择需要授权的子用户。关联snova相关读写权限。策略关联成功后,子用户即获取相关资源权限。

1212
来自专栏从零学习云计算

openshift/origin工作记录(5)——node节点系统资源预留

解决思路为设置node节点系统资源预留值。

28310
来自专栏osc同步分享

nginx 配置负载均衡

windows下载nginx解压后如下: ? 配置文件为conf目录下的nginx.conf     在http节点下加入upstream如下: ups...

32312
来自专栏java一日一条

单点登录原理与简单实现

web应用采用browser/server架构,http作为通信协议。http是无状态协议,浏览器的每一次请求,服务器会独立处理,不与之前或之后的请求产生关联,...

2422
来自专栏Aloys的开发之路

热切换Log4j级别配置

欢迎和大家交流技术相关问题: 邮箱: jiangxinnju@163.com 博客园地址: http://www.cnblogs.com/jiangxinnju...

1525
来自专栏Snova云数仓

Snova添加子用户及策略操作指南1

在用户列表中,选择需要授权的子用户。关联snova相关读写权限。策略关联成功后,子用户即获取相关资源权限。

1627
来自专栏性能与架构

使用 twemproxy 构建 Redis 集群

twemproxy 简介 twemproxy(又称 nutcracker)是 Twtter 贡献的一个 轻量级 高性能 的 redis/memcached 代理...

3314
来自专栏Timhbw博客

lnmp安装fileinfo模块

2018-02-0411:44:40 发表评论 38℃热度 fileinfo安装 php.ini 中添加配置 相关服务重启 检查是否成功安装 目录 l...

3496

扫码关注云+社区

领取腾讯云代金券