Linux 内网编译 hadoop-2.5.0

1.环境

CentOS release 6.5 (Final) x86_64 java version "1.7.0_79"  hadoop-2.5.0-src.tar.gz apache-maven-3.3.9 protobuf-2.5.0

2.配置yum

yum代理配置:/etc/yum.conf

proxy=http://user1:userpass1@10.204.14.44:8090
yum -y install svn ncurses-devel gcc*                                             
yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl–devel

3.配置Maven

3.1环境变量/etc/profile

export MAVEN_HOME=/opt/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin

3.2内网Maven代理$MAVEN_HOME/conf/setting.xml

<proxy>
    <id>myProxy</id>
    <active>true</active>
    <protocol>http</protocol>
    <host>10.204.14.44</host>
    <port>8090</port>
    <username>user1</username>
    <password>userpass1</password>
    <nonProxyHosts></nonProxyHosts>
</proxy>

3.3配置Maven中央仓库

<mirror>  
  <id>alimaven</id>  
  <name>aliyun maven</name>  
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
  <mirrorOf>central</mirrorOf>          
</mirror>

4.安装protobuf

链接: https://pan.baidu.com/s/1pL2e6jp 密码: hybu

cd protobuf-2.5.0
./configure
make && make install

5.编译 hadoop-2.5.0-src

链接: https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop-2.5.0-src.tar.gz

cd hadoop-2.5.0-src
mvn package -Pdist,native -DskipTests -Dtar

6.错误处理

6.1配置Ant代理.相应错误的pom.xml的target下增加代理

<target name="proxy" >
    <setproxy
        proxyhost="10.204.14.44"
        proxyport="8090"
        proxyuser="user1"
        proxypassword="userpass1"
    />
</target>

6.2Could NOT find OpenSSL, try to set the path to OpenSSL root folder 

export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2j
export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2j/include/openssl
export OPENSSL_LIBRARIES=/usr/local/Cellar/openssl/1.0.2j/lib

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏owent

GCC 7和LLVM+Clang+libc++abi 4.0的构建脚本

之前的版本发完,有空来更新一下之前的gcc和llvm+clang工具链的编译脚本了。其实GCC 7是才release没多久但是llvm 4.0发布其实有一段时间...

9510
来自专栏轻扬小栈

ubuntu pogoplug openwrt 编译全过程

19130
来自专栏开发与安全

linux系统编程之管道(二):管道读写规则和Pipe Capacity、PIPE_BUF

一、当没有数据可读时 O_NONBLOCK disable:read调用阻塞,即进程暂停执行,一直等到有数据来到为止。 O_NONBLOCK enable:r...

36190
来自专栏pangguoming

使用AndroidStudio编译NDK的方法及错误解决方案

参考资料: 【android ndk】macos环境下Android Studio中利用gradle编译jni模块及配置:http://demo.netfouc...

786120
来自专栏IT进修之路

原 spring boot Druid多

41130
来自专栏Kubernetes

SkyDNS2源码分析

SkyDNS2是SkyDNS Version 2.x的统称,其官方文档只有README.md,网上能找到的资料也不多,因此需要我们自行对代码进行一定的分析,才能...

43360
来自专栏Albert陈凯

OkHttp3的基本用法

这篇文章说下OkHttp的基本用法,是最新的3哦,如果你曾经在网上搜索OkHttp怎么使用发现有些类没有了可能是因为人家说的是2。

2.4K40
来自专栏酷玩时刻

AndroidStudio多渠道打包

假如AndroidManifest.xml的 meta-data>CHANNEL 是渠道的标准

10930
来自专栏Golang语言社区

Dynamic Nginx Router... in Go!

We needed a specialized load balancer at Nitro. After some study, Mihai Todor an...

15930
来自专栏SpringSpace.cn

在 ubuntu 12.10 中安装 opensips 1.8.2

解压软件包: tar -zxvf opensips-1.8.2_src.tar.gz

25120

扫码关注云+社区

领取腾讯云代金券