使用源码编译Hadoop 2018-8-12 作者: 张子阳 分类: 大数据处理 Hadoop以两种方式发行，一种是binary格式的tar压缩包，一种是source源文件。...考虑到暂时并无修改Hadoop源码的需求，简单起见，我都是直接使用编译好的binary包。...众所周知，32位系统存在着最大4GB内存的问题，因此，我觉得还是下载Hadoop源码，然后重新编译一下比较稳妥。本文编译的Hadoop版本是2.9.1。...编译Hadoop cd ~/downloads wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.1/hadoop-2.9.1...编译成功后，按照上面的配置，hadoop的安装包将位于：/opt/hadoop-2.9.1-src/hadoop-dist/target/hadoop-2.9.1.tar.gz 接下来，就可以安装Hadoop
Hadoop 2.2.0编译安装 添加用户及无密码访问 添加用户 adduser hadoop 设置密码 passwd hadoop 添加到sudo用户组 chmod +w /etc/sudoers echo...'%hadoop ALL=(ALL) NOPASSWD: ALL' >> /etc/sudoers chmod -w /etc/sudoers su hadoop ssh-keygen -t rsa...机器互通 安装maven sudo mkdir -p /opt/maven sudo chown -R hadoop:hadoop /opt/maven tar zxvf apache-maven-3.1.1...-10110.patch patch -p0 < HADOOP-10110.patch 编译 mvn clean install -DskipTests 编译本地包 sudo yum install cmake...-2.2.0-src/hadoop-dist/target/hadoop-2.2.0 bin/hadoop version 加快其它机器编译速度 scp -r ~/.m2/ kn02:~/
，64bit的机子跑编译好的包跑不了。...hadoop-maven-plugins mvn install 9、首先官方下载hadoop源码 wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop...-2.2.0/hadoop-2.2.0-src.tar.gz 编译clean cd hadoop2.2.0-src mvn clean install –DskipTests 目前的2.2.0...的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。...否则编译hadoop-auth 会提示错误： vi /hadoop-2.2.0/hadoop-common-project/hadoop-auth/pom.xml org.mortbay.jetty
编译Hadoop1.x.x版本的eclipse插件为何如此繁琐？ 个人理解，ant的初衷是打造一个本地化工具，而编译hadoop插件的资源间的依赖超出了这一目标。...那么我们开始动手 主要步骤如下 设置环境变量 设置ant初始参数 调整java编译参数 设置java classpath 添加依赖 修改META-INF文件 编译打包、部署、验证 具体操作 设置语言环境.../> 修改或添加额外的jar依赖 因为我们根本都没有直接编译过hadoop,所以就直接使用${HADOOP_HOME}/lib下的资源.需要注意，这里将依赖jar的版本后缀去掉了。....jar 免费下载地址在 http://linux.linuxidc.com/ 用户名与密码都是www.linuxidc.com 具体下载目录在 /2014年资料/1月/21日/编译hadoop 1.2.1...插件编译安装 http://www.linuxidc.com/Linux/2013-07/86931.ht
进入hadoop-hdfs-project/hadoop-hdfs/src目录，执行cmake以生成Makefile文件。...如果遇到如下的错误： ~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake ....然后带参数再次执行cmake： ~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake -DJAVA_HOME=/data/jdk...build FUSE client. -- Configuring done -- Generating done -- Build files have been written to: /data/hadoop...-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src 接下来就可以执行make来编译生成libhdfs.a了。
Google了一下发现是因为 hadoop 2.2.0提供的是libhadoop.so库是32位的，而我们的机器是64位。 解决的办法就是重新在64位的机器上编译hadoop。...恰好马同学刚刚步入linux用户的行列，连机器上的Ubuntu都是新装的，因此，为了编译hadoop，一切都得从头配置。...目录 编译环境 Java 环境配置 安装依赖包 安装配置 protobuf 安装配置 maven 创建新用户及用户组 编译 hadoop 2.2.0 安装配置 hadoop 2.2.0...编译环境 OS: Ubuntu 12.04 64-bit hadoop version: 2.2.0 Java: Jdk1.7.0_45 java环境配置 空白的电脑，什么都没有啊 下载 jdk ：...-DskipTests -Dtar正常应该不会有什么错误了， 参数和其他编译选择请看 hadoop目录下的 BUILDING.txt文件 安装配置 hadoop 2.2.0 此时编译好的文件位于 hadoop
在win7用Ant编译hadoop工程的时候，遇到了一个报错，如下： org.eclipse.core.runtime.CoreException: D:\workspace\hadoop-1.1.2...Windows出错啦，也难怪，因为hadoop他们压根儿就没想让它在windows上面跑。
Hadoop 在伪分布式模式下的编译和调试方法，其中，调试方法主要介绍使用 Eclipse 远程调试和打印调试日志两种。...编译 Hadoop 源代码 在 Windows 或 Linux 环境下，打开命令行终端，转到 Hadoop 安装目录下并输入以下命令： ant -Dversion=1.0.0 {target} 其中，{...调试 Hadoop 源代码 利用 Eclipse 远程调试和打印调试日志。这两种方式均可以调试伪分布式工作模式和完全分布式工作模式下的 Hadoop。...调试过程可分三步进行： 步骤 1：调试模式下启动 Hadoop在 Hadoop 安装目录下运行内容如下的 Shell 脚本： export HADOOP_JOBTRACKER_OPTS="-Xdebug...;然后重新编译 Hadoop 源代码，并将 org.apache.hadoop.mapred. JobTracker 的调试级别修改为 DEBUG，重新启动 Hadoop 后便可以看到该调试信息。
最近因为要改Hadoop的一些代码，需要重新编译，测试环境是用cdh4.6.0做debug,简单记录下hadoop的编译方法： 1）编译环境需要下面几个包 yum install lzo-devel zlib-devel...无法编译完成: [exec] Required version of 'protoc' is 2.4.0a, reported libprotoc 2.5.0 .......Caused by: /home/caiguangguang/hadoop-2.0.0-cdh4.6.0/src/hadoop-common-project/hadoop-common/target/antrun.../hadoop-common/target/compile-proto.sh #!...编译安装protobuf的方法： .
Maven编译Hadoop-2.2.0-src 1.环境 Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17...: Compilation failure: Compilation failure: [ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth...-10110 方法：修改hadoop源码目录下的hadoop-common-project/hadoop-auth/pom.xml 添加或修改如下部分内容： ...-2.2.0-src/hadoop-common-project/hadoop-common/target/native"): error=2, No such file or directory ->...下载protobuf-2.5.0.tar.gz 解压 3部曲编译安装。
因为选择的IDE为eclipse，所以准备编译一下hadoop的eclipse插件，以下就直接进入正题。...而该变量在编译插件时是必须的。...[javac] 注意：要了解具体信息，请使用 -Xlint:unchecked 又一次编译。...请使用 -Xlint:unchecked 又一次编译。...BUILD SUCCESSFUL Total time: 10 seconds 至此编译hadoop的eclipse插件成功完毕。
首先准备一个hadoop源码包，我选择的hadoop版本是：hadoop-2.7.7-src.tar.gz，在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt，这其中说明了编译...hadoop所需要的一些编译环境相关的东西。...Hadoop 步骤一 解压hadoop源码包tar -zxvf /root/hadoop-2.7.7-src.tar.gz -C /root/apps/ 步骤二 在编译之前防止 java.lang.OutOfMemoryError...cd /root/apps/hadoop-2.7.7-src 步骤四 执行编译： mvn clean package -Pdist，native -DskipTests -Dtar -Dsnappy.lib...第一次编译预估一个小时左右，最后编译成功，jar包所在位置于/root/apps/hadoop-2.7.7-src/hadoop-dist/target 3.png
第13章 源码编译 13.2 Hadoop2.7.3源码编译 13.2.1下载Hadoop源码包 （1）到官网http://hadoop.apache.org/releases.html下载2.7.3的...source源码包 （2）解压缩 tar -zxvf hadoop-2.7.3-src.tar.gz -C /opt (3)打开解压目录下的BUILDING.txt,编译过程和需要的软件其实就是根据这个文档里的描述来的...hadoop-assemblies hadoop-common-project hadoop-mapreduce-project hadoop-project hadoop-yarn-project...hadron ~]# yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel 13.2.6 开始编译...maven-archiver test-dir [root@cyq target]# 软件包hadoop-2.7.3.tar.gz即是我们编译得到成果！
1.环境 CentOS release 6.5 (Final) x86_64 java version "1.7.0_79" hadoop-2.5.0-src.tar.gz apache-maven.../configure make && make install 5.编译 hadoop-2.5.0-src 链接: https://archive.apache.org/dist/hadoop/common.../hadoop-2.5.0/hadoop-2.5.0-src.tar.gz cd hadoop-2.5.0-src mvn package -Pdist,native -DskipTests -Dtar
最新的2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。...否则编译hadoop-auth 会提示下面错误： [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin...: [ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security.../etc/profile 修改如下: export JAVA_HOME=/app/hadoop/jdk1.7.0_45 export CLASSPATH=....=/app/hadoop/apache-maven-3.0.5 export FINDBUGS_HOME=/app/hadoop/findbugs-2.0.3-rc1 export PATH=${JAVA_HOME
[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.8.5:protoc (compile-protoc) on...project hadoop-common: org.apache.maven.plugin.MojoExecutionException: protoc version is 'libprotoc...After correcting the problems, you can resume the build with the command [ERROR] mvn -rf :hadoop-common...在打包 Hadoop 2.8.5 的时候，报错信息大概如上，其实很好解释，就是本地的 protoc 的版本跟 Hadoop 需要的版本不一样了，从报错信息可以知道，本地是 2.6.1，只要改成 2.5.0
Linux上编译Hadoop-2.4.0.pdf 1. ...第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联网，否则难逐一解决所有的编译问题，但第一次之后的编译则不用再下载了。 2. ...编译Hadoop源代码 完成上述准备工作后，即可通过执行命令：mvn package -Pdist -DskipTests -Dtar，启动对Hadoop源代码的编译。...假设在联网机器的/root/hadoop-2.4.0-src下编译的，进入/root/hadoop-2.4.0-src，然后执行：find . ...，将行删除可以解决问题，但后续还会遇到类似的问题，所以不要使用JDK1.8编译Hadoop 2.4.0。
下载了Hadoop预编译好的二进制包，hadoop-2.2.0.tar.gz，启动起来后，总是出现这种警告： WARN util.NativeCodeLoader: Unable to load native-hadoop...安装protobuf 编译Hadoop 2.2.0，需要protobuf的编译器protoc。一定需要protobuf 2.5.0以上，yum里的是2.3，太老了。因此下载源码，编译安装。...给Hadoop源码打一个patch 最新的Hadoop 2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。...否则编译hadoop-auth 会提示下面错误： [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin...编译 Hadoop cd hadoop-2.2.0-src mvn package -DskipTests -Pdist,native -Dtar 9.
，64bit的机子跑编译好的包跑不了。...源码地址下: cd hadoop-maven-plugins mvn install 9、首先官方下载hadoop源码 wget http://mirrors.cnnic.cn/apache/hadoop.../common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz 编译clean cd hadoop2.2.0-src mvn clean install –DskipTests...目前的2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。...否则编译hadoop-auth 会提示错误： vi /hadoop-2.2.0/hadoop-common-project/hadoop-auth/pom.xml <groupid
Hadoop不提供64位编译好的版本，只能用源码自行编译64位版本。学习一项技术从安装开始，学习hadoop要从编译开始。...1.操作系统编译环境 yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel...openssl-devel libXtst 2.安装JDK 下载JDK1.7，注意只能用1.7，否则编译会出错 http://www.Oracle.com/technetwork/java/javase...编译不能通过 wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz tar xvf protobuf-2.5.0.tar.gz.../etc/profile 7.编译 Hadoop2.6.0 wget http://mirror.bit.edu.cn/apache/hadoop/core/hadoop-2.6.0/hadoop-2.6.0
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
