编译hbase-1.2.3源代码

编译hbase-1.2.3源代码.pdf

1. 约定

确保机器可以正常访问Internet,如能正常访问https://repo.maven.apache.org等,如果是代理方式则需要设置好eclipse和maven的网络配置。

本文环境为64位版本Windows7,jre安装目录为C:\java\jdk1.8.0_111,jdk安装目录为C:\java\jre1.8.0_111。

最好将jre安装在在jdk目录下,否则编译时会遇到“Could not find artifact jdk.tools:jdk.tools:jar”错误。将jre安装在jdk目录下的目的是使得jre的上一级存在jdk的lib目录。

2. 安装jdk

略!安装好后请设置环境变量JAVA_HOME为jdk的安装目录(不是javac所在的bin目录,而是bin的上一级目录)。

3. 安装maven

从maven官网下载安装包(本文下载的是apache-maven-3.3.9-bin.zip):

https://maven.apache.org/download.cgi

解压后,将maven的bin目录加入到环境变量PATH中,本文对应的目录为C:\Program Files\apache-maven-3.3.9\bin。并设置环境变量M2_HOME的值为maven的安装目录,对于本文M2_HOME值为C:\Program Files\apache-maven-3.3.9

然后设置eclipse使用外部的maven,进入eclipse的Preferences中按下图进行设置:

4. 网络配置

确保机器可以正常访问Internet,否则大量问题难以解决。如果是通过代理才能访问,则需要为eclipse和maven配置好代理。

4.1. eclipse

4.2. maven

编辑$HOME/.m2目录下的settings.xml,如果不存在该文件,则复制$MAVEN_HOME/conf目录下的settings.xml,然后再修改即可同。

MAVEN_HOME为maven的安装目录,$HOME/.m2为repository的默认目录,HOME为Windows用户目录,Windows7上假设用户名为mike则HOME为C:\Users\mike。

假设代理服务器的地址和端口分别为:proxy.oa.com和8080,则(不需要用户名或密码,则相应的值不设置即可):

http-proxy true http proxy.oa.com 8080 local|127.0.0.1 https-proxy true https proxy.oa.com 8080 local|127.0.0.1

5. 从hbase官网下载源代码包:

以下网站均提供hbase源代码包下载:

http://mirrors.hust.edu.cn/apache/hbase/

https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/

http://mirror.bit.edu.cn/apache/hbase/

http://apache.fayea.com/hbase/

本文下载的是hbase-1.2.3-src.tar.gz。

6. eclipse导入hbase源代码

本文使用的eclipse版本:

将hbase-1.2.3-src.tar.gz解压,本文将其解压到目录E:\bigdata\hbase-1.2.3-src,然后以“Existing Maven Projects”方式导入:

成功导入后如下图所示:

以maven编译hbase源代码,编译整个hbase容易遇到错误,比如编译hbase-common需要安装bash,hbase-thrift、但hbase-server、hbase-client等模块不依赖bash。为简单体验,先定一个小目标:编译hbase-thrift模块:

7. 编译hbase-thrift

鼠标右击hbase-thrift,按下图进入设置界面:

设置界面如下图所示,并设置Goals为clean install -DskipTests(注意不是clean install,需要加上-DskipTests,否则即使勾选了Skip Tests也可能无效):

然后点击“Run”即开始编译!

编译过程中如遇到下面的错误,请确认是否存在目录C:\java\jre1.8.0_111/../lib,其用意是jre安装在jdk的目录下,也就是说lib需要为jdk的lib目录。

简单的做法是复制jdk的lib目录到C:\java目录下。

[ERROR] Failed to execute goal on project hbase-thrift: Could not resolve dependencies for project org.apache.hbase:hbase-thrift:jar:1.2.3: Could not find artifact jdk.tools:jdk.tools:jar:1.8 at specified path C:\java\jre1.8.0_111/../lib/tools.jar -> [Help 1]

成功后如下图所示:

在目录E:\bigdata\hbase-1.2.3-src\hbase-thrift\target下可以看到编译生成的jar文件:

然后可以编译hbase-client,如果需要编译hadoop-common则需要安装bash先,也就是得安装cygwin(https://cygwin.com/install.html)。

建议从国内镜像安装cgywin,会快很多,可用镜像:

http://mirrors.163.com/cygwin/

http://www.cygwin.cn/pub/

选择从互联网安装,在“User URL”处输入国内镜像网址。

安装好cygwin后,需将cgywin的bin目录加入到环境变量PATH中,并需要重启eclipse才会生效。如果未安装bash,则用同样方法编译hadoop-common时,会报如下错误:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (generate) on project hbase-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "bash": CreateProcess error=2, 系统找不到指定的文件。 -> [Help 1]

8. Problems opening an editor ... does not exist

在eclipse里用F3想进入某个类的某方法时,提示以下错误(Problems opening an editor Reason: [项目名] does not exist):

解决办法(目的是生成“.project”和“.classpath”两个eclipse需要的文件):

按下图所示,进入项目的根目录,以hbase的hbase-thrift为例,如hbase-thrift所在目录为E:\bigdata\hbase-1.2.3-src\hbase-thrift,注意不是E:\bigdata\hbase-1.2.3-src,然后执行:mvn eclipse:eclipse,成功后重启eclipse上述问题即解决(mvn eclipse:eclipse的作用是将maven项目转化为eclipse项目,即生成两个eclipse导入所需的配置文件,并无其他改变,也就是生成eclipse需要的.project和.classpath两个文件):

其它诸于hbase-client、hbase-common、h base-server等同样处理即可。

9. hbase-common

编译hbase-common如遇到下述问题:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:compile (default-compile) on project hbase-common: Compilation failure: Compilation failure: [ERROR] E:\bigdata\hbase-1.2.3-src\hbase-common\target\generated-sources\java\org\apache\hadoop\hbase\package-info.java:[5,39] 错误: 非法转义符 [ERROR] E:\bigdata\hbase-1.2.3-src\hbase-common\target\generated-sources\java\org\apache\hadoop\hbase\package-info.java:[5,30] 错误: 未结束的字符串文字 [ERROR] E:\bigdata\hbase-1.2.3-src\hbase-common\target\generated-sources\java\org\apache\hadoop\hbase\package-info.java:[6,0] 错误: 需要class, interface或enum [ERROR] E:\bigdata\hbase-1.2.3-src\hbase-common\target\generated-sources\java\org\apache\hadoop\hbase\package-info.java:[6,9] 错误: 需要class, interface或enum [ERROR] -> [Help 1]

打开package-info.java:

/* * Generated by src/saveVersion.sh */ @VersionAnnotation(version="1.2.3", revision="Unknown", user="mooon\mike ", date="Tue Oct 25 18:02:39 2016", url="file:///cygdrive/e/bigdata/hbase-1.2.3-src", srcChecksum="88f3dc17f75ffda6176faa649593b54e") package org.apache.hadoop.hbase;

,可以看到问题出在“mike”后多了一个换行符,正常应当是:

/* * Generated by src/saveVersion.sh */ @VersionAnnotation(version="1.2.3", revision="Unknown", user="mooon\mike", date="Tue Oct 25 18:02:39 2016", url="file:///cygdrive/e/bigdata/hbase-1.2.3-src", srcChecksum="88f3dc17f75ffda6176faa649593b54e") package org.apache.hadoop.hbase;

查看hadoop-common的saveVersion.sh,部分内容如下:

unset LANG unset LC_CTYPE version=$1 outputDirectory=$2 pushd . cd .. user=`whoami` date=`date` cwd=`pwd`

问题就出在whoami命令返回了mooon\mike,并且mike后跟了一个换行符导致的,因此可以如下消灭多余的换行符:

unset LANG unset LC_CTYPE version=$1 outputDirectory=$2 pushd . cd .. user=`whoami|awk '{printf("%s",$1);}'` date=`date` cwd=`pwd`

再次编译,仍然报错:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:compile (default-compile) on project hbase-common: Compilation failure [ERROR] E:\bigdata\hbase-1.2.3-src\hbase-common\target\generated-sources\java\org\apache\hadoop\hbase\package-info.java:[5,39] 错误: 非法转义符 [ERROR] -> [Help 1]

再次打开package-info.java:

/* * Generated by src/saveVersion.sh */ @VersionAnnotation(version="1.2.3", revision="Unknown", user="mooon\mike", date="Tue Oct 25 17:59:21 2016", url="file:///cygdrive/e/bigdata/hbase-1.2.3-src", srcChecksum="88f3dc17f75ffda6176faa649593b54e") package org.apache.hadoop.hbase;

问题出在“mooon\mike”间的斜杠,需要将单个斜杠改成双斜杠“mooon\\mike”或者干脆去掉“mooon\”仅保留“mike”也可以。

再次修改saveVersion.sh,直接写死user:

unset LANG unset LC_CTYPE version=$1 outputDirectory=$2 pushd . cd .. user=mike date=`date` cwd=`pwd`

然后再次编译hadoop-common,终于成功了:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏乐沙弥的世界

Linux 6 下编译安装 PHP 5.6

1762
来自专栏磨磨谈

Cephfs的快照功能

Cephfs的快照功能在官网都很少提及,因为即使开发了很多年,但是由于cephfs的复杂性,功能一直没能达到稳定,这里,只是介绍一下这个功能,怎么使用,并且建议...

1632
来自专栏北京马哥教育

MySQL存储日志并使用Loganalyzer作为前端展示

为什么要使用日志 在生产环境中我们可能需要一个较为完整的日志系统来查看运行中主机服务的状态和所作出的操作,我们可以在较大型的网络架构中使用ELK来实现对日志的收...

3299
来自专栏乐沙弥的世界

MHA 清理relay log(purge_relay_logs)

    MySQL数据库主从复制在缺省情况下从库的relay logs会在SQL线程执行完毕后被自动删除,但是对于MHA场景下,对于某些滞后从库的恢复依赖于其他...

1110
来自专栏阿杜的世界

Spring+Velocity+Mybatis整合笔记(step by step)

开发过程中使用的操作系统是OS X,关于软件安装的问题请大家移步高效的Mac环境设置。 本文是我对自己学习过程的一个回顾,应该还有不少问题待改进,例如目录的设...

1031
来自专栏battcn

一起来学SpringBoot | 第三篇:SpringBoot日志配置

SpringBoot 内部采用的是 CommonsLogging进行日志记录,但在底层为 JavaUtilLogging、 Log4J2、 Logback 等日...

1253
来自专栏龙首琴剑庐

Spring Session 实现分布式会话管理

1、分布式会话管理是什么? 在Web项目开发中,会话管理是一个很重要的部分,用于存储与用户相关的数据。通常是由符合session规范的容器来负责存储管理,也就是...

5109
来自专栏青青天空树

springboot配置读写分离

  近日工作任务较轻,有空学习学习技术,遂来研究如果实现读写分离。这里用博客记录下过程,一方面可备日后查看,同时也能分享给大家(网上的资料真的大都是抄来抄去,,...

1933
来自专栏运维

Cacti插件安装之NTOP

一,安装ntop 在官网获得最新源码包 wget http://cdnetworks-kr-2.dl.sourceforge.net/project/nt...

1682
来自专栏菩提树下的杨过

jboss eap 6.2+ 版本中 加密datasource密码等敏感信息

默认情况下,在jboss eap 6.2+ 管理控制台创建datasource后,会在standalone.xml(独立模式)或host.xml(域模式)中以明...

2747

扫码关注云+社区