本文为大数据基础系列 4:伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析,以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例。本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章,我个人是很有自信的,一篇文章掌握一门课程核心技术点。
关于创建 Ubuntu 用户的内容这里不做详细叙述了,需要的同学请参考我之前的文章:Ubuntu 答疑:Ubuntu 添加和删除用户具体步骤及进程被占用的解决方式。
对于 Ubuntu 本身,系统可能已经预装了Java,它的 JDK 版本类型为 openjdk,路径为"/usr/lib/jvm/default-java",之后配置 JAVA_HOME 环境变量我们可设置为该值。其具体位置如下图所示:
Apache Hadoop 的 2.7 版和更高版本需要 Java 7。它是在 OpenJDK 和 Oracle(HotSpot)的 JDK / JRE 上构建和测试的。早期版本(2.6 和更早版本)支持 Java 6。
我们输入 java -version
查看本地 jdk 版本号,没安装的话输入同样指令,可以根据提示下载需要版本,具体如下图所示:
输入 javac
,显示命令参数列表,说明配置成功,不显示请根据提示安装,具体如下图所示:
需要具体安装 SSH 无密码登陆参考的同学可以看我之前的文章: ssh 配置:在 Linux 中 ssh 配置无密码登陆完整步骤以及易错点分析。
对于 Hadoop 的伪分布式和全分布式而言,Hadoop 的名称节点(NameNode)需要启动集群中所有机器的 Hadoop 的守护进程,这个过程可以通过 SSH 登陆来实现。Hadoop 并没有提供 SSH 输入密码登陆的形式,因此为了能够顺利登陆每台机器,需要将所有机器配置为名称节点可以无密码登陆的形式。
安装 openssh-server,在终端输入如下代码:
sudo apt install openssh-server
本人已经安装,具体如下图所示:
输入如下代码:
sudo ps -e|grep ssh
回车,有 sshd,说明 ssh 服务已经启动,具体如下图所示:
如果没有启动,输入sudo service ssh start
,回车,ssh 服务就会启动。
伪分布式安装是指在一台机器上模拟一个小的集群,但是集群只有一个节点。
在 Linux 系统/Ubuntu 上打开自带火狐浏览器,输入地址 https://hadoop.apache.org/,打开 Hadoop 的页面,点击 Download 进行下载,具体如下图所示:
我们选择所需版本的 binary 链接,进入,具体如下图所示:
点击第一个镜像链接,进入下载页面,具体如下图所示:
cd /home/bailu/下载
这里根据自己目录输入,我的如下图所示:
对下载的 Hadoop 压缩包执行解压命令如下:
sudo tar -zxvf hadoop-3.2.1.tar.gz
输入 ll
查看下载目录下的文件和目录,会看到多了一个目录 hadoop-3.2.1,这是安装包解压后的目录,具体如下图所示:
在下载目录下输入如下命令,将 hadoop-3.2.1 目录转移到 usr/local/hadoop 中:
sudo mv hadoop-3.2.1 /usr/local/hadoop
目标文件夹如下图所示:
我们进入 Hadoop目录,可能会发现文件带锁,输入 ll
查看所有者不是本人,具体如下图所示:
这时我们就需要将 Hadoop 目录的所有者更改,根目录输入如下命令:
sudo chown bailu:bailu -R /usr/local/hadoop
具体如下图所示:
修改之后我们可以看到所有者已经更改,具体如下图所示:
根目录输入 cd /usr/local/hadoop
进入 Hadoop 目录,输入 ll
查看 Hadoop 下目录结构,具体如下图所示:
文件名称 | 格式 | 描述 |
---|---|---|
hadoop-env.sh | Bash 脚本 | 记录配置 Hadoop 运行所需的环境变量,以运行 Hadoop |
core-site.xml | Hadoop 配置 XML | Hadoop core 的配置项,如 HDFS 和 MapReduce 常用的 I/O 设置等 |
hdfs-site.xml | Hadoop 配置 XML | Hadoop 守护进程的配置项,包括 NameNode、Secondary NameNode 和 DataNode 等 |
mapred-site.xml | Hadoop 配置 XML | MapReduce 守护进程的配置项,包括 JobTracker 和 TaskTracker |
masters | 纯文本 | 运行 SecondaryNameNode 的机器列表(每行一个) |
slaves | 纯文本 | 运行 DataNode 和 TaskTracker 的机器列表(每行一个) |
hadoop-metrics.properties | Java 属性 | 控制 metrics 在 Hadoop 上如何发布的属性 |
接下来我们需要设置 Hadoop 环境变量,编辑 ~/.bashrc,任意目录下输入如下代码:
sudo gedit ~/.bashrc
具体如下图所示:
让环境变量立即生效,输入命令: source ~/.bashrc
,具体如下图所示:
在任意目录下输入如下代码:
sudo gedit /usr/local/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh
编辑 etc/hadoop/hadoop-env.sh 以定义一些参数,将原文本文件中的 JAVA_HOME 设置成真实的 JDK 地址,具体如下所示:
#设置为 Java 安装的根目录
export JAVA_HOME =/usr/java/latest
尝试以下命令:Hadoop 根目录下输入 bin/hadoop
这将显示 Hadoop 脚本的用法文档,具体如下图所示:
这时我们可以查看 Hadoop 的版本信息,输入如下命令:
./bin/hadoop version
具体如下图所示:
对于伪分布式,仅需修改 core-site.xml、hdfs-site.xml 文件,详细修改如下。
对于 etc/hadoop/core-site.xml,输入命令如下:
sudo gedit /usr/local/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml
修改之后如下图所示:
说明:
<name>
标签设置配置项的名字,<value>
设置配置项的值。对于 etc/hadoop/hdfs-site.xml,输入命令如下:
sudo gedit /usr/local/hadoop/hadoop-3.2.1/etc/hadoop/hdfs-site.xml
修改之后如下图所示:
说明:
在配置完成后,首先需要初始化文件系统。由于 Hadoop 的很多工作是在自带的 HDFS 文件系统上完成的,因此需要将文件系统初始化之后才能进一步执行计算任务。
在 Hadoop 根目录执行 NameNode 初始化的命令如下:
./bin/hdfs namenode -format
具体如下图所示:
遇到这一步,继续执行,具体如下图所示:
成功的话,会看到"successfully formatted"和"Exitting with status"的提示,若为"Exitting with status 1"则是出错。
如果出现启动错误,则可以在日志中查看错误原因,具体如下图所示:
对于控制台报错请注意:
输入如下命令:
./sbin/start-dfs.sh
具体如下图所示:
运行之后,输入 jps 指令可以查看所有的 Java 进程。在正常启动时,可以得到如下类似结果,具体如下图所示:
说明:jps(Java Virtual Machine Process Status Tool)是 java 提供的一个显示当前所有 Java 进程 pid 的命令,适合在 linux/unix 平台上简单察看当前 Java 进程的一些简单情况。很多人都是用过 unix 系统里的 ps 命令,这个命令主要是用来显示当前系统的进程情况,有哪些进程以及进程 id。
jps 也是一样,它的作用是显示当前系统的 Java 进程情况及进程 id。我们可以通过它来查看我们到底启动了几个 Java 进程(因为每一个 Java 程序都会独占一个 Java 虚拟机实例)。
此时,可以通过 Linux 本地浏览器访问 Web 界面(http://localhost:9870)来查看 Hadoop 的信息,具体如下图所示:
如果存在 DataNode 启动异常时或者没有启动的问题,请查看:Apache Hadoop 答疑:解决 Apache Hadoop 启动时 DataNode 启动异常的问题。具体如下图所示:
若要关闭 Hadoop,则在 Hadoop 根目录下运行如下命令:
./sbin/stop-dfs.sh
具体如下图所示:
本文是本专栏文章的第四篇,也是做重要的一篇,后期的 Hadoop 生态体系均是围绕本文展开,同时补充了一些 linux 系统操作的相关知识,对于巩固 linux 系统也是有一定的帮助。简而言之,如果你切实掌握了本文的内容,那么你后期学大数据的其他组成部分也就轻车熟路了。