hadoop集群环境搭建

1 介绍

1.1 系统版本介绍

此文档编写使用的系统为ubuntu-18.04.1-live-server-amd64.iso版本。

1.2 软件版本介绍

1.3 ubuntu集群服务器

1.4 说明

本文档安装jdk和ssh略过。

2 安装hadoop集群

2.1 全局配置

2.1.1 解压hadoop

创建一个hadoop的文件夹，用户存放hadoop文件

mkdir /usr/local/hadoop

通过ftp工具把下载好的hadoop安装包上传到hadoop文件夹下。 解压：

cd /usr/local/hadoop
tar -vxzf hadoop-2.7.7.tar.gz

解压完成：

移动hadoop-2.7.7文件下的文件到当前的目录

mv ./hadoop-2.7.7/* ./

删除hadoop-2.7.7文件夹

rm -rf ./hadoop-2.7.7

查看文件夹的所有者以及用户组，最重要的是拥有者是否是当前用户

如果拥有者不是当前用户，则修改为当前用户：

chown -R 当前用户名 ./hadoop

2.1.2 配置hadoop

设置环境变量：

vim /etc/profile

在末尾添加：

JAVA_HOME=/usr/local/java/jdk1.8.0_181
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export PATH
export HADOOP_HOME

重新加载环境变量的配置文件： source /etc/profile

检测： hadoop version

2.1.3 修改配置文件

在core-site.xml 中添加

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

在 hdfs-site.xml 中添加

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
  </property>
  <property>
    <name>dfs.name.dir</name>
    <value>/usr/local/hadoop/hdfs/name</value>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
  </property>
  <!--副本的数量-->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
</configuration>

在 hadoop-env.sh 中更改 JAVA_HOME

注释掉：

export JAVA_HOME=${JAVA_HOME}

添加：

export JAVA_HOME=/usr/local/java/jdk1.8.0_181

修改slaves文件，添加如下信息：

vim /usr/local/Hadoop/etc/Hadoop/slaves

1.2 特殊配置

2.2.1 复制三台主机

2.2.2 设置静态ip地址

前言

Ubuntu 18.04不再使用ifupdown配置网络，而改用netplan。在/etc/network/interfaces配置固定IP是无效的，重启网络的命令services network restrart或/etc/init.d/networking restart也是无效的。

使用ifupdown配置网络

如果要使用之前的方式配置网络，需要重新安装ifupdown:

apt install ifupdown

修改配置文件/etc/network/interfaces:

vim /etc/network/interfaces

配置文件修改如下：

iface ens160 inet static
address 210.72.92.25
gateway 210.72.92.254
netmask 255.255.255.0
dns-nameservers 8.8.8.8

重启网络服务使配置生效

services network restrart

使用netplan配置网络

Ubuntu 18.04使用netplan配置网络，其配置文件是yaml格式的。安装好Ubuntu 18.04之后，在/etc/netplan/目录下默认的配置文件名是50-cloud-init.yaml，我们通过VIM修改它：

vim /etc/netplan/50-cloud-init.yaml

配置文件修改如下：

network:
  ethernets:
    ens160:
      addresses: [10.168.1.216/24]
      dhcp4: false
      gateway4: 10.168.1.254
  version: 2

无论是ifupdown还是netplan，配置的思路都是一致的，在配置文件里面按照规则填入IP、掩码、网关、DNS等信息。注意yaml是层次结构，需要缩进，冒号(:)表示字典，连字符(-)表示列表。

重启网络服务使配置生效：

netplan apply

2.2.3 配置hosts文件

vim /etc/hosts

添加master和slaves信息：

2.2.4 本地主机名配置

首先修改

vim /etc/cloud/cloud.cfg

将disable_root:false修改为true：

修改主机名：

vim /etc/hostname

将10.168.1.216主机名修改为master。

将其他机器也修改为对应的名称，重启所有服务器。

2.2.5 多服务器ssh免密码登陆

由于Hadoop启动以后，namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式（安装ssh，配置ssh远程连接过程略过。）。

所有服务器使用rsa算法生成秘钥和公钥对： ssh-keygen -t rsa

然后把master服务器中公钥加入到授权中：

cat ./id_rsa.pub >> ./authorized_keys

使用ssh localhost验证是否无密码登陆。

把slave服务器中的id_rsa.pub复制到master中：

scp .ssh/id_rsa.pub root@master:/

查看公钥是否复制成功：

将公钥添加到master的授权文件中：

cat /id_rsa.pub >> ~/.ssh/authorized_keys

重复上面步骤，直到所有的slave公钥都添加到了授权文件中。

将授权文件分发到每台服务器上：

scp ~/.ssh/authorized_keys username@hostname: ~/.ssh/authorized_keys

测试通过ssh相互之间登录：

ssh hostname

username：服务器用户名。
hostname：服务器主机名。

测试完毕重启服务器。

2.2.6 启动hadoop

在master服务器上格式化namenode节点：

hadoop namenode -format

启动hdfs

start-all.sh

查看相应的进程：

jps

master：

确定3个进程全部启动。

slave：

确定2个进程全部启动。

访问测试：

10.168.1.216:50070

1.3 添加datanode节点

配置一台新的slave机器，根据前面的步骤配置网络IP。

启动datanode服务：

hadoop-daemon.sh start datanode

启动nodemanager服务：

yarn-daemon.sh start nodemanager

如果需要在name节点启动的时候，同时也启动这台新加的data节点，那么需要根据特殊配置的步骤，修改hosts文件、服务器主机名、以及ssh免密登录等，才能通过name来启动data节点。

1.4 删除datanode节点

首先需要在hdfs-site.xml添加：

<property>
  <name>dfs.hosts.exclude</name>
  <value>/usr/local/hadoop/etc/hadoop/excludes</value>
</property>

然后在对应位置创建文件： vim /usr/local/hadoop/etc/hadoop/excludes 在文件中加入要删除的节点名称：

例如要删除的节点是slave03

在NameNode上刷新所有DataNode：

hdfs dfsadmin -refreshNodes    #刷新节点信息
start-balancer.sh              #同步节点的数据

如下图：表示与该节点已经断开了连接（因为hadoop心跳检测是10分钟，所以如果是data节点宕机，就会一直检测，直到超时）。

接下来就可以关闭data节点了：

关闭datanode服务：

hadoop-daemon.sh stop datanode

关闭nodemanager服务：

yarn-daemon.sh stop nodemanager