hadoop集群环境搭建

1 介绍

1.1 系统版本介绍

此文档编写使用的系统为ubuntu-18.04.1-live-server-amd64.iso版本。

1.2 软件版本介绍

软件

版本

jdk

jdk-8u181-linux-x64.tar.gz

hadoop

hadoop-2.7.7.tar.gz

1.3 ubuntu集群服务器

主机名

IP地址

服务

Master

10.168.1.216

ResourceManager、SecondaryNameNode、NameNode

slave01

10.168.1.217

NodeManager、DataNode

slave02

10.168.1.218

NodeManager、DataNode

slave03

10.168.1.219

NodeManager、DataNode

1.4 说明

本文档安装jdk和ssh略过。

2 安装hadoop集群

2.1 全局配置

2.1.1 解压hadoop

创建一个hadoop的文件夹,用户存放hadoop文件

mkdir /usr/local/hadoop

通过ftp工具把下载好的hadoop安装包上传到hadoop文件夹下。 解压:

cd /usr/local/hadoop
tar -vxzf hadoop-2.7.7.tar.gz

解压完成:

移动hadoop-2.7.7文件下的文件到当前的目录

mv ./hadoop-2.7.7/* ./

删除hadoop-2.7.7文件夹

rm -rf ./hadoop-2.7.7

查看文件夹的所有者以及用户组,最重要的是拥有者是否是当前用户

如果拥有者不是当前用户,则修改为当前用户:

chown -R 当前用户名 ./hadoop

2.1.2 配置hadoop

设置环境变量:

vim /etc/profile

在末尾添加:

JAVA_HOME=/usr/local/java/jdk1.8.0_181
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export PATH
export HADOOP_HOME

重新加载环境变量的配置文件: source /etc/profile

检测: hadoop version

2.1.3 修改配置文件

在core-site.xml 中添加

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

在 hdfs-site.xml 中添加

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
  </property>
  <property>
    <name>dfs.name.dir</name>
    <value>/usr/local/hadoop/hdfs/name</value>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
  </property>
  <!--副本的数量-->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
</configuration>

hadoop-env.sh 中更改 JAVA_HOME

注释掉:

export JAVA_HOME=${JAVA_HOME}

添加:

export JAVA_HOME=/usr/local/java/jdk1.8.0_181

修改slaves文件,添加如下信息:

vim /usr/local/Hadoop/etc/Hadoop/slaves

1.2 特殊配置

2.2.1 复制三台主机

2.2.2 设置静态ip地址

前言

Ubuntu 18.04不再使用ifupdown配置网络,而改用netplan。在/etc/network/interfaces配置固定IP是无效的,重启网络的命令services network restrart/etc/init.d/networking restart也是无效的。

使用ifupdown配置网络

如果要使用之前的方式配置网络,需要重新安装ifupdown:

apt install ifupdown

修改配置文件/etc/network/interfaces:

vim /etc/network/interfaces

配置文件修改如下:

iface ens160 inet static
address 210.72.92.25
gateway 210.72.92.254
netmask 255.255.255.0
dns-nameservers 8.8.8.8

重启网络服务使配置生效

services network restrart

使用netplan配置网络

Ubuntu 18.04使用netplan配置网络,其配置文件是yaml格式的。安装好Ubuntu 18.04之后,在/etc/netplan/目录下默认的配置文件名是50-cloud-init.yaml,我们通过VIM修改它:

vim /etc/netplan/50-cloud-init.yaml

配置文件修改如下:

network:
  ethernets:
    ens160:
      addresses: [10.168.1.216/24]
      dhcp4: false
      gateway4: 10.168.1.254
  version: 2

无论是ifupdown还是netplan,配置的思路都是一致的,在配置文件里面按照规则填入IP、掩码、网关、DNS等信息。注意yaml是层次结构,需要缩进,冒号(:)表示字典,连字符(-)表示列表。

重启网络服务使配置生效:

netplan apply

2.2.3 配置hosts文件

vim /etc/hosts

添加master和slaves信息:

2.2.4 本地主机名配置

首先修改

vim /etc/cloud/cloud.cfg

disable_root:false修改为true

修改主机名:

vim /etc/hostname

将10.168.1.216主机名修改为master。

将其他机器也修改为对应的名称,重启所有服务器。

2.2.5 多服务器ssh免密码登陆

由于Hadoop启动以后,namenode是通过SSH(Secure Shell)来启动和停止各个节点上的各种守护进程的,这就需要在节点之间执行指令的时候是不需要输入密码的方式,故我们需要配置SSH使用无密码公钥认证的方式(安装ssh,配置ssh远程连接过程略过。)

所有服务器使用rsa算法生成秘钥和公钥对: ssh-keygen -t rsa

然后把master服务器中公钥加入到授权中:

cat ./id_rsa.pub >> ./authorized_keys

使用ssh localhost验证是否无密码登陆。

把slave服务器中的id_rsa.pub复制到master中:

scp .ssh/id_rsa.pub root@master:/

查看公钥是否复制成功:

将公钥添加到master的授权文件中:

cat /id_rsa.pub >> ~/.ssh/authorized_keys

重复上面步骤,直到所有的slave公钥都添加到了授权文件中。

将授权文件分发到每台服务器上:

scp ~/.ssh/authorized_keys username@hostname: ~/.ssh/authorized_keys

测试通过ssh相互之间登录:

ssh hostname

username:服务器用户名。
hostname:服务器主机名。

测试完毕重启服务器。

2.2.6 启动hadoop

在master服务器上格式化namenode节点:

hadoop namenode -format

启动hdfs

start-all.sh

查看相应的进程:

jps

master:

确定3个进程全部启动。

slave:

确定2个进程全部启动。

访问测试:

10.168.1.216:50070

1.3 添加datanode节点

配置一台新的slave机器,根据前面的步骤配置网络IP。

启动datanode服务:

hadoop-daemon.sh start datanode

启动nodemanager服务:

yarn-daemon.sh start nodemanager

如果需要在name节点启动的时候,同时也启动这台新加的data节点,那么需要根据特殊配置的步骤,修改hosts文件、服务器主机名、以及ssh免密登录等,才能通过name来启动data节点。

1.4 删除datanode节点

首先需要在hdfs-site.xml添加:

<property>
  <name>dfs.hosts.exclude</name>
  <value>/usr/local/hadoop/etc/hadoop/excludes</value>
</property>

然后在对应位置创建文件: vim /usr/local/hadoop/etc/hadoop/excludes 在文件中加入要删除的节点名称:

例如要删除的节点是slave03

在NameNode上刷新所有DataNode:

hdfs dfsadmin -refreshNodes    #刷新节点信息
start-balancer.sh              #同步节点的数据

如下图:表示与该节点已经断开了连接(因为hadoop心跳检测是10分钟,所以如果是data节点宕机,就会一直检测,直到超时)。

接下来就可以关闭data节点了:

关闭datanode服务:

hadoop-daemon.sh stop datanode

关闭nodemanager服务:

yarn-daemon.sh stop nodemanager

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券