Hadoop完全分布式集群搭建

CoderJed

发布于 2018-09-13 10:55:48

8610

发布于 2018-09-13 10:55:48

文章被收录于专栏：Jed的技术阶梯Jed的技术阶梯

环境准备

服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为node01、node02、node03、node04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的) 关于虚拟机的安装可以参考以下两篇文章：在Windows中安装一台Linux虚拟机通过已有的虚拟机克隆四台虚拟机
给集群中的每个虚拟机都创建一个hadoop用户，并赋予sudoer权限参考： Linux用户管理常用命令 Linux给普通用户赋予sudoer权限
每台虚拟机都需安装JDK 参考在Linux中安装JDK
集群中的所有虚拟机可以两两之间免秘钥登录以及可以登录自身参考配置各台虚拟机之间免秘钥登录
集群中的所有虚拟机的时间同步参考Linux集群系统时间同步
hadoop安装包下载地址：https://mirrors.aliyun.com/apache/hadoop/common/ 我用的hadoop2.6.5

1. 集群规划

2. 安装步骤

(1) 把hadoop安装包上传到服务器并解压

tar zxvf hadoop-2.6.5.tar.gz -C /home/hadoop/apps/

(2) 修改 hadoop-env.sh、mapred-env.sh、yarn-env.sh 这三个配置文件，添加JAVA_HOME

hadoop的配置文件在HADOOP_HOME/etc/hadoop/下

export JAVA_HOME=/usr/local/jdk1.8.0_73

(3) 修改 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoopdata</value>
    </property>
</configuration>

(4) 修改 hdfs-site.xml

<configuration>
    <!--
        这两个配置用于指定namenode和datanode存放数据的位置
        如果不指定，数据会存放到core-site.xml中配hadoop.tmp.dir目录下
    -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoopdata/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoopdata/data</value>
    </property>
    <!--配置数据副本数，不要超过datanode节点数-->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <!--指定secondarynamenode所在节点-->
    <property>
        <name>dfs.secondary.http.address</name>
        <value>node02:50090</value>
    </property>
</configuration>

(5) 修改 mapred-site.xml

集群中只有mapred-site.xml.template，可以从这个文件进行复制

cp mapred-site.xml.template mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(6) 修改 yarn-site.xml

<configuration>
<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>node03</value>
</property>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
</configuration>

(7) 修改 slaves 配置文件，指定DataNode所在的节点

node02
node03
node04

(8) 把hadoop安装包分发给其他节点

[hadoop@node01 hadoop]# scp -r /home/hadoop/apps/hadoop-2.6.5 node02:/home/hadoop/apps/
[hadoop@node01 hadoop]# scp -r /home/hadoop/apps/hadoop-2.6.5 node03:/home/hadoop/apps/
[hadoop@node01 hadoop]# scp -r /home/hadoop/apps/hadoop-2.6.5 node04:/home/hadoop/apps/

(9) 给每个节点配置HADOOP_HOME环境变量

vim ~/.bash_profile

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

(10) 在namenode主节点(node01)上格式化文件系统

[hadoop@node01 ~]# hdfs namenode -format

看到以下信息说明格式化成功:

(11) 在namenode主节点(node01)上启动hdfs系统

[hadoop@node01 ~]# start-dfs.sh

(12) 在resourcemanager所在节点(node03)上启动yarn

[hadoop@node03 ~]# start -yarn.sh

3. 验证集群是否搭建成功

(1) 查看进程是否全部启动

[hadoop@node01 ~]# jps
4000 NameNode
4281 Jps

[hadoop@node02 ~]# jps
3442 SecondaryNameNode
3289 DataNode
3375 NodeManager
3647 Jps

[hadoop@node03 ~]# jps
2945 DataNode
3019 ResourceManager
3118 NodeManager
3919 Jps

[hadoop@node04 ~]# jps
2899 DataNode
2984 NodeManager
3149 Jps

(2) 访问WEB页面

(3) 执行hdfs命令或运行一个mapreduce程序测试

# 上传一个文件
[hadoop@node01 ~]# hdfs dfs -put ./install.log /
# 执行一个mapreduce例子程序
[hadoop@node01 mapreduce]# pwd
/home/hadoop/apps/hadoop-2.6.5/share/hadoop/mapreduce
[root@node02 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.5.jar pi 5 5

文件上传成功：