Hadoop完全分布式搭建

一、介绍

Hadoop2.0中,2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制,Quorum Journal Node(JournalNode)集群或者Nnetwork File System(NFS)进行共享。NFS是操作系统层面的,JournalNode是hadoop层面的,我们这里使用JournalNode集群进行数据共享(这也是主流的做法)。如下图所示,便是JournalNode的架构图。

两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了。

对于HA集群而言,确保同一时刻只有一个NameNode处于active状态是至关重要的。否则,两个NameNode的数据状态就会产生分歧,可能丢失数据,或者产生错误的结果。为了保证这点,这就需要利用使用ZooKeeper了。首先HDFS集群中的两个NameNode都在ZooKeeper中注册,当active状态的NameNode出故障时,ZooKeeper能检测到这种情况,它就会自动把standby状态的NameNode切换为active状态。

二、配置

1、准备环境

这里搭建一个5台服务器的集群,当然最低三台也可以搭建。

1.主机角色分配

以下为每台服务器的角色分配,可以根据自己的服务器数量进行调整。

1>hadoop01

Zookeeper、NameNode、DFSZKFailoverController、ResourceManager。

2>hadoop02

Zookeeper、NameNode2、DFSZKFailoverController。

3>hadoop03

Zookeeper、DataNode、NodeManager、JournalNode。

4>hadoop04

Zookeeper、DataNode、NodeManager、JournalNode。

5>hadoop05

Zookeeper、DataNode、NodeManager、JournalNode。

2.关闭防火墙

一般的生产环境不需要系统自带的防火墙,如果没有外置的防火墙也可以开启,但是要将通信的端口等在防火墙中允许通过。这里为了实验的简单,就直接将防火墙关闭。

3.配置主机名

修改文件 /etc/sysconfig/network

!!!!!注意安装hadoop的集群主机名不能有下划线!!不然会找不到主机!无法启动!

经过上面的修改,主机名称不会马上改变,必须重启才能生效。所以可以使用如下命令进行立即更改:

4.配置hosts

修改文件 /etc/hosts

填入以下内容

以上两部操作是为了实现ip的解耦,如果你在多个框架服务里全部填写的是ip那么,一旦你服务器的ip发生改变,那么每个服务框架都需要修改ip,如果你设置的是主机名,那么当你的服务器ip发生改变,只需要修改hosts文件中,主机名和ip的映射关系即可。

5.配置免密登录

集群中所有主机都要互相进行免密登录。

生成密钥:

发送公钥:

此时在远程主机的/root/.ssh/authorized_keys文件中保存了公钥,在known_hosts中保存了已知主机信息,当再次访问的时候就不需要输入密码了。

通过此命令远程连接,检验是否可以不需密码连接。

这里需要注意的是一定要给本机也发送一下。

6.安装jdk

1>解压安装

通过fz将jdk安装包上传、解压安装包,命令如下:

2>配置环境变量

修改/etc/profile。

这个文件是每个用户登录时都会运行的环境变量设置,当用户第一次登录时,该文件被执行。并从/etc/profile.d目录的配置文件中搜集shell的设置。

在文件行尾加入以下内容后保存退出。

3>重新加载

重新加载profile使配置生效。

环境变量配置完成,测试环境变量是否生效。

7.搭建Zookeeper集群

参见:https://my.oschina.net/u/3754001/blog/1802140

2、配置hadoop

1.解压

将安装包上传到服务器,进行解压。

2.修改配置

以下文件均为Hadoop完全分布式需要配置的文件。此配置按照上述的5台服务器组件的集群。

1>hadoop-env.sh

在此文件中,将java的环境变量改为和/etc/profile文件中的java环境变量值一致即可。

2>core-site.xml

以下为此文件的配置模版。

3>hdfs-site.xml

4>mapredu-site.xml

5>yarn-site.xml

这里我们将hadoop03、hadoop04、hadoop05配置为存储数据的节点。

3.环境变量

配置文件/etc/profile:

在其末尾追加如下内容:

4.其他服务器

使用scp命令将配置文件拷贝到其他服务器上。

这里要注意,如果其他服务器的jdk,Zookeeper等配置和当前这台服务器的配置是一样的话,直接拷贝过去不用修改。

三、启动

启动完全分布式hadoop:

1、启动zk集群

2、启动jn集群

1.格式化zkfc

第一次启动要格式化

2.格式化hdfs

第一次启动要格式化

3、启动NameNode

在hadoop01上:

在hadoop02上:

4、启动DataNode

5、启动yarn

6、启动ZKFC

在hadoop01

在hadoop02

7、启动之后

启动完成之后,使用jps命令查看各台服务器,进程如下:

hadoop01:

hadoop02:

hadoop03:

hadoop04:

hadoop05:

至此整个集群搭建完成,可以正常使用!

公众号推荐:

公众号:VOA英语每日一听

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180429B07PGS00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券