大数据centos7+hadoop2.7.1伪分布式集群虚拟机镜像

大数据学习hadoop环境安装过程布坑无数， 首先个人电脑配置不行，就挂一半了，虚拟机卡到不行；再者安装环境和hadoop、jdk版本切合十分紧密。安装过程比较耗时，网上千篇一律的安装教程，看似很有诚意，其实安装下来多多少少还是各种问题，搞不好一天都在安装这环境！

现在下载我的镜像，把ip地址改改，直接用，要加salve直接再克隆加个同局域网IP地址，master能无密码ssh即可，还请各位点赞加个关注！！！

直接挂载镜像开机即可，本地虚拟网卡ip地址改为192.168.6.1/24 网关改为192.168.6.2

链接：https://pan.baidu.com/s/1ZVcFPYmWZuFBlS4VMmmNEA 提取码：253z

在这里插入图片描述

启动Hadoop集群

格式化文件系统

格式化命令如下，该操作需要在HadoopMaster节点上执行：

[lyu@master ~]$ hdfs namenode -format

在这里插入图片描述

启动Hadoop

使用start-all.sh启动Hadoop集群，首先进入Hadoop安装主目录，然后执行启动命令：

[lyu@master ~]$ cd ~/hadoop-2.7.1

[lyu@master hadoop-2.7.1]$ sbin/start-all.sh

执行命令后，提示出入yes/no时，输入yes。

在这里插入图片描述

查看进程是否启动

在HadoopMaster的终端执行jps命令，在打印结果中会看到4个进程，分别是ResourceManager、Jps、NameNode和SecondaryNameNode，如下图所示。如果出现了这4个进程表示主节点进程启动成功。

[lyu@master hadoop-2.7.1]$ jps 65877 SecondaryNameNode 69698 Jps 66042 ResourceManager 65669 NameNode [lyu@master hadoop-2.7.1]$

在这里插入图片描述

再看看从节点 [lyu@slave ~]$ jps 73052 DataNode 77455 Jps 73176 NodeManager [lyu@slave ~]$

在这里插入图片描述

在HadoopSlave的终端执行jps命令，在打印结果中会看到3个进程，分别是NodeManager、DataNode和Jps，如下图所示。如果出现了这3个进程表示从节点进程启动成功。

Web UI查看集群是否成功启动

在HadoopMaster上启动Firefox浏览器，在浏览器地址栏中输入输入http://master:50070/，检查 namenode 和 datanode 是否正常。UI页面如下图所示。

在这里插入图片描述

在HadoopMaster上启动Firefox浏览器，在浏览器地址栏中输入输入http://master:18088/，检查 Yarn是否正常，页面如下图所示。

在这里插入图片描述

运行PI实例检查集群是否成功

进入Hadoop安装主目录，执行下面的命令：

[lyu@master~]$ hadoop jar ~/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 10 10

在这里插入图片描述

在这里插入图片描述

Job Finished in 27.266 seconds Estimated value of Pi is 3.20000000000000000000 [lyu@master hadoop-2.7.1]$

~~

成功！！

~~