Hadoop-伪分布式模式搭建

伪分布式模式是在一台服务器上搭建,既有HDFS存储，也有MapReduce分析，基本上可以满足Hadoop这块的学习,后续小编的学习笔记都会以伪分布模式来讲解，今天主要是对Hadoop的伪分布式模式搭建，希望大家能够跟着这篇文章将环境搭建好。

与本地模式一样，需关闭防火墙，所需的软件,软件的上传和解压就不罗列了，可以查看《Hadoop-本地模式搭建》。现在直接从JDK的配置开始。

1.JDK和Hadoop环境变量搭建

vi~/.bash_profile

JAVA_HOME=/root/training/jdk

export JAVA_HOME

PATH=$JAVA_HOME/bin:$PAHT

export PATH

HADOOP_HOME=/root/training/hadoop

exportHADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

exportPATH

2.生效环境变量

[root@bigdata11 hadoop-2.7.3]. ~/.bash_profile或者source ~/.bash_profile

注意：若使用前面的语句 .和~中间有个空格。

3.配置hadoop-env.sh文件

在hadoop的文件下的etc文件夹下

vihadoop-env.sh

exportJAVA_HOME=/root/training/jdk

--上面和本地模式一样，下面是针对伪分布式模式，修改的文件均在：

[root@bigdata11 hadoop]# pwd

/root/training/hadoop-2.7.3/etc/hadoop

约定hadoop解压后的路径。

4.修改hdfs-site.xml

在中间添加：

dfs.replication

1

dfs.permissions

false

5.修改core-site.xml

在中间添加：

fs.defaultFS

hdfs://bigdata11:9000

/root/training/hadoop-2.7.3/tmp

6.修改mapred-site.xml

在中间添加：

yarn

7.修改yarn-site.xml

在中间添加：

bigdata11

mapreduce_shuffle

8.对NameNode进行格式化

hdfs namenode-format

9.测试验证

当前伪分布式环境，需要在hadoop环境来验证，需要创建hadoop文件

[root@bigdata11 ~]#hdfs dfs -mkdir /input

[root@bigdata11temp]# hdfs dfs -put data.txt /input

[root@bigdata11temp]# hdfs dfs -ls /input

进入：/root/training/hadoop-2.7.3/share/hadoop/mapreduce/

执行：hadoop jar hadoop-mapreduce-examples-2.7.3.jarwordcount /input/data.txt /output/wc1204

此篇文章主要是伪分布式环境的搭建,最后通过一个示例来验证hadoop环境，包括了HDFS存储和MapReduce分析，其中包括一部分的HDFS命令,后续会专门写一篇文章来讲解HDFS命令,大家可以先搭建环境,,如果大家学习的大数据知识超过文章的进度,可以留言在留言板，与小编一起学习讨论.

在公众号回复 3：获取最新的大数据学习路线，当前获取的大数据学习路线，还在完善中。