Hadoop环境的搭建

No.1 硬件配置

Centos 7 64位

IP：192.168.42.129

主机名：admin

安装用户：root/root

新建用户： hadoop/hadoop

创建用户：useradd -d /user/hadoop -m hadoop

用户密码：passwd hadoop

用useradd新增的用户不能直接用ssh远程访问，需要修改ssh相关配置，如下：

添加：

No.2 安装JDK

安装JDK1.7或者以上版本。这里以jdk1.7.0_79为例。

2.1、下载jdk-7u79-Linux-x64.gz，解压到/usr/Java/jdk1.7.0_79。

2.2、在/root/.bash_profile中添加如下配置：

2.3、使环境变量生效

2.4、安装验证

No.3 配置SSH无密码登陆

验证ssh

不需要输入密码即可登录。

No.4 安装Hadoop2.74.1、下载Hadoop2.7.14.2、解压安装

1）复制 Hadoop-2.7.1.tar.gz 到/usr/hadoop目录下并执行解压：

2）在/usr/hadoop/目录下，建立tmp、hdfs/name、hdfs/data目录

3）设置环境变量

4)，使环境变量生效

4.3，Hadoop配置

伪分布式安装：只有一个节点的集群，在这个集群中，这个节点既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker

1）配置hadoop-env.sh

2）配置yarn-env.sh

3）配置core-site.xml 添加如下配置：

4）配置hdfs-site.xml 添加如下配置

5）配置mapred-site.xml 添加如下配置：

6）配置yarn-site.xml 添加如下配置：

4.4、Hadoop启动

1）格式化namenode

2）启动NameNode 和 DataNode 守护进程

3）启动ResourceManager 和 NodeManager 守护进程

4.5、启动验证

执行jps命令，有如下进程，说明Hadoop正常启动

4.6、打开浏览器输入：

如果无法访问，则查看linux系统是否被防火墙拦截了。

·end·

- 如果喜欢，快分享给你的朋友们吧 -

我们一起愉快的玩耍吧