hadoop-3.2.0------>入门十三 完全分布式群起集群

配置hadoop集群启动脚本

1、进入hadoop根目录下的etc/hadoop中

2、vi workers（3.0之后）

vi salves（2.0之后）

注意：3.0之后的版本是修改 workers，2.0的版本是修改salves

3、分发到其他节点

xync workers

4、启动dfs（在hadoop01上启动）

sbin/start-dfs.sh

5、启动报错如下

6、 在hadoop根目录的 /sbin路径下： 将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数

命令：

vi sbin/start-dfs.sh 
vi sbin/stop-dfs.sh

添加配置

HDFS_DATANODE_USER=root 
HDFS_DATANODE_SECURE_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

7、查看所有机器节点是否启动

命令：jps

8、启动yarn（在hadoop02上启动，因为 ResourceManager 配置在hadoop02上，yarn运行在 ResourceManager 上）

命令：

sbin/start-yarn.sh

9、看到如下报错：

10、 start-yarn.sh，stop-yarn.sh顶部添加以下 代码（只需在hadoop02上配置，因为只有hadoop02上配置了yarn）

命令：

vi sbin/start-yarn.sh
vi sbin/stop-yarn.sh

配置：

#!/usr/bin/env bash

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

11、再次启动并查看

命令：jps

测试集群

1、上传文件到集群

a、上传一个小文件

命令：

创建文件夹：hdfs dfs -mkdir -p /user/root/input

hdfs dfs：固定写法

-mkdir：创建文件夹

-p：多级目录

/user/root/input：目录地址

在hadoop解压根目录下创建文件夹：mkdir testinput

在testinput中创建文件test：

上传至dfs的input文件夹中：bin/hdfs dfs -put testinput/test /user/root/input

bin/hdfs dfs：固定写法

-put：上传

testinput/test：文件路径及文件名

/user/root/input：上传至hdfs服务器中的文件夹路径

b、上传一个大文件

上传至dfs的input文件夹中：bin/hdfs dfs -put /usr/local/hadoop/hadoop-3.2.0.tar.gz /user/root/input

集群关闭

1、各个组件启动/关闭

a、启动/停止hdfs组件

hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode

b、启动/停止yarn

yarn-daemon.sh start/stop resourcemanager/nodemanager

2、各个模块分开启动/停止(前提配置ssh)

a、整体启动/停止hdfs

start-dfs.sh/stop-dfs.sh

b、整体启动/停止yarn

start-yarn.sh/stop-yarn.sh