hadoop集群知识小结
原创hadoop集群知识小结
原创
hadoop集群启动/停止方式总结
1 ） 各个模块分开启动/ 停止 （配置 ssh 是前提） 常用
（1）整体启动/停止 HDFS
[hadoop@hadoop102 sbin]$ ./start-dfs.sh
（2）整体启动/停止 YARN
[hadoop@hadoop103 sbin]$ ./start-yarn.sh
2 ） 各个服务组件逐一启动/ 停止
（1）分别启动/停止 HDFS 组件
（2）启动/停止 YARN
编写 Hadoop 集群常用脚本
1 ）Hadoop 集群启停脚本（包含 HDFS ，Yarn ，Historyserver ）：
切换到hadoop3.1.3的bin目录，然后创建文件myhadoop.sh
myhadoop.sh脚本如下：
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop 集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop 集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac 保存后退出，然后赋予脚本执行权限
chmod +x myhadoop.sh
测试myhadoop.sh
2 ）查看三台服务器 Java 进程脚本：jpsall
同样切换到切换到hadoop3.1.3的bin目录，然后创建文件jpsall.sh
#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
echo =============== $host ===============
ssh $host jps
done 保存后退出，然后赋予脚本执行权限
chmod +x jpsall.sh
测试jpsall.sh
3 ）分发/home/leokadia/bin 目录，保证自定义脚本在三台机器上都可以使用
xsync myhadoop.sh
xsync jpsall.sh
在hadoop103、104上测试下能否正常使用
hadoop集群知识小结：
1.常用端口号
hadoop3.x
HDFS NameNode 内部通信端口：8020/9000/9820
HDFS NameNode 对用户的查询端口：9870
Yarn查看任务运行情况的：8088
历史服务器：19888
hadoop2.x
HDFS NameNode 内部通信端口：8020/9000
HDFS NameNode 对用户的查询端口：50070
Yarn查看任务运行情况的：8088
历史服务器：19888
2.常用的配置
hadoop3.x
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
workers
hadoop2.x
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
slaves
【小结】
走到这一步，hadoop就算入门了。继续前进...
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。