Hadoop快速入门——第二章、分布式集群（第二节、Hadoop分布式模式搭建）

红目香薰

发布于 2022-11-29 21:30:09

2540

发布于 2022-11-29 21:30:09

文章被收录于专栏：CSDNToQQCode

第二章、hadoop分布式集群

Hadoop分布式模式搭建流程：

1、修改配置文件

2、远程拷贝jdk、hadoop、hadoop-eco.sh

前置内容：

1、java环境

2、hadoop环境

配置【vi /etc/profile.d/hadoop-eco.sh】

JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
HADOOP_HOME=/opt/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

执行脚本【source /etc/profile.d/hadoop-eco.sh】

Hadoop分布式模式搭建流程：

1、修改配置文件

hadoop-env.sh
mapred-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves

1~3,添加或替换

export JAVA_HOME=/opt/jdk

4、配置【core-site.xml】

vi /opt/hadoop/etc/hadoop/core-site.xml

将【localhost】改为【master】

 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://master:9000</value>
  </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/soft/hadoop/data/tmp</value>
</property>

2、配置【hdfs-site.xml】

vi /opt/hadoop/etc/hadoop/hdfs-site.xml

	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

3、配置【mapred-site.xml】

vi /opt/hadoop/etc/hadoop/mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

4、配置【yarn-site.xml】

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

5、配置【slaves】文件

master
a1
a2

2、远程拷贝jdk、hadoop、hadoop-eco.sh

1、拷贝jdk

scp -r /opt/jdk a1:/opt/jdk

scp -r /opt/jdk a2:/opt/jdk

复制的比较慢，别急。

2、拷贝hadoop

scp -r /opt/hadoop a1:/opt/hadoop

scp -r /opt/hadoop a2:/opt/hadoop

3、拷贝hadoop-eco.sh

scp /etc/profile.d/hadoop-eco.sh a1:/etc/profile.d/hadoop-eco.sh
scp /etc/profile.d/hadoop-eco.sh a2:/etc/profile.d/hadoop-eco.sh

3、启动

关闭防火墙

三台机器分别关闭防火墙【systemctl stop firewalld】

禁止启动防火墙

三台机器分别禁用防火墙【systemctl disable firewalld】

格式化namenode

三台机器分别执行【source /etc/profile.d/hadoop-eco.sh】

主机master执行【hdfs namenode -format】

执行启动脚本

master执行：【start-all.sh】，过程中需要输入【yes】。

如果需要关闭：【stop-all.sh】

通过【jps】可以查看启动的服务

主机6个：

子机3个：

访问网页

http://192.168.52.131:50070/dfshealth.html#tab-datanode

配置文件下载地址：

https://download.csdn.net/download/feng8403000/85147346

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2022-04-15，如有侵权请联系 cloudcommunity@tencent.com 删除

bash

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度