Hadoop04【集群环境搭建】
因为伪分布式环境搭建没啥意义，所以我们直接来搭建hadoop的集群环境，
一、安装文件
1.下载文件
链接：https://pan.baidu.com/s/1OXiW1i3gD6fVvrFX7NXsJg 提取码：nyzk 下载内容包括源文件和编译的文件。
2.上传解压缩
文件上传在/root/apps/目录下.解压缩并重命名
在这里插入图片描述
在这里插入图片描述
进入hadoop目录中
在这里插入图片描述
目录结构介绍
目录 | 说明 |
|---|---|
bin | 自身的一些操作命令 |
etc | 配置文件在该目录下 |
include | c语言本地库的一些东邪 |
lib | 本地库 |
libexec | 目录下存放的是hadoop的配置脚本 |
sbin | 系统管理启动的命令 |
share | 文档和相关jar包 |
二、修改配置文件
hadoop配置文件存放在etc/hadoop文件夹下，
在这里插入图片描述
1.hadoop-env.sh
设置具体的jdk路径，路径需要写死，因为在集群环境中通过$JDK_HOME获取不到系统环境变量中的信息。
在这里插入图片描述
2.core-site.xml
指定NameNode的地址和hadoop运行时产生文件的存储目录。
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-node01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/apps/hadoop/hdfsdata</value>
</property>3.hdfs-site.xml
指定副本的存储个数，及secondaryNameNode的存储地址
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--指定secondaryNameNode的地址 -->
<property>
<name>dfs.secondary.http.address</name>
<value>hadoop-node01:50090</value>
</property>4.mapred-site.xml
首先需要将文件名称修改了。原文件名称为mapred-site.xml.template。指定MapReduce的资源调度方式为yarn。
在这里插入图片描述
在这里插入图片描述
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>5.yarn-site.xml
指定ResourceManager(yarn的老大)的地址和reduce获取数据的方式shuffle。
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-node01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>6.slaves
指定DataNode的地址。
在这里插入图片描述
三、内容分发
在hadoop-node01节点配置完成后，我们可以一次性将hadoop文件夹分发给其他几个节点。
scp -r hadoop hadoop-node02:/root/apps/
scp -r hadoop hadoop-node03:/root/apps/
scp -r hadoop hadoop-node04:/root/apps/
在这里插入图片描述
四、环境变量配置
配置hadoop的环境变量，便于操作。
export HADOOP_HOME=/root/apps/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
在这里插入图片描述
其他几个节点分发或者配置下
source /etc/profile五、HDFS格式化
只需要在NameNode的节点上面格式化一次就可以了
hadoop namenode -format
在这里插入图片描述
注意只需要格式一次，在nameNode上格式化。
在这里插入图片描述
六、启动hdfs
在hadoop-node01上执行
start-dfs.sh
在这里插入图片描述
其他节点jps查看启动情况
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
启动成功~
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019年04月01日，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
对象存储
对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。