Hadoop集群搭建和简单应用

这是小小本周的第一篇，我是小小，开更本周的第一篇，本篇将会介绍Hadoop集群的简单搭建和简单应用。

概念了解

主从结构：在一个集群众，会有部分节点充当主节点的角色，其他服务器都是从节点的角色，当前这种架构称之为主从结构。主从结构分类：

一主多从

多主多从Hadoop中的HDFS和YARN都是主从结构，各个角色的名称，以及主从结构的概念方式| 服务 | 主节点 | 从节点 ||------|------|----------||HDFS | NameNode | DataNode || YARN | ResourceManager | NodeManager |

集群服务器规划

使用四台Centos虚拟机进行集群搭建

安装

规划

规划安装用户：hadoop

规划安装目录：/home/hadoop/apps

规划数据目录：/home/hadoop/data

注：apps和data文件夹需要自己单独创建

上传解压缩

使用Hadoop用户

修改配置文件

配置文件目录：/home/hadoop/apps/hadoop-2.7.5/etc/hadoop

hadoop-env.sh

修改JAVA_HOME

core-site.xml

fs.defaultFS ：这个属性用来指定namenode的hdfs协议的文件系统通信地址，可以指定一个主机+端口，也可以指定为一个namenode服务（这个服务内部可以有多台namenode实现ha的namenode服务

hdfs-site.xml

dfs.replication：hdfs的副本数设置。也就是上传一个文件，其分割为block块后，每个block的冗余副本个数，默认配置是3。

mapred-site.xml

yarn-site.xml

slaves

安装包分发给其他节点

配置环境变量

环境变量生效

查看Hadoop版本

在主节点上对Hadoop进行初始化

启动

启动HDFS

启动YARN

查看服务器进程

Hadoop1

Hadoop2

Hadoop3

Hadoop4

启动web界面

HDFS 界面

单击DataNodes 可以看到另外四个节点

Yarn 界面

简单使用

创建文件夹

在HDFS上创建一个文件夹/test/input

查看创建的文件夹

上传文件

创建一个文件为words.txt

上传文件

查看是否上传成功

下载文件

把刚刚上传的文件下载到/data文件夹中

查看是否下载成功

运行一个mapreduce的例子程序：wordcount

在yarn web 界面查看查看相关结果

结语

我是小小，本篇已经结束，我们下期再见。你若不在，我一直在，你若在，我将会一直在，我将会永远的等你，我还是那个小小。

-- 小小 做于 2020 年 09 月 20 日

小明菜市场