Hadoop集群搭建和简单应用

这是小小本周的第一篇,我是小小,开更本周的第一篇,本篇将会介绍Hadoop集群的简单搭建和简单应用。

概念了解

主从结构:在一个集群众,会有部分节点充当主节点的角色,其他服务器都是从节点的角色,当前这种架构称之为主从结构。主从结构分类:

一主多从

多主多从Hadoop中的HDFS和YARN都是主从结构,各个角色的名称,以及主从结构的概念方式| 服务 | 主节点 | 从节点 ||------|------|----------||HDFS | NameNode | DataNode || YARN | ResourceManager | NodeManager |

集群服务器规划

使用四台Centos虚拟机进行集群搭建

安装

规划

规划安装用户:hadoop

规划安装目录:/home/hadoop/apps

规划数据目录:/home/hadoop/data

注:apps和data文件夹需要自己单独创建

上传解压缩

使用Hadoop用户

修改配置文件

配置文件目录:/home/hadoop/apps/hadoop-2.7.5/etc/hadoop

hadoop-env.sh

修改JAVA_HOME

core-site.xml

fs.defaultFS :这个属性用来指定namenode的hdfs协议的文件系统通信地址,可以指定一个主机+端口,也可以指定为一个namenode服务(这个服务内部可以有多台namenode实现ha的namenode服务

hdfs-site.xml

dfs.replication:hdfs的副本数设置。也就是上传一个文件,其分割为block块后,每个block的冗余副本个数,默认配置是3。

mapred-site.xml

yarn-site.xml

slaves

安装包分发给其他节点

配置环境变量

环境变量生效

查看Hadoop版本

在主节点上对Hadoop进行初始化

启动

启动HDFS

启动YARN

查看服务器进程

Hadoop1

Hadoop2

Hadoop3

Hadoop4

启动web界面

HDFS 界面

单击DataNodes 可以看到另外四个节点

Yarn 界面

简单使用

创建文件夹

在HDFS上创建一个文件夹/test/input

查看创建的文件夹

上传文件

创建一个文件为words.txt

上传文件

查看是否上传成功

下载文件

把刚刚上传的文件下载到/data文件夹中

查看是否下载成功

运行一个mapreduce的例子程序:wordcount

在yarn web 界面查看查看相关结果

结语

我是小小,本篇已经结束,我们下期再见。你若不在,我一直在,你若在,我将会一直在,我将会永远的等你,我还是那个小小。

-- 小小 做于 2020 年 09 月 20 日

小明菜市场

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200928A00HMC00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券