《Yarn的使用教程》--- 大数据系列
一、Yarn简介：
YARN主要是将资源管理和作业监控拆分成了两个独立的服务： 1. ApplicationMaster:每个应用程序特有的，负责单个应用程序的管理。 2. ResourceManager:一个全局的资源管理器，负责整个系统的资源管理和分配。
Yarn原理图
上图解析：ResourceManager和NodeManager设计源自于数据计算框架。ResourceManager主要负责资源调度，而NodeManager是监控每一个台客户机器的cpu，内存，硬盘和网络状况，同时汇报给ResourceManager。
主要概念介绍完了，如果想看更多可移步官网
二、Yarn的安装和使用
前提：Hadoop已经安装完成，可参考安装教程
进入hadoop根目录，然后配置，基本上是MapReduce和yarn之间连接的配置：
vi etc/hadoop/mapred-site.xml填入下面的配置：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property></configuration>接着
vi etc/hadoop/yarn-site.xml填入下面的配置：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property></configuration>启动
$ sbin/start-yarn.sh验证
http://localhost:8088/停止
$ sbin/stop-yarn.sh提交一个MapReduce作业命令：
hadoop jar /root/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar到此Yarn搭建完成了。
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2018-08-02，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录