Hadoop——YARN资源调度
概述
Yet Another Resource Negotiator 通用的资源管理系统，为上层y'n
YARM架构
image.png
Client :向RM提交任务，杀死任务等 ResourceManager:集群中同一时刻对外提供服务的只有1个，负责资源相关的 ApplicationMaster:每个应用程序对应的一个AM,AM向RM申请资源用于在NM上启动对应的Task.数据切分，为每个task向RM申请资源Container。 NodeManager :启动和执行任务，向RM发送心跳信息，任务的执行情况，处理来自客户端的请求：提交 启动/监控AM 监控NM
配置文件
cd app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
vi mapred-site.xml<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>vi yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
~启动yarn
$cd app/hadoop-2.6.0-cdh5.7.0/sbin
$./start-yarn.sh
$ jps
27500 NodeManager
27389 ResourceManage界面浏览 http://{hostname}:8088/cluster
image.png
启动job
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /input/wc/hello.txt /output/wc/hello/
19/04/07 07:19:44 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
19/04/07 07:19:46 INFO input.FileInputFormat: Total input paths to process : 1
19/04/07 07:19:46 INFO mapreduce.JobSubmitter: number of splits:1查看结果
$ hadoop fs -ls /output/wc/hello/
19/07/12 08:25:45 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
-rw-r--r-- 1 hadoop supergroup 0 2019-07-12 08:22 /output/wc/hello/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 26 2019-07-12 08:22 /output/wc/hello/part-r-00000
$hadoop fs -text /output/wc/hello/part-r-00000本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019.07.13 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录