腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

小闫笔记

专栏作者

313

文章

483971

阅读量

56

订阅数

Hadoop学习笔记(四)之YARN

yarn node.js python rpc

之前，MapReduce 是 Master/Slave 结构，也就是集群中一个 Job Tracker 多个 Task Tracker 。 Job Tracker 负责资源管理和作业调度，Task Tracker 负责定期向 Job Tracker 报告节点的状态（节点死活，资源使用情况、任务执行情况）以及接收 Job Tracker 的命令来执行。不知你是否发现，问题就出现在这一个 Job Tracker 上，它挂掉，整个集群都完蛋。而且它由于负责了所有节点的RPC 请求，压力可想而知，也因此成为了节点规模扩大的瓶颈。最后一点便是集群仅支持 MapReduce，不支持其他计算框架。如果想使用 Spark 呢？对不起，再搭建一个集群，想使用 HBase 只能再搭建一个集群。这样的一堆集群既不好管理，又使得资源利用率极低（一段时间内这个集群忙，那个集群闲），同时跨集群的数据转移更是问题。于是乎，YARN 诞生了。更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』

小闫同学啊

2020-04-22

4200

rpc http django 编程算法 github

Nothing is so fatiguing as the eternal hanging on of an uncompleted task.

小闫同学啊

2019-07-18

1.5K0

rpc django github git 开源

度量是一种直观展示的方式，是管理的依据。当各种运动手环、各种步数记录软件出现时，人们才发现原来自己运动量这么少。通过排行榜上的对比才发现自己的懒惰。看到手机上完成5000步目标的提示，你很开心。当步数可以被测量之后，人们才对自己的健康做到更好的管理。

小闫同学啊

2019-07-18

1.6K0

rpc django socket编程

Adopt the pace of nature, her secret is patience.

小闫同学啊

2019-07-18

1.2K0

编程算法 rpc django

One's destination is never a place but rather a new way of looking at things.

小闫同学啊

2019-07-18

1.4K0

If you fear failure, you will never go anywhere.

小闫同学啊

2019-07-18

4300

rpc http 文件存储

The past has no power over the present moment.

小闫同学啊

2019-07-18

2.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态