腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

个人分享

专栏作者

238

文章

255438

阅读量

42

订阅数

Spark on Yarn年度知识整理

spark yarn 大数据分布式

Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。

2018-09-06

1.2K0

Spark on Yarn 架构解析

spark 容器 yarn node.js 任务调度

我们都知道yarn重构根本的思想，是将原有的JobTracker的两个主要功能资源管理器和任务调度监控分离成单独的组件。新的架构使用全局管理所有应用程序的计算资源分配。主要包含三个组件ResourceManager 、NodeManager和ApplicationMaster以及一个核心概念Container.

2018-09-06

1.3K0

Hadoop系统架构

hadoop yarn node.js mapreduce rpc

步骤1　用户向YARN 中提交应用程序，其中包括ApplicationMaster 程序、启动ApplicationMaster 的命令、用户程序等。

2018-09-06

1.9K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态