浅谈资源管理技术的未来发展之路

关于资源管理业界主要框架,大家可以看我前面的文章。资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析。业界当前最典型的就是YARN和MESOS,各自有支持者。

YARN和MESOS基本原理和框架类似,都是二层调度的思路,将集群的资源统一拿出来单独管理,在框架的本身上在构建应用,应用负责任务的创建,调度,框架本身负责资源的分配。可以说当前资源管理框架主要做到了两个基本点:

1、分:集群资源统一管理,根据应用进行分配。YARN上有从hadoop 1.0继承过来的Fair Scheduler和Capacity Scheduler,Mesos采用DRF算法。

2、管:不管是YARN还是MESOS都是采用LXC的container技术,隔离技术上并不成熟,工业应用上存在很多问题,尤其是内存,应用请求内存存在peak,很难从头到尾分配一个固定的内存给应用。

在资源隔离技术上,开源上在持续完善和发力,如YARN在不断完善内存/CPU的隔离技术,并公布了IO隔离方面的下一步涉及。IO资源分为磁盘IO和网络IO两种。目前YARN已经在这两方面展开工作,初步的设计文档已经发布,具体可参考:https://issues.apache.org/jira/browse/YARN-2139 和https://issues.apache.org/jira/browse/YARN-2140。

但是资源管理框架的假设前提是,各个应用是清楚自己应该占用多少资源,并且资源占用之后在整个生命周期内都最好不变,在工业应用中,这个是非常不现实的。

所以未来资源管理除了在隔离技术上突破之外,应该还要关注:

1、完善资源使用收集反馈机制,资源分配出去之后,使用率怎么样?效果怎么样?应该有一个收集反馈机制。

2、资源分配策略智能学习能力,结合收集反馈的信息,可以动态调整资源分配调度策略,具有自主学习决策的能力。

3、异构集群的管理能力,当前资源管理平台,主要聚焦在同构平台,异构平台在工业界是一个非常现实的问题,老机器还要发挥余热,新机器要充分挖掘性能潜力,就同时存在新老并存的场面。资源管理框架应该要能抽象异构平台,进行统一管理和分配,合理调度任务的运行。

只有完善了上面的能力,资源管理框架未来大有可为。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-09-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

R语言为Hadoop集群数据统计分析带来革命性变化

R作为开源的数据统计分析语言正潜移默化的在企业中扩大自己的影响力。特有的扩展插件可提供免费扩展,并且允许R语言引擎运行在Hadoop集群之上。 R语言是主要...

2857
来自专栏Albert陈凯

《Hadoop大数据技术体系:原理、内幕与项目实践》课程体系

《Hadoop大数据技术体系:原理、内幕与项目实践》课程体系 课程特色: 本课程以 “互联网日志分析系统”这一大数据应用案例为主线,依次介绍相关的大数据技...

3555
来自专栏Danny的专栏

【Hadoop学习笔记】——Hadoop基础

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

793
来自专栏钱塘大数据

【钱塘号】一图简述大数据技术生态圈

下面是一张生态图,主要的组件都是为了方便大家从底层的MapReduce模型中脱离出来,用高层语言来做分布式计算,下文将分别为你作简述。 ?   1、HBase ...

4246
来自专栏杨建荣的学习笔记

浅谈Hadoop (r4笔记第81天)

大数据的概念炒了好多年了,很显然这项技术经受住了时间的考验,不是有些人想的那样华而不实,多年来总是伴随着Hadoop的身影越发壮大。 这些年来数据的增长量真是发...

3426
来自专栏钱塘大数据

一图简述大数据技术生态圈

1、HBase   是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化数据集群。像Face...

2858
来自专栏祝威廉

为什么说Spark SQL远远超越了MPP SQLSpark SQL 成为了一种跨越领域的交互形态

这里说的并不是性能,因为我没尝试对比过(下文会有简单的说明),而是尝试从某种更高一层次的的角度去看,为什么Spark SQL 是远远超越MPP SQL的。

461
来自专栏CDA数据分析师

嫌弃Hadoop?可能是你的打开方式有问题

原作者 Andrew Brust 编译 CDA 编译团队 本文为 CDA 数据分析师原创作品,转载需授权 关于 Hadoop 所谓的消亡,以及它跌落神坛的报...

1869
来自专栏Golang语言社区

小米数据工场的技术架构和小团队如何玩转大数据

本文是WOT2016互联网运维与开发者大会的现场干货, 新一届主题为WOT2016企业安全技术峰会将在2016年6月24日-25日于北京珠三角JW万豪酒店隆重...

3445
来自专栏大数据和云计算技术

大数据和云计算技术周报(第34期):NoSQL特辑

写在第34期 到底什么是NoSQL?公众号一系列前菜,大家可以看看: NoSQL 还是 SQL ?这一篇讲清楚 新数仓系列:Hbase周边生态梳理(1) 新数仓...

2927

扫码关注云+社区