浅谈资源管理技术的未来发展之路

关于资源管理业界主要框架,大家可以看我前面的文章。资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析。业界当前最典型的就是YARN和MESOS,各自有支持者。

YARN和MESOS基本原理和框架类似,都是二层调度的思路,将集群的资源统一拿出来单独管理,在框架的本身上在构建应用,应用负责任务的创建,调度,框架本身负责资源的分配。可以说当前资源管理框架主要做到了两个基本点:

1、分:集群资源统一管理,根据应用进行分配。YARN上有从hadoop 1.0继承过来的Fair Scheduler和Capacity Scheduler,Mesos采用DRF算法。

2、管:不管是YARN还是MESOS都是采用LXC的container技术,隔离技术上并不成熟,工业应用上存在很多问题,尤其是内存,应用请求内存存在peak,很难从头到尾分配一个固定的内存给应用。

在资源隔离技术上,开源上在持续完善和发力,如YARN在不断完善内存/CPU的隔离技术,并公布了IO隔离方面的下一步涉及。IO资源分为磁盘IO和网络IO两种。目前YARN已经在这两方面展开工作,初步的设计文档已经发布,具体可参考:https://issues.apache.org/jira/browse/YARN-2139 和https://issues.apache.org/jira/browse/YARN-2140。

但是资源管理框架的假设前提是,各个应用是清楚自己应该占用多少资源,并且资源占用之后在整个生命周期内都最好不变,在工业应用中,这个是非常不现实的。

所以未来资源管理除了在隔离技术上突破之外,应该还要关注:

1、完善资源使用收集反馈机制,资源分配出去之后,使用率怎么样?效果怎么样?应该有一个收集反馈机制。

2、资源分配策略智能学习能力,结合收集反馈的信息,可以动态调整资源分配调度策略,具有自主学习决策的能力。

3、异构集群的管理能力,当前资源管理平台,主要聚焦在同构平台,异构平台在工业界是一个非常现实的问题,老机器还要发挥余热,新机器要充分挖掘性能潜力,就同时存在新老并存的场面。资源管理框架应该要能抽象异构平台,进行统一管理和分配,合理调度任务的运行。

只有完善了上面的能力,资源管理框架未来大有可为。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-09-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏用户2442861的专栏

浅谈Storm流式处理框架

http://blog.csdn.net/fanyun_01/article/details/50921678

592
来自专栏大数据文摘

数据科学工具包(万余字介绍几百种工具,经典收藏版!)

23211
来自专栏顶级程序员

全球100款大数据工具汇总

来源:网络 ? 1、 Talend Open Studio 是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载...

3596
来自专栏华章科技

经典收藏丨数据科学家&大数据技术人员工具包

本文简介:数据科学家的常用工具与基本思路,数据分析师和数据科学家使用的工具综合概述,包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种,几十个大...

842
来自专栏喵了个咪的博客空间

[喵咪大数据]初识大数据

大数据互联网时代下大家耳熟能详的名词,但是我们离大数据有多远呢?从2011Hadoop1.0问世到现在,渐渐地大数据解决方案已经趋向成熟,笔者觉得也是时间来学习...

31210
来自专栏华章科技

【收藏】全球100款大数据工具汇总

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次,...

571
来自专栏java工会

大数据主要学什么,学习大数据你要会什么

920
来自专栏about云

企业该如何构建大数据平台【技术角度】

问题导读 1.作为一个技术人员,你认为该如何搭建大数据平台? 2.构建大数据平台,你认为包括哪些步骤? 3.本文是如何构建大数据平台的? 亲身参与,作...

3579
来自专栏钱塘大数据

【干货】全球100款大数据工具汇总,入行必备

1、 Talend Open Studio 是第一家针对数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商...

77115
来自专栏钱塘大数据

大数据技术人员必备工具包,为工作提质增效

本文作者:秦陇纪 ? 本文简介:数据科学家的常用工具与基本思路,数据分析师和数据科学家使用的工具综合概述,包括开源的技术平台相关工具、挖掘分析处理工具、其它常见...

3775

扫码关注云+社区