浅谈资源管理技术的未来发展之路

关于资源管理业界主要框架,大家可以看我前面的文章。资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析。业界当前最典型的就是YARN和MESOS,各自有支持者。

YARN和MESOS基本原理和框架类似,都是二层调度的思路,将集群的资源统一拿出来单独管理,在框架的本身上在构建应用,应用负责任务的创建,调度,框架本身负责资源的分配。可以说当前资源管理框架主要做到了两个基本点:

1、分:集群资源统一管理,根据应用进行分配。YARN上有从hadoop 1.0继承过来的Fair Scheduler和Capacity Scheduler,Mesos采用DRF算法。

2、管:不管是YARN还是MESOS都是采用LXC的container技术,隔离技术上并不成熟,工业应用上存在很多问题,尤其是内存,应用请求内存存在peak,很难从头到尾分配一个固定的内存给应用。

在资源隔离技术上,开源上在持续完善和发力,如YARN在不断完善内存/CPU的隔离技术,并公布了IO隔离方面的下一步涉及。IO资源分为磁盘IO和网络IO两种。目前YARN已经在这两方面展开工作,初步的设计文档已经发布,具体可参考:https://issues.apache.org/jira/browse/YARN-2139 和https://issues.apache.org/jira/browse/YARN-2140。

但是资源管理框架的假设前提是,各个应用是清楚自己应该占用多少资源,并且资源占用之后在整个生命周期内都最好不变,在工业应用中,这个是非常不现实的。

所以未来资源管理除了在隔离技术上突破之外,应该还要关注:

1、完善资源使用收集反馈机制,资源分配出去之后,使用率怎么样?效果怎么样?应该有一个收集反馈机制。

2、资源分配策略智能学习能力,结合收集反馈的信息,可以动态调整资源分配调度策略,具有自主学习决策的能力。

3、异构集群的管理能力,当前资源管理平台,主要聚焦在同构平台,异构平台在工业界是一个非常现实的问题,老机器还要发挥余热,新机器要充分挖掘性能潜力,就同时存在新老并存的场面。资源管理框架应该要能抽象异构平台,进行统一管理和分配,合理调度任务的运行。

只有完善了上面的能力,资源管理框架未来大有可为。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-09-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java工会

Java程序员如何学习架构

1994
来自专栏大数据和云计算技术

mesa介绍:google 近实时数据仓库系统

Google最近发表了一篇有关大数据系统的论文,讨论了一个名为Mesa的数据仓库系统,它能处理近实时数据,即使在整个数据中心断线后还能正常工作。 Mesa是一个...

2867
来自专栏Java架构

激情的4月,微服务将进入2.0时代,你们准备好了么?1. 微服务之殇2. 另辟蹊径3. 服务网格

1685
来自专栏小狼的世界

Google SRE 读书笔记 扒一扒SRE用的那些工具

最近花了一点时间阅读了《SRE Goolge运维解密》这本书,对于书的内容大家可以看看豆瓣上的介绍。总体而言,这本书是首次比较系统的披露Google内部SRE运...

742
来自专栏Hadoop数据仓库

HAWQ取代传统数仓实践(十九)——OLAP

一、OLAP简介 1. 概念         OLAP是英文是On-Line Analytical Processing的缩写,意为联机分析处理。此概念最早由关...

3325
来自专栏CSDN技术头条

大数据架构的未来

作者:Matt Kalan 原文:The Future of Big Data Architecture 译者:孙薇 本文讲述了大数据的相关问题,以及“大数据架...

1937
来自专栏风火数据

你可能不知道大数据开发的10个技巧

“当你不创造东西时,你只会根据自己的感觉而不是能力去看待问题。” – WhyTheLuckyStiff

943

云数据服务蜂拥而至...好难选呀

(译者补充:随着每个云提供商都提供了数十种数据服务,为您的需求选择合适的云数据服务比以往任何时候都更重要,更不用说为了省钱了。这文章就是教你如何选择适合自己的服...

1759
来自专栏企鹅号快讯

Hulu大数据架构与应用经验

内容来源:2017年8月12日,Hulu大数据架构部门负责人董西成在“网易博学实践日:大数据与人工智能技术大会”进行《Hulu大数据架构与应用经验》演讲分享。I...

2905
来自专栏原创

如何打造100亿SDK累计覆盖量的大数据系统

作为推送行业领导者,截止目前个推SDK累计安装覆盖量达100亿(含海外),接入应用超过43万,独立终端覆盖超过10亿 (含海外)。个推系统每天会产生大量的日志和...

3569

扫描关注云+社区