智能、自动化是对系统孜孜不倦的追求,尤其是在资源调度这块。传统的YARN/MESOS有各种资源分配算法,如DRF,capacity scheduler,fair scheduler。这些调度算法聚焦在资源的匹配和分配上面。其中最大的问题设计思路是基于预留的思路,要求应用提出资源的需求,而在现实中往往是不现实的。不现实在两个方面:
关于智能资源调度方面,我早前写过一篇文章《智能调度 与 蚁群算法》,提的是设想通过蚁群算法来自动分配资源。最近看到stanford的一篇论文《Quasar: Resource-Efficient andQoS-Aware Cluster Management》,通过简单的分类算法就达到了job资源的预测和自动分配,解决了上面提到的2个资源分配的难题。
首先来看下Quasar的基本思路,基本过程对照上面的图,分下面几步:
再来看下Quasar达到的效果。
Quasar的规模也很小,6K行代码。新增一个应用大概需要几百行即可。
总的来说,Quasar这个是非常好的一个思路,是调度的未来发展方向,是非常值得研究和跟进的技术,有兴趣的同学,可以把论文下载下来好好读读。