资源管理分析之--资源隔离技术

清明小长假,在家宅了几天,晃晃悠悠,今天才缓过来,同学都去哪里happy了,有没有碰到什么新鲜的事情可以分享下?

我最近在研究资源管理,今天聊聊资源管理管控方法:

系统的资源分为cpu,mem,io,net几大类,为了管理和分配好资源有很多方法。

首先说说重量级的虚拟化技术,虚拟化技术是当前非常热门的一门技术。比如主要面向桌面应用如云桌面,云主机,常见的分类是:

A、操作系统虚拟化——Vmware的vSphere、workstation;微软的Windows Server with Hyper-v、Virtual PC;IBM的Power VM、zVM;Citrix的Xen

B、应用程序虚拟化——微软的APP-V;Citrix的Xen APP等

C、桌面虚拟化——微软的MED-V、VDI;Citrix的Xen Desktop;Vmware的 Vmware view;IBM的Virtual Infrastructure Access等

上面这些技术是在计算机上模拟多个操作系统平台,也是常说的狭义理解的虚拟化技术。这些技术的特点都是讲一个大的资源分成小粒度的多个资源给应用使用,也是裂变的方式。

这些技术在大数据计算这种重载应用中,并不见得适合。在大数据计算中里面常见的资源管理系统典型的有Mesos,YARN以及google的Google Omega等。在这些系统中用到一项重要的技术:Linux Container(LXC)。Linux Container容器是一种内核虚拟化技术,可以提供轻量级的虚拟化,以便隔离进程和资源,而且不需要提供指令解释机制以及全虚拟化的其他复杂性。

Cgroups是control groups的缩写,是Linux内核提供的一种可以限制、记录、隔离进程组(process groups)所使用的物理资源(如:cpu,memory,IO等等)的机制。最初由google的工程师提出,后来被整合进Linux内核。Cgroups也是LXC为实现虚拟化所使用的资源管理手段,可以说没有cgroups就没有LXC。

CPU,mem相对好管理,在实际使用中,io和net管理比较麻烦,io和net本身衡量指标多,一个应用需要多少资源衡量起来比较困难,所以当前资源管理系统主要管理能力集中在cpu和mem。

好,今天就先介绍到这里,下一次分享资源调度分配算法。

谢谢大家。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-04-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏闰土大叔

vue菜鸟从业记:没准备好的面试,那叫尬聊

最近我的朋友王小闰参加了一场面试,在他填写简历表的时候,排在他前面的应聘者正在旁边邻桌接受来自面试官的检验。

1383
来自专栏Rainbond开源「容器云平台」

硅谷飘来五个字,SMACK

1443
来自专栏大数据杂谈

Conda:误解与迷思

翻译自:https://jakevdp.github.io/blog/2016/08/25/conda-myths-and-misconceptions/ 译者...

75310
来自专栏IT大咖说

Connecting People ---- 独乐乐 不如众乐乐

摘要 io游戏大致是指具有多人对抗+地图限制+死后即刻复活等为特点的休闲moba类竞技游戏,在近几年内发展迅速。 ? io&HTML5 HTML5这个领域在过去...

3467
来自专栏腾讯技术工程官方号的专栏

新一代企业级容器云平台GaiaStack:支持全类型应用

12月7-9日,由中国计算机学会主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、中科天玑数据科技股份有限公司、CSDN协办的2017中国大数据技术大...

1.2K3
来自专栏企鹅号快讯

从15000个Python开源项目中精选TOP30,GitHub平均star为3707,赶紧收藏!

参与 | SuiSui 继推出 2017年机器学习开源项目Top 30榜单 后,Mybridge AI又推出了一个Python开源项目Top 30榜单,包括开源...

2369
来自专栏安恒信息

云环境下Web应用防护解决之道

  随着越来越多的用户将传统的业务系统迁移至虚拟化环境或者一些云服务商提供的云平台中,而目前众多云平台企业关注的更多是基础实施的完善和业务的开展,对于安全层面的...

5447
来自专栏FreeBuf

小型互联网企业安全建设的管窥之见

最近发现大家都在讨论一个人的安全部这个话题,两年前在某A轮互联网公司(80人左右的研发团队)做过一段一个人的安全部的经验就简单分享自己的经验。之前也在FreeB...

1033
来自专栏携程技术中心

干货 | 携程容器云实践

作者简介 吴毅挺,携程系统研发部高级总监。2012年加入携程,从零组建携程云平台团队,目前负责携程私有云、虚拟桌面云、网站应用持续交付等研发。 一、在线旅游与弹...

5558
来自专栏DevOps时代的专栏

如何落地全球最大 Kubernetes 生产集群

JDOS 就是京东数据中心操作系统,随着数据中心规模不断的扩大,我们需要对数据中心做综合的考虑。所以一开始就先说数据中心的层面,大家知道数据中心里面有服务器、网...

1572

扫码关注云+社区