资源管理分析之--资源隔离技术

清明小长假,在家宅了几天,晃晃悠悠,今天才缓过来,同学都去哪里happy了,有没有碰到什么新鲜的事情可以分享下?

我最近在研究资源管理,今天聊聊资源管理管控方法:

系统的资源分为cpu,mem,io,net几大类,为了管理和分配好资源有很多方法。

首先说说重量级的虚拟化技术,虚拟化技术是当前非常热门的一门技术。比如主要面向桌面应用如云桌面,云主机,常见的分类是:

A、操作系统虚拟化——Vmware的vSphere、workstation;微软的Windows Server with Hyper-v、Virtual PC;IBM的Power VM、zVM;Citrix的Xen

B、应用程序虚拟化——微软的APP-V;Citrix的Xen APP等

C、桌面虚拟化——微软的MED-V、VDI;Citrix的Xen Desktop;Vmware的 Vmware view;IBM的Virtual Infrastructure Access等

上面这些技术是在计算机上模拟多个操作系统平台,也是常说的狭义理解的虚拟化技术。这些技术的特点都是讲一个大的资源分成小粒度的多个资源给应用使用,也是裂变的方式。

这些技术在大数据计算这种重载应用中,并不见得适合。在大数据计算中里面常见的资源管理系统典型的有Mesos,YARN以及google的Google Omega等。在这些系统中用到一项重要的技术:Linux Container(LXC)。Linux Container容器是一种内核虚拟化技术,可以提供轻量级的虚拟化,以便隔离进程和资源,而且不需要提供指令解释机制以及全虚拟化的其他复杂性。

Cgroups是control groups的缩写,是Linux内核提供的一种可以限制、记录、隔离进程组(process groups)所使用的物理资源(如:cpu,memory,IO等等)的机制。最初由google的工程师提出,后来被整合进Linux内核。Cgroups也是LXC为实现虚拟化所使用的资源管理手段,可以说没有cgroups就没有LXC。

CPU,mem相对好管理,在实际使用中,io和net管理比较麻烦,io和net本身衡量指标多,一个应用需要多少资源衡量起来比较困难,所以当前资源管理系统主要管理能力集中在cpu和mem。

好,今天就先介绍到这里,下一次分享资源调度分配算法。

谢谢大家。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-04-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

十分钟看懂时序数据库(I)-存储

2017年时序数据库忽然火了起来。开年2月Facebook开源了beringei时序数据库;到了4月基于PostgreSQL打造的时序数据库TimeScaleD...

34011
来自专栏数据和云

经典文档:Oracle Database 12.2新特性概览解读下载

在2017 OOW大会上,关于Oracle Database 12.2 数据库的新特性介绍仍然引人瞩目,会后公布了 Oracle VP Swonger的文档,我...

2917
来自专栏斑斓

限界上下文的边界

边界通过限界上下文来确定,这在领域驱动设计中具有非凡的意义。对应于通用语言,限界上下文是语言的边界,对于领域模型,限界上下文是模型的边界,二者对应于问题空间(P...

3497
来自专栏美团技术团队

智能投放系统之场景分析最佳实践

背景 美团点评作为最大的生活服务互联网平台,需要针对数亿用户进行各种运营活动,而其线上存在超过千万的POI,覆盖超过2000城市、2.5万个后台商圈。在海量数据...

34212
来自专栏Laoqi's Linux运维专列

缓存技术PK:选择Memcached还是Redis?

4336
来自专栏EAWorld

无服务器架构中的日志处理

作者:Daniel Berman 译者:海松 原标题:Logging in a Serverless Architecture 无服务器架构中的日志处理会遇到诸...

2766
来自专栏皮振伟的专栏

[linux][memory]UKSM内存合并遇到的几个问题

前言: 使用uksm,遇到了几个问题。 分析: 1,RES top命令: ? 其中VIRT是进程使用的虚拟内存,RES就是要本段要讨论的内容。 分析top的...

3686
来自专栏云计算D1net

影响云计算性能因素剖析

如今出现了很多基于云计算技术的各种云服务,可是如何去衡量一个云服务的好与差,并没有很清晰的标准。其实,对于云服务,一定程度上是由云计算技术的性能所决定的。说到性...

2646
来自专栏前端架构

系统吞吐量、用户并发量、Tps与Qps的星际大战

最近一直被这两个名词困扰,查阅很多资料,对于Web应用而言,有的地方说Qps等同于Tps,也有的地方说Qps等同于并发数。

501
来自专栏熊二哥

NOSQL快速入门

NoSql是一个很老的概念了,但对自己来说,仍然是一个短板,果断补上。 ? 首先通过几个简单的例子来了解NOSQL在国内的情况(2013年左右的数据,有些过时...

1935

扫描关注云+社区