Linux吃掉了我的内存

在Windows下资源管理器查看内存使用的情况,如果使用率达到80%以上,再运行大程序就能感觉到系统不流畅了,因为在内存紧缺的情况下使用交换分区,频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查看Linux系统内存使用情况时,会发现内存使用一直处于较高的水平,即使此时系统并没有运行多少软件。这正是Windows和Linux在内存管理上的区别,乍一看,Linux系统吃掉我们的内存(Linux ate my ram),但其实这也正是其内存管理的特点。

free命令介绍

下面为使用free命令查看我们实验室文件服务器内存得到的结果,-m选项表示使用MB为单位:

输出的第二行表示系统内存的使用情况:

Mem: total(总量)= 3920MB,

used(已使用)= 1938MB,

free(空闲)= 1982MB,

shared(共享内存)= 0MB,

buffers = 497MB,

cached = 1235MB

注:前面四项都比较好理解,buffer 和 cache找不到合适的词来翻译,它们的区别在于:

  • A buffer is something that has yet to be “written” to disk.
  • A cache is something that has been “read” from the disk and stored for later use.

即buffer用于存放要输出到磁盘的数据,而cache是从磁盘读出存放到内存中待今后使用的数据。它们的引入均是为了提供IO的性能。

输出的第三行表示在第二行的基础上-/+ buffers/cache得到的:

– buffers/cache used = Mem used – buffers – cached = 1938MB – 497MB – 1235MB = 205MB

+ buffers/cache free = Mem free + buffers + cached = 1982MB + 497MB + 1235MB = 3714MB

输出的第三行表示交换分区使用的情况:

Swap:total(总量)= 4095MB

used(使用)= 0MB

free(空闲)= 4095MB

由于系统当前内存还比较充足,并未使用到交换分区。

上面输出的结果比较难理解的可能是第三行,为什么要向用户展示这行数据呢?内存使用量减去系统buffer/cached的内存表示何意呢?系统空闲内存加上buffer/cached的内存又表示何意?

内存的分类

我们把内存分为三类,从用户和操作系统的角度对其使用情况有不同的称呼:

Memory that isYou’d call itLinux calls ittaken by applicationsUsedUsedavailable for applications, and used for somethingFreeUsednot used for anythingFreeFree

上表中something代表的正是free命令中”buffers/cached”的内存,由于这块内存从操作系统的角度确实被使用,但如果用户要使用,这块内存是可以很快被回收被用户程序使用,因此从用户角度这块内存应划为空闲状态。

再次回到free命令输出的结果,第三行输出的结果应该就能理解了,这行的数字表示从用户角度看系统内存的使用情况。因此,如果你用top或者free命令查看系统的内存还剩多少,其实你应该将空闲内存加上buffer/cached的内存,那才是实际系统空闲的内存。

buffers/cached好处

Linux

内存管理做了很多精心的设计,除了对dentry进行缓存(用于VFS,加速文件路径名到inode的转换),还采取了两种主要Cache方式:Buffer Cache和Page Cache,目的就是为了提升磁盘IO的性能。从低速的块设备上读取数据会暂时保存在内存中,即使数据在当时已经不再需要了,但在应用程序下一次访问该数据时,它可以从内存中直接读取,从而绕开低速的块设备,从而提高系统的整体性能。

而Linux会充分利用这些空闲的内存,设计思想是内存空闲还不如拿来多缓存一些数据,等下次程序再次访问这些数据速度就快了,而如果程序要使用内存而系统中内存又不足时,这时不是使用交换分区,而是快速回收部分缓存,将它们留给用户程序使用。

因此,可以看出,buffers/cached真是百益而无一害,真正的坏处可能让用户产生一种错觉——Linux耗内存!其实不然,Linux并没有吃掉你的内存,只要还未使用到交换分区,你的内存所剩无几时,你应该感到庆幸,因为Linux缓存了大量的数据,也许下一次你就从中受益!

实验证明

下面通过实验来验证上面的结论:

我们先后读入一个大文件,比较两次读入的实践:

1.首先生成一个1G的大文件

2.清空缓存

3.读入这个文件,测试消耗的时间

4.再次读入该文件,测试消耗的时间

从上面看出,第一次读这个1G的文件大约耗时18s,而第二次再次读的时候,只耗时0.3s,足足提升60倍!

参考资料:

https://groups.google.com/forum/#!topic/shlug/Dvc-ciKGt7s/discussion 实验室师兄以前提出”cp命令占用双倍内存问题”,在SLUG上的讨论,正是这个疑惑一直在我心中

http://www.linuxatemyram.com/ 前两天在Hacker News看到”Linux ate my ram”这个网页,写的通俗易懂,也顺藤摸瓜解决心中很多疑惑

http://www.linuxatemyram.com/play.html 作者给出了其他的实验来分别验证磁盘cache对程序分配、交换分区、程序加载时间等的影响

http://www.cnblogs.com/coldplayerest/archive/2010/02/20/1669949.html 一篇对free命令介绍的博客

来源:海林(@海风林影 )

链接:http://www.cnblogs.com/hazir/p/linux_ate_my_ram.html

原文链接:http://www.cnblogs.com/hazir/p/linux_ate_my_ram.html

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏三木的博客

Linux基础知识总结

###一:什么是Linux? Linux被称为类Unix操作系统,遵循POSIX标准。Linux与Unix的最大不同在于源代码的开放性和自由性。 Linux的发...

27890
来自专栏Android群英传

Android NDK层发起HTTP请求的问题及解决

11620
来自专栏大数据和云计算技术

常见Linux调优命令和工具

引言: 应同学的要求,分享些基础的知识。 没有比Linux更基础了,关键问题来了,你真的认真看了和转发了吗? O(∩_∩)O哈哈~ 要实现对Linux的调优,就...

91690
来自专栏IT可乐

Linux系列教程(三)——Linux学习技巧

  前面我们讲了Linux系统的详细安装教程,大家跟着教程一步一步的操作,应该能完美的完成安装。那么这篇博客跟大家聊聊如何来学习Linux。 1、工欲善其事必先...

28670
来自专栏流柯技术学院

接口测试之webservice

Web service是一个平台独立的,低耦合的,自包含的、基于可编程的web的应用程序,可使用开放的XML(标准通用标记语言下的一个子集)标准来描述、发布、发...

51730
来自专栏网站漏洞修补

开源程序的网站漏洞检测对获取管理员密码漏洞如何修复

PbootCMS是网站常用的一款CMS系统,是由国内著名程序开发商翔云科技研发的一套网站CMS系统,免费开源,扩展性较高,使用的企业很多但是避免不了网站存在漏洞...

23940
来自专栏北京马哥教育

Linux内存被吃掉了,它去哪里了?

在Windows下资源管理器查看内存使用的情况,如果使用率达到80%以上,再运行大程序就能感觉到系统不流畅了,因为在内存紧缺的情况下使用交换分区,频繁地从磁盘上...

15330
来自专栏北京马哥教育

Python 中的进程、线程、协程、同步、异步、回调

进程和线程究竟是什么东西?传统网络服务模型是如何工作的?协程和线程的关系和区别有哪些?IO过程在什么时间发生? 在刚刚结束的 PyCon2014 上海站,来自七...

52650
来自专栏达观数据

达观数据基于RequireJS的前端模块化设计

伴随着互联网的飞速发展,web中对于前端的要求越来越高,前端的代码的代码量、复杂度与日俱增,带来了诸如前端代码复用率低,难维护等问题。针对这些现有问题,达观科技...

28350
来自专栏unlike

用paxos实现多副本日志系统--multi paxos部分

上篇 basic paxos : https://cloud.tencent.com/developer/article/1147420

47480

扫码关注云+社区

领取腾讯云代金券