首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

linux Page cache和buffer cache正解

Page cache和buffer cache一直以来是两个比较容易混淆的概念,在网上也有很多人在争辩和猜想这两个cache到底有什么区别,讨论到最后也一直没有一个统一和正确的结论,在我工作的这一段时间...,page cache和buffer cache的概念曾经困扰过我,但是仔细分析一下,这两个概念实际上非常的清晰。...当page cache的数据需要刷新时,page cache中的数据交给buffer cache,但是这种处理在2.6版本的内核之后就变的很简单了,没有真正意义上的cache操作。...简单说来,page cache用来缓存文件数据,buffer cache用来缓存磁盘数据。...从上面的分析可以看出,2.6内核中的buffer cache和page cache在处理上是保持一致的,但是存在概念上的差别,page cache针对文件的cache,buffer是针对磁盘块数据的cache

3K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Linux系统中的Page cache和Buffer cache

    Page cachelinux读写文件时,它用于缓存文件的逻辑内容,从而加快对磁盘上映像和数据的访问。...系统将磁盘块首先读入buffer cache,如果cache空间不够时,会通过一定的策略将一些过时或多次未被访问的buffer cache清空。...Buffer cache是由物理内存分配,Linux系统为提高内存使用率,会将空闲内存全分给buffer cache ,当其他程序需要更多内存时,系统会减少cache大小。...假设我们通过文件系统操作文件,那么文件将被缓存到Page Cache。 若需要刷新文件,Page Cache将交给Buffer Cache去完成,因为Buffer Cache就是缓存磁盘块的。...当page cache的数据需要刷新时,page cache中的数据交给buffer cache,但是这种处理在2.6版本的内核之后就变的很简单了,没有真正意义上的cache操作。

    1.9K20

    Linux系统中的Page cache和Buffer cache

    Page cachelinux读写文件时,它用于缓存文件的逻辑内容,从而加快对磁盘上映像和数据的访问。...系统将磁盘块首先读入buffer cache,如果cache空间不够时,会通过一定的策略将一些过时或多次未被访问的buffer cache清空。...Buffer cache是由物理内存分配,Linux系统为提高内存使用率,会将空闲内存全分给buffer cache ,当其他程序需要更多内存时,系统会减少cache大小。...假设我们通过文件系统操作文件,那么文件将被缓存到Page Cache。 若需要刷新文件,Page Cache将交给Buffer Cache去完成,因为Buffer Cache就是缓存磁盘块的。...当page cache的数据需要刷新时,page cache中的数据交给buffer cache,但是这种处理在2.6版本的内核之后就变的很简单了,没有真正意义上的cache操作。

    3K40

    【图解Linux内核】Page Cache

    认识Page Cache最简单的方式,就是用数据说话,通过具体的数据你会更加深入地理解Page Cache的本质。 为什么需要Page Cache,Page Cache的产生和回收是什么样的。...最好具备一些Linux编程的基础,比如,如何打开一个文件;如何读写一个文件;如何关闭一个文件等等。 什么是Page Cache? Page Cache到底是属于内核还是属于用户?...怎么观察Page CacheLinux上直接查看Page Cache的方式: /proc/meminfo free /proc/vmstat 命令 内容其实是一致的。...两边都有SwapCached,因为它也是Page Cache一部分。 因Buffers更依赖于内核实现,在不同内核版本它的含义可能不一,而等式右边和应用程序的关系更直接,分析等式右边。...如果不用内核管理的Page Cache,那有两种思路来进行处理: 应用程序维护自己的Cache做更加细粒度的控制,比如MySQL就是这样做的,MySQL Buffer Pool实现复杂度很高。

    5.7K10

    Linux-手动释放linux内存cache

    Cache 磁盘缓存的大小 -buffers/cache (已用)的内存数:used - buffers - cached +buffers/cache(可用)的内存数:free + buffers...+ cached 可用的memory=free memory+buffers+cached 当在Linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching...drop_caches 3 将/proc/sys/vm/drop_caches值设为3 ---- /proc/sys/vm/drop_caches用法 /proc/sys/vm/drop_caches (since Linux...但实际上,我们都知道这是因为Linux对内存的管理与Windows不同,free小并不是说内存不够用了,应该看的是free的第二行最后一个值:-/+ buffers/cache: 58 191,这才是系统可用的内存大小...我们看linux,只要不用swap的交换空间,就不用担心自己的内存太少。如果常常swap用很多,可能你就要考虑加物理内存了,这也是linux看内存是否够用的标准.

    5.8K20

    linux buffer cache的回收

    buffer和cache是两个在计算机技术中被用滥的名词,放在不通语境下会有不同的意义。在Linux的内存管理中,这里的buffer指Linux内存的:Buffer cache。...这里的cacheLinux内存中的:Page cache。翻译成中文可以叫做缓冲区缓存和页面缓存。...在当前的系统实现里,page cache也被作为其它文件类型的缓存设备来用,所以事实上page cache也负责了大部分的块设备文件的缓存工作。...如何回收cacheLinux内核会在内存将要耗尽的时候,触发内存回收的工作,以便释放出内存给急需内存的进程使用。一般情况下,这个操作中主要的内存释放都来自于对buffer/cache的释放。...slab分配器是内核中管理内存的一种机制,其中很多缓存数据实现都是用的pagecache。

    5.3K40

    linux cache介绍及控制

    参考文档 https://lonesysadmin.net/2013/12/22/better-linux-disk-caching-performance-vm-dirty_ratio/ 有关Cache...Linux内核将写磁盘的操作分解成了,先写缓存,每隔一段时间再异步地将缓存写入磁盘。这提升了IO读写的速度,但存在一定风险。数据没有及时写入磁盘,所以存在数据丢失的风险。...同样,也存在cache被写爆的情况。还可能出现一次性往磁盘写入过多数据,以致使系统卡顿。之所以卡顿,是因为系统认为,缓存太大用异步的方式来不及把它们都写进磁盘,于是切换到同步的方式写入。...情景1:减少Cache 你可以针对要做的事情,来制定一个合适的值。...情景2:增加Cache 在一些场景中增加Cache是有好处的。例如,数据不重要丢了也没关系,而且有程序重复地读写一个文件。允许更多的cache,你可以更多地在内存上进行读写,提高速度。

    2.3K21

    【图解Linux内核】Page Cache

    认识Page Cache最简单的方式,就是用数据说话,通过具体的数据你会更加深入地理解Page Cache的本质。 为什么需要Page Cache,Page Cache的产生和回收是什么样的。...最好具备一些Linux编程的基础,比如,如何打开一个文件;如何读写一个文件;如何关闭一个文件等等。 什么是Page Cache? Page Cache到底是属于内核还是属于用户?...怎么观察Page CacheLinux上直接查看Page Cache的方式: /proc/meminfo free /proc/vmstat 命令 内容其实是一致的。...两边都有SwapCached,因为它也是Page Cache一部分。 因Buffers更依赖于内核实现,在不同内核版本它的含义可能不一,而等式右边和应用程序的关系更直接,分析等式右边。...如果不用内核管理的Page Cache,那有两种思路来进行处理: 应用程序维护自己的Cache做更加细粒度的控制,比如MySQL就是这样做的,MySQL Buffer Pool实现复杂度很高。

    5.1K20

    Linux内核Page Cache和Buffer Cache关系及演化历史

    第一阶段:仅有Buffer CacheLinux-0.11版本的代码中,我们会看到,buffer cache是完全独立的实现,甚至都还没有基于page作为内存单元,而是以原始指针的系形式出现。...单元中写入数据 从上面file_read, file_write的实现来看,我们会看到 bread 返回目标buffer_head,让上层只操作buffer cache单元,而不再关心block底层。...的实现进行了融合,融合后的Buffer Cache不再以独立的形式存在,Buffer Cache的内容,直接存在于Page Cache中,同时,保留了对Buffer Cache的描述符单元:buffer_head...对于跨层的:File层面的Page Cache和裸设备Buffer Cache,虽然都统一到了基于Page的实现,但File的Page Cache和该文件对应的Block在裸设备层访问的Buffer Cache...Linux内核的文件Cache管理机制介绍 [9]. Linux内核文件Cache机制 [10].

    2.2K30

    Linux内核Page Cache和Buffer Cache关系及演化历史

    第一阶段:仅有Buffer CacheLinux-0.11版本的代码中,我们会看到,buffer cache是完全独立的实现,甚至都还没有基于page作为内存单元,而是以原始指针的系形式出现。...从上面file_read, file_write的实现来看,我们会看到bread返回目标buffer_head,让上层只操作buffer cache单元,而不再关心block底层。 ?...的实现进行了融合,融合后的Buffer Cache不再以独立的形式存在,Buffer Cache的内容,直接存在于Page Cache中,同时,保留了对Buffer Cache的描述符单元:buffer_head...对于跨层的:File层面的Page Cache和裸设备Buffer Cache,虽然都统一到了基于Page的实现,但File的Page Cache和该文件对应的Block在裸设备层访问的Buffer Cache...Linux内核的文件Cache管理机制介绍 [9]. Linux内核文件Cache机制 [10].

    3.9K71

    MySQL Query Cache实现原理

    MySQL的Query Cache实现原理实际上并不是特别复杂,简单来说就是将客户端请求的Query语句(仅限于SELECT类型的Query)通过一定的hash算法进行一个计算,得到一个hash值,存放在一个...hash桶中 同时将该Query的结果集(ResultSet)也存放在一个内存Cache中。...存放Query hash值的链表中每一个hash值所在节点的同时,还存放了该Query所对应的Result Set的Cache所在的内存地址,以及该Query涉及的所有Table的标识等一些其他相关信息...系统接受到任何一个SELECT类型的Query时,首先计算出其hash值,然后通过该hash值到Query Cache中去匹配,如果找到了完全相同的Query,则直接将之前所缓存(cache)的Result...Set返回给客户端,完全不须要进行后面的任何步骤即可完成这次请求 而后端的任何一个表的任何一条数据发生变化之后,也会通知Query Cache,须要将所有与该Table有关的Query的Cache全部失效

    1.2K110

    深入理解Linux 的Page Cache

    Page Cache 1.1 Page Cache 是什么? 为了理解 Page Cache,我们不妨先看一下 Linux 的文件 I/O 系统,如下图所示: Figure1....Linux 文件 I/O 系统 上图中,红色部分为 Page Cache。可见 Page Cache 的本质是由 Linux 内核管理的内存区域。...在 Linux 2.4 版本的内核之前,Page Cache 与 buffer cache 是完全分离的。...当前 Linux 下以两种方式实现文件一致性: Write Through(写穿):向用户层提供特定接口,应用程序可主动调用接口来保证文件一致性; Write back(写回):系统中存在定期任务(表现形式为内核线程...因此一些应用选择在用户空间实现自己的 page 管理,例如 MySQL InnoDB 存储引擎以 16KB 的页进行管理。

    3.6K30

    Linux内存、Swap、Cache、Buffer详细解析

    1、通过free命令看Linux内存 ? total:总内存大小。 used:已经使用的内存大小(这里面包含cached和buffers和shared部分)。 free:空闲的内存大小。...Cache主要是针对读操作设计的,不过Cache概念可能容易混淆,我理解为CPU本身就有Cache,包括一级缓存、二级缓存、三级缓存,我们知道CPU所有的指令操作对接的都是内存,而CPU的处理能力远高于内存速度...在Linux系统内部有一个守护进程会定期清空Buffer中的内容,将其写入硬盘内,当手动执行sync命令时也会触发上述操作。...3、常见症状 症状一:在Linux中频繁存取文件,物理内存很快用光,而cached一直在增长。...解释:Linux会对每次请求过的数据缓存在cache里,好处就是CPU的处理速度远远高于内存,所以在CPU和内存通讯的时候可以快速从cache中命中结果返回。 症状二:Swap被占用。

    3.3K20

    通过FastCGI Cache实现服务降级

    因为历史包袱重,所以完全废弃以前的架构显得并不现实,解决方案最好能够尽可能透明,不能对原有架构造成冲击,最终我选择了通过FastCGI Cache实现服务降级的方案。...代码里用到的都是Nginx缺省包含的功能,我们可以看作是一个通用版,不过对照我们架构图中的目标就会发现:它没有实现全局激活缓存的功能。如何实现呢?...,如此一来,PHP-FPM一旦判断系统处于异常情况,那么可以直接返回304实现缓存续期。...… 通过FastCGI Cache实现服务降级,这是一个完美的方案么?非也!它甚至有些丑陋,比如说多台服务器时,会导致大量冗余的缓存,此外磁盘IO也需要注意。...稍后我会考虑使用Memcached,加上一致性哈希来替换FastCGI Cache实现一个相对完美的服务降级方案。

    54510

    Linux free命令:buffer 与 cache 区别

    Linux free命令查询剩余可用内存的最常用命令,其中 buffer 与 cache 有何区别呢?...米扑博客,专门总结了一篇博客《Linux free命令:buffer 与 cache 区别》,分享到CSDN 更多经典技术博客,请见我的米扑博客:https://blog.mimvp.com free...,一般系统不会用到,这里也不讨论 buffers1:系统分配但未被使用的buffers 数量 cached1:系统分配但未被使用的cache 数量 -/+buffers/cache used2:实际使用的...buffers 与cache 总量,也是实际使用的内存总量。...2) cache 缓存 cache经常被用在磁盘的I/O请求上,如果有多个进程都要访问某个文件,于是该文件便被做成cache以方便下次被访问,这样可提供系统性能。

    2.8K100
    领券