Loading [MathJax]/jax/input/TeX/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >为什么PostgreSQL抛弃了LRU算法而使用时钟扫描?

为什么PostgreSQL抛弃了LRU算法而使用时钟扫描?

作者头像
数据库架构之美
发布于 2020-02-19 03:48:22
发布于 2020-02-19 03:48:22
2.3K0
举报

我们知道LRU(Least Recently Used)最近最少使用算法被广泛运用于操作系统及数据库的内存淘汰机制上,比如mysql的缓冲区页面置换算法就是使用LRU。当然还有lfu(最不经常使用算法)和fifo(先进先出算法)。下面先来看看lru算法。

LRU算法

通过下面的图来说明一下置换过程:

我们可以使用双向链表来将页面串联起来,使用双向链表而不是单向链表的原因是双向链表在进行页面淘汰后可以反向更改页面指针,指向相邻页面。

再看看上面的过程,页面4,7,0被相继读入缓冲区,第四步页面需要访问页面7,然后就会去遍历该链表,发现找到了7号页面,而且此时页面没有全部用满,那么将页面7提到表头(通过更改双向链表的指针指向实现),然后页面1被读到缓冲区,然后读取页面0,遍历链表找到了页面0并将页面0提到表头,其他步骤类似,再看看置换,比如最后一步,读取页面6,遍历链表后发现页面6没有找到,此时缓冲区已满,这时需要从缓冲区中置换掉链表最尾部(最近最少使用)的页面4进行淘汰,并且把页面6放在表头。

Clock算法

下面先来说说clock算法的过程。Clock算法为每页设置一位访问标识usage_tag,内存中的所有页面以链表的形式组成一个环形队列。当某页被访问时,其访问标识u就被置1。

Clock在需要进行页面淘汰时会循环地扫描环形队列的页面,如果发现页面访问位u=0,就选择该页换出;若u=1,则重新将它置0,这样该页面本次就不会被换出,有了第二次驻留内存的机会,再继续检查下一个页面。当检查到队列中的最后一个页面时,若其访问位仍为1,则再返回到队首去检查第一个页面,本轮检查就一定有u=0的页面了,然后会将第一个u=0的页面换出。

Clock算法实现起来更简单,性能也接近LRU,在clock的基础上又有改进的clock算法。

改进的clock算法

改进的clock算法是在clock算法的基础上再增加一个一个修改位modify_tag,标识该页面是否被修改。为什么增加修改位m呢,因为被修改的页面(也称为脏页)如果被替换出去必须要先强制刷盘,所以我们的原则是尽量优先替换未被修改过的页面。所以改进的clock算法页面替换原则顺序如下:

①先替换最近未被访问,也未被修改的页(u=0, m=0)。

②再替换最近被访问,但未被修改的页(u=1, m=0)。

③再替换最近未被访问,但被修改的页(u=0, m=1)。

④最后替换最近被访问,被修改的页(u=1, m=1)。

PostgreSQL中的clock算法

PG作为学术派数据库在改进的时钟扫描算法上又做了进一步创新,将usage_tag从一个布尔值的标识位改为usage_count的数值位,u代表了该页面被使用的次数,而不再是是否被使用。通过下面这个图看看PG的时钟扫描算法过程。当然pg缓冲区的三层结构不再介绍了,毕竟不是研发人员,了解下原理就行。

①受害者指针指向第一个描述符(buffer_id=1),发现它的状态是pinned(被钉住m=1,可以理解为modify_tag=1),故跳过该描述符。 ②受害者指针指向第二个描述符(buffer_id=2),发现此描述符的状态是unpinned(未被钉住m=0)但其usage_count为2,此时将usage_count减1,受害者指针继续前进。 ③受害者指针指向第三个描述符(buffer_id=3),状态描述符为unpinned(m=0),而且usage_count=0,所以该描述符被选为本轮的受害者进行替换。

从上面的过程可以看出,每当循环扫描缓冲区时,如果存在未被修改的页面,该页面的usage_count就会减少1。所以,如果缓冲池中存在未被修改的页面时,此算法始终可以通过若干次扫描找到usage_count=0的页面。

PG中的时钟扫描算法相比两标识位的时钟扫描更加精细,相当于为每个最近被使用的页面增加了权重,使用越频繁越不容易被替换出去,更加符合真实的场景。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-02-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据库架构 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
PostgreSQL技术大讲堂 - 第23讲:缓冲区管理器
PostgreSQL从小白到专家,是从入门逐渐能力提升的一个系列教程,内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容,希望对热爱PG、学习PG的同学们有帮助,欢迎持续关注CUUG PG技术大讲堂。
用户5892232
2023/07/20
4530
PostgreSQL技术大讲堂 - 第23讲:缓冲区管理器
4-1.页面置换算法
① 判断置换算法好坏的标准: 具有较低的页面置换频率。 ② 内存抖动: 页面的频繁更换,导致整个系统效率急剧下降,这个现象称为内存抖动。 一、最佳置换算法 1.作用 其所选择的被淘汰页,
见贤思齊
2020/08/05
3.8K0
4-1.页面置换算法
页面置换算法
操作系统将内存按照页的进行管理,在需要的时候才把进程相应的部分调入内存。当产生缺页中断时,需要选择一个页面写入。如果要换出的页面在内存中被修改过,变成了“脏”页面,那就需要先写会到磁盘。页面置换算法,就是要选出最合适的一个页面,使得置换的效率最高。页面置换算法有很多,简单介绍几个,重点介绍比较重要的LRU及其实现算法。
233333
2019/05/25
2.7K0
【操作系统不挂科】逐步骤详解——>四种页面置换算法例题<LPU最近最久未使用&OPT最优&FIFO先进先出&CLOCK时钟置换算法>
YY的秘密代码小屋
2024/12/01
6470
【操作系统不挂科】逐步骤详解——>四种页面置换算法例题<LPU最近最久未使用&OPT最优&FIFO先进先出&CLOCK时钟置换算法>
页面置换算法
  在进程运行过程中,若其所要访问的页面不在内存而需把它们调入内存,但内存中已无空闲空间时,为了保证该进程能正常运行, 系统必须从内存中调出一页程序或数据到磁盘的对换区中。但应将哪个页面调出,需根据一定的算法来实现。   常见的页面置换算法有: 1. 最佳置换算法(Optimal) 从内存中移除永远都不再需要的页面或者说是未来最长时间内不再被访问的页面,如果这样的页面存在,则选择最长时间不需要访问的页面。采用最佳置换算法,可以保证较低的页面更新频率。从理论上讲,由于无法预知哪一个页面是未来最长时间内不再
Mister24
2018/05/14
2.7K0
操作系统之存储管理
说明: 在左边的单处理器系统中,如果一个进程想要运行,那么必须将进程地址空间装载到物理内存中才可以运行。 而右边的是多处理器系统中有多个进程需要进入物理内存执行,这里要解决的问题就是,如何将进程地址空间合理的装载到物理内存中,如何合理的分配使用内存,使得每个进程能正确执行。
JavaEdge
2018/05/16
3.5K0
操作系统之存储管理
[操作系统]内存页面置换算法
五种页面置换算法: 1)最佳置换算法(OPT) 2)先进先出算法(FIFO) 3)最近最少使用算法(LRU) 4)时钟置换算法(CLOCK) 5)改进型的时钟置换算法
唯一Chat
2021/01/05
1.4K0
深入理解【缺页中断】及FIFO、LRU、OPT这三种置换算法
缺页中断(英语:Page fault,又名硬错误、硬中断、分页错误、寻页缺失、缺页中断、页故障等)指的是当软件试图访问已映射在虚拟地址空间中,但是目前并未被加载在物理内存中的一个分页时,由中央处理器的内存管理单元所发出的中断。
sunsky
2020/08/20
22.8K0
Postgresql内部缓存与OS缓存的关系
mysql通常使用odirect使数据绕过OS缓冲区落盘,wal还是使用系统缓冲。这样数据的写盘不会造成系统刷脏抖动。在pgsql中数据是与OS缓冲绑定的,自己没有做字节对齐,也不使用odirect的方式直写设备,社区对数据直写的态度也一直很悲观,原因是之前也做过很多探索,结果都不是很好:
mingjie
2022/05/12
5540
Postgresql内部缓存与OS缓存的关系
图文详解: 操作系统之内存管理 ( 内存模型,虚拟内存,MMU, TLB,页面置换算法,分段等)
每个程序拥有自己的地址空间,这个地址空间被分割成多个块,每一块称为一页 (Page, 4KB)。
一个会写诗的程序员
2021/12/16
2.1K0
图文详解: 操作系统之内存管理 ( 内存模型,虚拟内存,MMU, TLB,页面置换算法,分段等)
ucore-lab3
这时就需要缺页处理程序来处理,cpu会把产生异常的线性地址存储到lab2里提到过的cr2寄存器中,并且把页访问异常的错误码存放在中断栈中。
Heeler-Deer
2023/02/22
5500
ucore-lab3
3.2.3页面置换算法
进程运行时,若其访问的页面不在内存而徐将其调入,但内存已无空闲时间时,就需要从内存中调出一页程序或数据,送入磁盘的对换区。 而选择调入页面的算法就称为页面置换算法。好的页面置换算法应有较低的页面更换频率,也就是说,应将以后不会再访问或者较长时间不会再访问的页面先调出。
week
2018/08/27
1.9K0
页面调度算法模拟
模拟实现的算法:FIFO,Optimal(最佳置换),LRU,Clock,改进的Clock算法 一、先入先出(FIFO): 最简单的页面置换算法是先入先出(FIFO)法。这种算法的实质是,总是选择在主存中停留时间最长(即最老)的一页置换,即先进入内存的页,先退出内存。理由是:最早调入内存的页,其不再被使用的可能性比刚调入内存的可能性大。建立一个FIFO队列,收容所有在内存中的页。被置换页面总是在队列头上进行。当一个页面被放入内存时,就把它插在队尾上。 这种算法只是在按线性顺序访问地址空间时才是理想的,否则
欠扁的小篮子
2018/04/11
1.7K0
DBA面试题:MySQL缓存池LRU算法做了哪些改进?
MySQL的InnoDb Buffer Pool 缓冲池是主内存中的一个区域,用来缓存InnoDB在访问表和索引时的数据。对于频繁使用的数据可以直接从内存中访问,从而加快处理速度。如果一台服务器专用作MySQL数据库使用时,通常将70%~80%(具体看总内存大小而定)的物理内存空间分配给缓冲池。
俊才
2024/03/21
2270
DBA面试题:MySQL缓存池LRU算法做了哪些改进?
缓冲区管理器:解读年度数据库PostgreSQL
PostgreSQL 已获得 DB-Engines 排行榜 2017 年和2018年的“年度数据库”称号,发展如此迅猛,它究竟有什么内幕呢?接下来,我们将选择PostgreSQL重要的子系统之一缓冲区管理器展开介绍,探讨它的工作原理。
用户1682855
2019/06/03
1.4K0
内存:你跑慢点行不行?CPU:跑慢点你养我吗?内存:我不管!
主存(RAM) 是一件非常重要的资源,必须要认真对待内存。虽然目前大多数内存的增长速度要比 IBM 7094 要快的多,但是,程序大小的增长要比内存的增长还快很多。不管存储器有多大,程序大小的增长速度比内存容量的增长速度要快的多。下面我们就来探讨一下操作系统是如何创建内存并管理他们的。
cxuan
2020/03/16
1.1K0
内存:你跑慢点行不行?CPU:跑慢点你养我吗?内存:我不管!
cache 淘汰算法:LIRS 算法
本文介绍了LIRS算法在缓存替换策略上的优化研究和实现。通过将缓存替换策略与页面访问模式进行关联,LIRS能够有效地提高内存访问速度,减少内存开销。同时,本文还针对传统LRU算法的局限性,提出了相应的解决方案。
钱坤
2017/08/21
8K3
cache 淘汰算法:LIRS 算法
漫谈虚拟内存
如上图,程序1、程序2、程序3装入到内存,而程序2运行完成被换出,内存空闲出20k,然后进来程序4,大小为25K,此时,只有两处空闲块,10K和20K,没有一处是符合条件的,应该怎么办?一个明显的办法就是将两块空闲区域进行合并,形成一个大小为30K的空闲块满足程序4。
木可大大
2018/04/03
5.2K6
漫谈虚拟内存
【操作系统不挂科】<内存管理-虚拟内存(17)>选择题&简答题&简答题(带答案与解析)
A.要求作业运行前,必须全部装入内存,且在运行中必须常驻内存 B.要求作业运行前,不必全部装入内存,且在运行中不必全部常驻内存 C.要求作业运行前,不必全部装入内存,但在运行中必须全部常驻内存 D.要求作业运行前,必须全部装入内存,且在运行中不必常驻内存
YY的秘密代码小屋
2024/12/01
1540
【操作系统不挂科】<内存管理-虚拟内存(17)>选择题&简答题&简答题(带答案与解析)
OS酱:“哎呀内存太小了,人家又缺页了!”
系统的内存并不是无限大,操作系统会为每个程序分配内存,当访问的地址块不在内存中,就要从外存(即硬盘,U盘等)调入,这就是所说的缺页异常。
风骨散人Chiam
2021/09/06
1.2K0
推荐阅读
相关推荐
PostgreSQL技术大讲堂 - 第23讲:缓冲区管理器
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文