首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >解读年度数据库PostgreSQL:如何巧妙地实现缓冲区管理器

解读年度数据库PostgreSQL:如何巧妙地实现缓冲区管理器

作者头像
用户2781897
发布2019-06-19 17:07:24
1.1K0
发布2019-06-19 17:07:24
举报
文章被收录于专栏:服务端思维服务端思维

铃木启修 | 作者

PostgreSQL 已获得 DB-Engines 排行榜 2017 年和2018年的“年度数据库”称号,发展如此迅猛,它究竟有什么内幕呢?接下来,我们将选择PostgreSQL重要的子系统之一缓冲区管理器展开介绍,探讨它的工作原理。

缓冲区管理器结构

PostgreSQL 缓冲区管理器非常高效,它管理着共享内存和持久存储之间的数据传输,对于数据库管理系统的性能有着重要的影响。它由缓冲表、缓冲区描述符和缓冲池组成。缓冲表层是一个散列表,它存储着页面buffer_tag与描述符buffer_id之间的映射关系。缓冲区描述符层是一个由缓冲区描述符组成的数组。每个描述符与缓冲池槽一一对应,并保存着相应槽的元数据。请注意,术语“缓冲区描述符层”只是在本章中为方便起见而使用的术语。缓冲池层是一个数组。每个槽都存储一个数据文件页,数组槽的索引称为buffer_id。缓冲区管理器的三层结构如图1所示。

图1 缓冲区管理器的三层结构

缓冲区管理器的工作原理

当后端进程想要访问所需页面时,它会调用ReadBufferExtended函数。

函数ReadBufferExtended的行为因场景而异,在逻辑上具体可以分为三种情况。

  • 访问存储在缓冲池中的页面

当从缓冲池槽中的页面里读取行时,PostgreSQL进程获取相应缓冲区描述符的共享content_lock,因而缓冲池槽可以同时被多个进程读取。

当向页面插入(及更新、删除)行时,该postgres后端进程获取相应缓冲区描述符的独占content_lock(注意,这里必须将相应页面的脏位置设为"1")。

访问完页面后,相应缓冲区描述符的引用计数值减1。

图2是访问存储在缓冲池中的页面示意图。

图2 访问存储在缓冲池中的页面

我们来介绍最简单的情况,即所需页面已经存储在缓冲池中。在这种情况下,缓冲区管理器会执行以下步骤:

  1. 创建所需页面的buffer_tag(在本例中buffer_tag是'Tag_C'),并使用散列函数计算与描述符相对应的散列桶槽。
  2. 获取相应散列桶槽分区上的BufMappingLock共享锁。
  3. 查找标签为'Tag_C'的条目,并从条目中获取buffer_id。本例中buffer_id为2。
  4. 将buffer_id=2的缓冲区描述符钉住,即将描述符的refcount和usage_count增加1。
  5. 释放BufMappingLock。
  6. 访问buffer_id=2的缓冲池槽。
  • 将页面从存储加载到空槽

图3是将页面从存储加载到空槽的示意图。

图3 将页面从存储加载到空槽

在第二种情况下,假设所需页面不在缓冲池中,且freelist中有空闲元素(空描述符)。这时,缓冲区管理器将执行以下步骤:

  1. (查找缓冲区表(本节假设页面不存在,找不到对应页面)。 第一,创建所需页面的buffer_tag(本例中buffer_tag为'Tag_E')并计算其散列桶槽。 第二,以共享模式获取相应分区上的BufMappingLock。 第三,查找缓冲区表(根据假设,这里没找到)。 第四,释放BufMappingLock。
  2. 从freelist中获取空缓冲区描述符,并将其钉住。在本例中所获的描述符:buffer_id=4。
  3. 以独占模式获取相应分区的BufMappingLock(此锁将在步骤(6)中被释放)。
  4. 创建一条新的缓冲表数据项:buffer_tag='Tag_E’, buffer_id=4,并将其插入缓冲区表中。
  5. 将页面数据从存储加载至buffer_id=4的缓冲池槽中,如下所示: 第一,以排他模式获取相应描述符的io_in_progress_lock。 第二,将相应描述符的IO_IN_PROGRESS标记位设置为1,以防其他进程访问。 第三,将所需的页面数据从存储加载到缓冲池插槽中。 第四,更改相应描述符的状态,将IO_IN_PROGRESS标记位设置为"0",且VALID标记位设置为"1"。 第五,释放io_in_progress_lock。
  6. 释放相应分区的BufMappingLock。
  7. 访问buffer_id=4的缓冲池槽。
  • 将页面从存储加载到受害者缓冲池槽

在这种情况下,假设所有缓冲池槽位都被页面占用,且未存储所需的页面。图4是将页面从存储加载到受害者缓冲池槽的示意图。

图4 将页面从存储加载到受害者缓冲池槽

缓冲区管理器将执行以下步骤:

  1. 创建所需页面的buffer_tag并查找缓冲表。在本例中假设buffer_tag是'Tag_M'(且相应的页面在缓冲区中找不到)。
  2. 使用时钟扫描算法选择一个受害者缓冲池槽位,从缓冲表中获取包含着受害者槽位buffer_id的旧表项,并在缓冲区描述符层将受害者槽位的缓冲区描述符钉住。本例中受害者槽的buffer_id=5,旧表项为Tag_F,id = 5。时钟扫描将在下一节介绍。
  3. 如果受害者页面是脏页,则将其刷盘(write & fsync),否则进入步骤4。 在使用新数据覆盖脏页之前,必须将脏页写入存储中。脏页的刷盘步骤如下: 第一,获取buffer_id=5描述符上的共享content_lock和独占io_in_progress_lock。 第二,更改相应描述符的状态:相应IO_IN_PROCESS设置为1,JUST_DIRTIED位设置为0。 第三,根据具体情况,调用XLogFlush()函数将WAL缓冲区上的WAL数据写入当前WAL段文件。 第四,将受害者页面的数据刷盘至存储中。 第五,更改相应描述符的状态;将IO_IN_PROCESS位设置为"0",将VALID位设置为"1"。 第六,释放io_in_progress_lock和content_lock。
  4. 以排他模式获取缓冲区表中旧表项所在分区上的BufMappingLock。
  5. 获取新表项所在分区上的BufMappingLock,并将新表项插入缓冲表: 第一,首先需要创建一个全新的表项:由buffer_tag='Tag_M'与受害者的buffer_id组成的新表项。 第二,以独占模式获取新表项所在分区上的BufMappingLock。 第三,将新表项插入缓冲区表中。
  6. 从缓冲表中删除旧表项,并释放旧表项所在分区的BufMappingLock。
  7. 将目标页面数据从存储加载至受害者槽位,然后用buffer_id=5更新描述符的标识字段,将脏位设置为0,并按流程初始化其他标记位。
  8. 释放新表项所在分区上的BufMappingLock。
  9. 访问buffer_id=5对应的缓冲区槽位。

本文节选自博文视点新书《PostgreSQL指南:内幕探索》。基于发挥最大效能的先天动力,数据库学习者对其内部运行或者实现机制有着本能的兴趣。好在,PostgreSQL也并未设计成黑盒子。深入了解其机制后,开发人员可以进行高效的应用设计,写出高性能的SQL语句;运维人员可以针对性地进行性能优化,快速对问题进行分析、定位和解决。如果,举世能找到的唯一秘辛,现在就静静躲在阅读原文后面,你会不点开吗?

内容简介:本书介绍PostgreSQL内部的工作原理,包括数据库对象的逻辑组织与物理实现,进程与内存的架构,并依次剖析几个重要子系统——查询处理、外部数据包装器、并发控制、清理过程、缓冲区管理、WAL、备份及流复制。本书为 DBA 与系统开发者提供一幅全景概念地图,有助于读者形成对数据库实现的整体认识,亦可作为PostgreSQL源代码深入学习的导读手册,对于理解数据库原理与PostgreSQL内部实现大有裨益。本书适合数据库开发人员及相关领域的研究人员、数据库DBA及高等院校相关专业的学生阅读。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-06-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 服务端思维 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档