Postgresql源码（24）ReadBuffer_common核心流程简化

mingjie

发布于 2022-07-14 13:42:58

2540

发布于 2022-07-14 13:42:58

文章被收录于专栏：Postgresql源码分析Postgresql源码分析

总结：

先走BufferAlloc拿一个buffer
- 如果在内存中直接返回，如果不在内存中需要分配一个位置。
- 如果有位置直接分配，如果没有位置需要clock sweep淘汰一个。
- 拿到一个页面后，数据肯定是不对的，需要IO上来数据，如果页面本身有脏数据，需要先把页面Flush到存储再用。
BufferAlloc出来的页面如果需要IO读会带着IO_IN_PROGRESS标志位和IO锁。
ReadBuffer_common检查BufferAlloc有没有找到页面，如果没找到页面，也已经拿到一个带着IO标志位IO锁的buffer了。
开始读页面，然后清IO标志位，放IO锁。
【注意】大量代码在处理竞争场景，并发会导致很多问题。

主要流程：

ReadBuffer_common
    ...
    BufferAlloc
        BufTableLookup：查询页面是否已经在内存中了
        [if]found：页面已经在内存中
            valid = PinBuffer
            [if]!valid：页面没有BM_VALID标志位。
                StartBufferIO
                    （1）加IO锁，BM_IO_IN_PROGRESS标志位如果有人配了，需要等标志位恢复了在重新加IO锁。
                    （2）如果是往上读（forInput==true）再检查一遍BM_VALID，如果已经配了，释放IO锁，返回false。别人已经读了。
                    （2）如果是往下写（forInput==false）再检查一遍BM_DIRTY，如果已经没了，释放IO锁，返回false。别人已经刷了。
                    （3）配置BM_IO_IN_PROGRESS；返回true。
                return：found=false
            [if]valid：当前私有缓存已经Pin过这页面了；页面有BM_VALID标志位。
                return：found=true
        [if]not found：
            StrategyGetBuffer：拿到一个buffer，可能需要clock sweep淘汰（非pin的页面，usage第一个减1到0的淘汰）
                [if]BM_DIRTY：拿到了一个脏页面，需要刷下去
                [if]BM_TAG_VALID：拿到了一个tag有效的页面，需要按顺序锁hash表
        StartBufferIO
            return：found=false  别人没做IO，需要外层函数IO
            return：found=true   别人已做IO，不需要外层函数IO

    ...
    [if]found
        return：页面已经在内存中了
    [if]not found【页面没在内存中找到】【已经分配好了一个buffer】【数据还没到】【IO_IN_PROGRESS中】
        [if]isExtend
            memset：新页面，位置有了清空buffer即可
        [if]not isExtend：不是新页面
            smgrread：读取数据 <<--这里在真正IO
        TerminateBufferIO(bufHdr, false, BM_VALID)
            （1）清理标志位：BM_IO_IN_PROGRESS | BM_IO_ERROR
            （2）配置标志位：BM_VALID
            （3）放IO锁

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2021-12-28，如有侵权请联系 cloudcommunity@tencent.com 删除

buffer