图解PostgreSQL-local buffer管理

本文介绍local buffer管理相关机制。

一、数据结构

1、数组LocalBufferDescriptors[]为本地缓冲块的描述符，buf_id从-2开始，都是负数。为和共享缓冲区有区别，通过是否为负值就可以判断是否是本地缓冲区

2、数组大小由变量num_temp_buffers控制

3、LocalBufferBlockPointers数组为本地缓冲块的指针。这些数组的初始化由函数InitLocalBuffers完成，此时并没有分配本地缓冲块内存。

4、本地缓冲块内存的申请和分配由函数GetLocalBufferStorage完成。第一次时从内存上下文LocalBufferContext中分配16个页大小的block，然后将第一个页地址分配给LocalBufferBlockPointers[i]，并不是一下子全部分配，下次使用时再分配数组下一个页。

5、16个页的block用完，再次申请32个页的block；同理32个页的block用完，申请64个页的block，每次都是之前的两倍。

6、最大一次分配1个GB的block

二、分配local buffer原理

1、本地buffer的分配由函数LocalBufferAlloc来完成，用于临时表的读写。

2、同样需要先初始化tag：newTag，唯一标记一个物理页

3、第一次使用临时表时，需要通过calloc创建一系列缓冲区（InitLocalBuffers完成）：几个数组，大小为num_temp_buffers，即该变量控制大小。

LocalBufferDescriptors[]：存储本地缓冲块的描述符

LocalBufferBlockPointers[]：本地缓冲块指针数组，存储指向块的指针

LocalRefcount[]：每个描述符引用次数

LocalBufHash：用户管理本地缓冲块的hash表，key为tag，value为buffer的数组下标。

4、通过tag从LocalBufHash表中查找，看有没有，是否已经加载到内存。

5、LocalBufHash表中已存在：

1）获取其ID，然后获取local buffer的描述符bufHdr

2）原子操作读出bufHdr的state即buf_state

3）buf_state的usagecount保持为1？refcount+1

4）buf为BM_VALID，则foundPtr为TRUE，表示命中缓冲，否则为false

5）返回该描述符bufHdr

6、LocalBufHash不存在：

1）通过该值nextFreeLocalBuf遍历本地缓冲区，若超过NlocBuffer值则从头开始遍历

2）LocalRefcount对应的引用值不为0，则返回到1）；否则取出其bufHdr的state

3）usagecount=0，表示没有人在用，则LocalRefcount=1后退出循环，进入步骤7

4）usagecount>0，则将usagecount-1后返回1）重新选择下一个

7、buf_satate为BM_DIRTY，则需要刷脏：

1）获取具体页localpage，smgropen一个oreln，如打开checksum则计算checksum并写入localpage；smgrwrite将其写入到磁盘；最后将状态置为非BM_DIRTY

8、如果第一次使用本地buffer，则需要调用GetLocalBufferStorage将其挂到TopMemoryContext

9、如果该buffer缓冲区的数据有效，则需要更新hash表：将该tag从LocalBufHash中删除，并将状态置为 ~(BM_VALID | BM_TAG_VALID)，其bufHdr->tag需要清空

10、将新的tag newTag插入hash表LocalBufHash

11、将bufHdr->tag替换成newTag，此时是我们的tag了。

12、buf_state清空，并且置为BM_TAG_VALID,且usagecount加1，foundPTR为false

13、返回buf描述符bufHdr