Postgresql IO 花落知多少

今天要讲的是POSTGRESQL I/O系统的及周边一些系统的学习sharing .

首先我们先看一个图，这是一个PG内存结构的简图

但今天不是要说内存，而是要说关于buffer cache的问题，

其实说白了就是数据在内存和磁盘之间的交互过程，如果提取的数据不在内存中，则需要从磁盘将数据读入到 page change 并且如果数据在内存中改变了，需要将数据刷入到磁盘的一个过程。

同时我们需要了解以下几点

缓冲写:通常是非阻塞的 缓冲读取:通常阻塞

顺序写比随机写快 覆盖较大数据块的操作通常更快

除此之外，checkpointer ,Background writer , wal writer 等等这些都会用到I/O 系统。所以调优PostgreSQL I/O对于构建高性能、可伸缩的数据库架构是必不可少的。

如：

1 数据是否有预读机制，何种的预读机制能更有效的利用内存，而不是大量的I/O 读取。

2 更好的并发读取，可以采用更多的线程将需要的数据同时读取到系统中

由于POSTGRESQL 本身的buffer cache 并不全部HOLD 主, 而是联合OS的buffer 共同的对数据库进行处理，我们对比四种情况

1 没有 postgresql buffer ,OS buffer

2 没有 仅有OS 的cache 没有postgresql cache

3 POSTGRESQL OS cache 和 POSTGRESQL buffer 共有的情况

所以POSTGRESQL 对相关的操作做了更多的优化例如

1 当工作集不适合共享缓冲区时，将数据写回操作系统

2 减少后端写的操作

3 提高IO吞吐量/利用率，特别是随机IO

4 减少随机I/O ，将其更多合并，变为顺序I/O

5 通过shared_buffer映射数据结构与排序支持

与其他的数据库不同，postgresql 更加强调系统在数据存取中的作用，更新的系统例如LINUX 的核心的版本的提升，对postgresql本身是有利的。

在Postgresql 中有一些需要注意的地方

1 Checkpoint 的设置 ，例如 max_wal_size , min_wal_size, checkpoint_timeout and comkpoint_completion_target 等配置参数会提高你的或者降低你的磁盘系统的负担，可以将脏页集中的或者分散的刷入你的磁盘系统。

2 需要注意你每天的事务量，WAL arvhive 文件的归档数量， 监控你checkpoint 的频率，以及以上的参数是否适合你当前繁忙或者不繁忙的数据库 系统。

3 Vacuum ，清理已经废弃的数据也是很重要的，防止表膨胀，而vacuum 也会造成磁盘的系统的负担，同时也要对 log_autovacuum_min_duration 进行关注，查看自动的真空的时间长度。一般来说自动真空就可以满足大部分系统的需求，但对于大表或者热表，可以在夜间工作不繁忙的情况下，进行手动或者半自动的真空，例如repack 等

4 与MYSQL 在某些方面有一些一致性，例如尽量给每个查询分配适合的work_men尤其在一些经常用到 group by , order by 的系统，增加在内存可以解决的排序活动，避免更多要在磁盘进行排序后在给出结果的方式。

5 更合理有效的利用表空间，如同其他的数据库系统，将一个数据库分散在多个物理磁盘的方式，在POSTGRESQL 也是适用的，并且如果将 wal 日志放置在高级的I/O系统，例如SSD 磁盘，也是对系统性能有效的保证。

6 一般来说，在配置POSTGRESQL 中更倾向于将系统shared_buffer 进行合理的设置，但会忽略 effective_cache_size 的设置，如果想进行一个初始的设置可以将 shared_buffer 设置为总内存的 25%, 将effictive_cache_size设置为系统的额 50% 或更大。重要的 effictive_cache_size 的设置是和你查询的性能有很大的关系。

OK今天就到这里，有兴趣的DBER们可以发私信，可以将相关的PDF 和你们分享。