PostgreSQL 归档是POSTGRESQL 运维中必须进行的一项工作，但对于归档的事情其实在我们运维的一段时间有很多的疑问，这里总结一些我们遇到的问题以及我们对归档的事情的一些理解。
在PostgreSQL 中很少被提及的一个问题，归档，而这里经常有人问这个问题，所以需要写一期来说说关于ARCHIVE 的问题。
在任何时间，PostgreSQL在数据集簇目录的pg_wal/子目录下都保持有一个预写式日志（WAL）。这个日志存在的目的是为了保证崩溃后的安全：如果系统崩溃，可以“重放”从最后一次检查点以来的日志项来恢复数据库的一致性。该日志的存在也使得第三种备份数据库的策略变得可能：我们可以把一个文件系统级别的备份和WAL文件的备份结合起来。当需要恢复时，我们先恢复文件系统备份，然后从备份的WAL文件中重放来把系统带到一个当前状态。这种方法比之前的方法管理起来要更复杂，但是有其显著的优点：
PostgreSQL 备份的问题准备写一个合集,此篇是合集的第一篇,打算从 wal 日志来说起,这样对后面备份的原理和使用的理解是有帮助的.
WAL是自动被启用的。除了确保满足WAL日志存放所需要的磁盘空间以及一些必要的调优外（参阅Section 30.4），管理员无需执行任何操作。
PG15通过：一次扫描64个待归档的日志，将其放到一个数组中以供归档，当处理完这64个文件后，再进行下一次扫描。这样达到减少archive_status目录扫描次数提升性能的目的。
我们知道postgresql的主从切换有点麻烦，或者说操作步骤要求很严格。可能我们经常遇到这种情况，在没有将主库杀死的情况下将备库提升为主，这时主备库可能由于某种原因都在提供写入操作，这时发生脑裂，如果不考虑数据丢失因素，这时我们可能想将原来的主库以备库的模式重新加入集群，但是主备库此时的时间线已经偏离了，这时就需要我们的pg_rewind工具了。
问题的起因是，在做repmgr 恢复的时候，经常有同学说恢复的时候， repmgr rejion node 的时候pg_rewind 会报错，与时间线有关。（pg_rewind之前是写过的清参阅之前的文字）
PostgreSQL是最像Oracle的开源数据库，我们可以拿Oracle来比较学习它的体系结构，比较容易理解。PostgreSQL的主要结构如下：
查看帮助命令本周六，在北京将迎来一年一度的 ACOUG年会，在本次年会上，我们将对社区过去一年的工作进行回顾和梳理，并展望和探讨下一年工作的内容，同时，本次年会也开放了直播通道，名额不多，报名从速哦~
PostgreSQL 是一个很有意思的数据库，在使用中有一些习惯可以在同等的硬件下，更加有效的使用硬件提供的资源，让管理和使用POSTGRESQL 获得更多的性能。下面就说说一些使用POSTGRESQL 的习惯。
pg_rewind 相比 pg_basebackup 和 rsync 这样的工具来说，优势是它不需要从源目录拷贝所有的数据文件，而是会对比时间线发生偏离的点，只拷贝变化过的文件，这样对于数据量很大的情况下速度更快。
开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, Oceanbase, Sql Server等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，（共2150人左右 1 + 2 + 3 + 4 +5） 新人奖直接分配到5群,另欢迎 OpenGauss 的技术人员加入。
PostgreSQL中的时间线用于区分原始数据库集簇和恢复生成的数据库集簇，它是PITR的核心概念。此文描述了与时间线相关的两件事，分别是时间线标识和时间线历史文件。
其实PG 早就想到这个问题了，PG有一个独特的命令 pg_rewind 可以帮助你，再造一个你。
有几个WAL相关的配置参数会影响数据库性能。本节将解释它们的使用。关于服务器配置参数的设置的一般信息请参考Chapter 19。
原文：http://www.enmotech.com/web/detail/1/733/1.html （上）
最近在整理POSTGRESQL MYSQL MONGODB REDIS 的标准化模板配置参数,当然这里面还包含 LINUX 的一些基本配置. 相关的整理的工作是我的三个 DBA 操作的, 针对目前的参数进行了相关的整理和重新设定. 昨天有人问我要,这边进贴出来,如果大家有什么问题 ,告诉我们, 大家一起进步.
该备份工具自动执行 pg_start_backup()和 pg_stop_backup()函数，而且备份速度和数据都比手动的备份快。
连续归档可以被用来创建一个高可用性（HA）集群配置，其中有一个或多个后备服务器随时准备在主服务器失效时接管操作。这种能力被广泛地称为温备或日志传送。
原文：https://www.enmotech.com/web/detail/1/764/1.html
PostgreSQL数据库中的WAL的主要用途是用于故障恢复，针对数据库的数据insert/delete/update操作都会形成一些列的WAL日志记录，多个WAL日志组成WAL的日志序列，这些日志记录记录了哪些page做了什么修改。如果此时数据库发生故障(主机),哪些未被提交的事务或者需要回滚的事务可以从WAL中进行恢复。 PostgreSQL针对数据的更改先会写入到内存，但是事务提交后一定是要把数据更改信息写入到WAL日志。比如做update一条记录，现在内存中构建update tuple,然后插入到
PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。
墨墨导读：本文主要从日志文件、参数文件、控制文件、数据文件、redo日志（WAL）、后台进程这六个方面来讨论PostgreSQL的结构。
墨墨导读：最近电子工业出版社博文视点出版了《PostgreSQL指南：内幕探索》，日前「数据和云」公众号推荐了这本书并赠送了五本，百多位用户参与，几十条留言未能放出，为了让大家更好地学习开源数据PostgreSQL，经出版社官方授权，刊载本书部分章节内容以飨读者，本文节选了第十章《基本备份与时间点恢复》10.1-10.2。
墨墨导读：本文介绍了Oracle和PostgreSQL控制文件基本内容，对如何重建PostgreSQL控制文件进行了详细描述并进行了恢复测试。
POSTGRESQL 中是可以对日志进行ARCHIVE 的, 但经常会有一个问题就是ARCHIVE 的速度好像经常没有产生WAL 日志的速度快,有的时候很长一段时间WALLOG 都没有被ARCHIVE, 原因是什么.
本文介绍NVM WAL BUFFER的email list，详细了解开发者对此的讨论，以此深入
6）通过pg_waldump --path=/tmp/sd/pg_wal -start=0/1C420B8看下日志文件里内容。使用的是步骤3中的起始LSN。注意WAL中包含创建物理文件的指令：
PostgreSQL支持物理复制（流复制）及逻辑复制2种。通过流复制技术，可以从实例级复制出一个与主库一模一样的实例级的从库。流复制同步方式有同步、异步两种。
SQL SERVER ORACLE MYSQL 的系统表一个比一个多，系统表如同一个个小密探，如果你恰巧知道他们的名字，并且还知道他们的身世，那很快你就会如同找到一个蜜洞 secret broadcast， 然后就对你要操作的系统一目了然。
之前备份的工具一直在使用PGRMAN，潮流变化了，现在最新最推崇的PG备份软件是pgBackRest，今天来探究一下到底为什么他是目前最推崇的备份软件。
将数据从一个服务器复制到另一个服务器的过程就是PG复制。源数据库服务器通常称为Master，而接收复制数据的数据库服务器称为Replica服务器。
WAL目录下（pg_wal）存了大量WAL段文件，由于来不及删除，占用磁盘空间突然暴增。这种现象很常见。那么为什么PG不删除呢？最常见的原因：1）归档失败；2）slot持有老的WAL。
Postgresql启动流程模块划分。启动时首先会创建内存上下文TopMemoryContext作为内存的root，之后的内存都在这个下进行分配；然后设置一些LC_*系统变量；检查不能在root下运行postgres；然后进入4个分支：--boot为initdb进行初始化数据库的时候调用流程；--describle-config获取配置项值就退出；--single为单进程模式启动；PostmasterMain为正常启动PG时的调用流程。
预写式日志write ahead log，是数据库保证数据完整性的重要数据结构。数据库管理器将数据库发生的变更记录写入wal日志缓冲区，进而写入wal日志文件中，在数据库崩溃时利用wal日志进行重演恢复，这几乎是所有数据库的统一实现原理。
通过上面的描述，我们知道一条查询SQL执行的主要过程，客户端执行一条SQL前需要先经过连接数据库、解析器、优化器、执行器等阶段，再由执行器返回查询结果，具体过程可以参考下面的简图。
连续归档可以配合随时准备取代失效主服务器的一个或多个备份服务器， 用于创建一个高可用性(HA)集群。这个能力通常被称为温备份或日志传送
这些设置控制内建流复制特性（见Section 26.2.5）的行为。服务器将可以是主控服务器或后备服务器。主控机能发送数据，而后备机总是被复制数据的接收者。当使用级联复制（见Section 26.2.7）时，后备服务器也可以是发送者，同时也是接收者。这些参数主要用于发送服务器和后备服务器，尽管某些只在主服务器上有意义。如果有必要，设置可以在集群中变化而不出问题。
PostgreSQL官方文档指定了以下三种备份方法，详见：https://www.postgresql.org/docs/current/backup.html
WAL日志是Postgres何其重要的一个部分，它活跃在Postgres的各个功能模块，绝大多数的数据库行为都会被记录在WAL日志中。正因为如此我们可以把WAL日志看作是数据库变更的履历，也因为这一特性，WAL日志在数据库恢复、高可用、流复制、逻辑复制等Postgres模块中扮演着极其重要的角色。如下一张图片描述了WAL日志从产生到使用过程中涉及的各种各样的wal相关的配置参数(基于PG12)。弄清楚每一个参数的意义对我们优化数据库性能，配置高可用集群等有举足轻重的作用。我们可以从PostgreSQL文档中找到每一个配置参数的定义，但是我们从简单的几行描述很能很难理解参数的内在意义，或者不知道为什么要有这个参数的存在，更有甚者你在根据别人的博客配置数据库时，发现你的数据库版本不认识博客里面的配置参数。这篇博客将从PostgreSQL 7.1版本最原始的WAL日志开始理解wal日志，迭代wal日志的发展过程。
工作近十年来，开源关系数据库PostgreSQL一直是OneSignal的核心部分。多年来，我们已经在近40台服务器上扩展了多达75 TB的存储数据。我们的实时分段功能极大地受益于PostgreSQL的性能，但是由于繁重的写入负载和PostgreSQL升级路径的限制而导致的膨胀，有时我们也一直在挣扎。
近一段时间一致是 MYSQL ，PostgreSQL 两条腿走路，这样做是有原因的，不是所有的企业都是互联网企业，也不是所有企业的程序员都能良好的理解MYSQL的使用方式，也不能强制要求程序员将复杂的SQL 都变成程序的方式来进行。PostgreSql 的兼容性以及对于复杂SQL 语句的处理更强悍，这是毋庸置疑的。所以这也是部分金融机构企业转向POSTGRESQL 的原因之一。所以DBER 们也的根据实际情况和业务情况以及程序员的水平和业务的稳定度综合评定出，到底是MYSQL 还是 POSTGRESQL 。
这几个补丁能够通过使用PMDK对存储在持久化内存PMEM上的WAL日志进行读写。PMEM是下一代存储介质，具有一系列特性：快速、字节寻址、非易失。
基本介绍 什么是PostgreSQL？ PosgreSQL是一个 开源、对象关系的数据库系统。目前可以运行在Linux/Unix/Windows平台。支持ACID,内置INTEGER/NUMBERIC/BOOLEAN/CHAR/VARCHAR/DATE/INTERVAL/TIMESTAMP/binary larget objects等数据结构 PostgreSQL有些限制？ 图片 PostgreSQL有哪些核心功能？ MVCC PITR 时间点恢复 独立表空间和异步复制 Nested 事务和online
上一篇文章说道PostgreSQL 12 的源码部署，这里我们说一下PostgreSQl 12的主从流复制和归档配置。
领取专属 10元无门槛券
手把手带您无忧上云
