Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Postgresql主从复制--物理复制

Postgresql主从复制--物理复制

原创
作者头像
俊才
修改于 2019-09-27 01:47:00
修改于 2019-09-27 01:47:00
6.8K00
代码可运行
举报
文章被收录于专栏:数据库干货铺数据库干货铺
运行总次数:0
代码可运行

1 复制类型

PostgreSQL支持物理复制(流复制)及逻辑复制2种。通过流复制技术,可以从实例级复制出一个与主库一模一样的实例级的从库。流复制同步方式有同步、异步两种。

另一种复制方式为逻辑复制,区别于物理复制的是物理复制是基于实例级的复制,只能复制整个PostgreSQL实例,而不能基于部分库及表。从PostgreSQL10开始,出现了基于表级别的复制,即逻辑复制。

2  流复制

主库安装及从库编译此处就省略了,直接进入主从复制的安装环节。

2.1 修改主库配置文件postgresql.conf

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/*  除了基础参数,搭建备库至少需要配置如下参数 */
listen_address = '*'
wal_level = replica
archive_mode = on 
archive_command = 'cp %p /data/postgresql/archive/%f '
max_wal_senders= 10  
wal_keep_segments=1024
hot_standby = on

参数简要说明:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
listen_address:  按需设置,本次测试配置为所有主机均可以访问,生产环境可以按需配置网段或IP等
wal_level:  设置流复制模式至少设置为replica
archive_mode:  本次启用归档
archive_command:WAL日志归档命令,生产环境可以将归档拷贝到对应目录或其他机器上,本次测试配置为归档到本机的另一个目录下
max_wal_senders: 最大WAL发送进程数,此数量需大于等于从库个数且比max_connections小。
wal_keep_segments: pg_wal目录下保留WAL日志的个数,每个WAL文件默认16M,为保障从库能在应用归档落后时依旧能追上主库,此值建议设置较大一点。
hot_standby: 此参数控制在恢复归档期间是否支持只读操作,设置为ON后从库为只读模式。

注意: 上述参数中有涉及归档日志的路径,需手动创建

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mkdir -p  /data/postgresql/archive/

2.2  创建复制账号

为了数据安全及便于权限控制,创建一个复制专用的数据库账号

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
postgres=# create user repl  REPLICATION  LOGIN ENCRYPTED  PASSWORD 'repl123';
CREATE ROLE

2.3  修改配置文件pg_hba.conf

添加复制账号的权限,因可能会主从切换,因此 主从机器的IP均添加。也可以设置网段,以便于后期添加从库。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# replication privilege.
local   replication     all                                     trust
host    replication     all             127.0.0.1/32            trust
host    replication     all             ::1/128                 trust
host    replication     repl             192.168.56.33/24            md5
host    replication     repl             192.168.56.32/24            md5

2.4  备份数据

从机上在线备份主库数据,并将数据放在指定路径,此路径建议与主库路径一致。可以使用pg_basebackup

命令在线热备份,具体命令如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pg_basebackup -h 192.168.56.32 -U repl -p 5432 -F p   -X s  -v -P -R -D /data/postgresql/data/ -l postgres32

pg_basebackup命令中的参数说明:

-h 指定连接的数据库的主机名或IP地址,这里就是主库的ip

-U 指定连接的用户名,此处是我们刚才创建的专门负责流复制的repl用户

-F 指定生成备份的数据格式,支持p(plain原样输出)或者t(tar格式输出)

-X 表示备份开始后,启动另一个流复制连接从主库接收WAL日志,有 f(fetch)和s (stream)两种方式,建议使用s方式

-P 表示显示数据文件、表空间传输的近似百分比 允许在备份过程中实时的打印备份的进度

-v 表示启用verbose模式,命令执行过程中会打印各阶段日志,建议启用

-R 表示会在备份结束后自动生成recovery.conf文件,这样也就避免了手动创建

-D 指定把备份写到哪个目录,这里尤其要注意一点就是做基础备份之前从库的数据目录(/data/postgresql/data)目录需要手动清空

-l 表示指定个备份的标识,运行命令后可以看到进度提示

以上备份命令输出过程如下

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[postgres@PG33 data]$ pg_basebackup -h 192.168.56.32 -U repl -p 5432 -F p   -X s  -v -P -R -D /data/postgresql/data/ -l postgres32
Password: 
pg_basebackup: initiating base backup, waiting for checkpoint to complete
pg_basebackup: checkpoint completed
pg_basebackup: write-ahead log start point: 0/2000028 on timeline 1
pg_basebackup: starting background WAL receiver
pg_basebackup: created temporary replication slot "pg_basebackup_17737"
56041/56041 kB (100%), 1/1 tablespace                                         
pg_basebackup: write-ahead log end point: 0/20000F8
pg_basebackup: waiting for background process to finish streaming ...
pg_basebackup: base backup completed

从以上日志信息看出pg_basebackup命令首先对数据库做一次checkpoint,之后基于时间点做一个全库基准备份,全备过程中会拷贝$PGDATA数据文件和表空间文件到备库节点对应目录。

2.5 修改recovery.conf

以上备份命令中生成了recovery.conf 文件,因此简单修改即可。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
standby_mode = 'on'
primary_conninfo = 'user=repl password=repl123 host=192.168.56.32 port=5432 sslmode=disable sslcompression=0 target_session_attrs=any'
## 添加如下信息
recovery_target_timeline = 'latest'

参数说明:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
standby_mode: 设置是否启用数据库为备库,如果设置成on,备库会不停地从主库上获取WAL日志流,直到获取主库上最新的WAL日志流
primary_conninfo:设置主库的连接信息,这里设置了主库IP、端口、用户名信息等,此处是明文密码,生产环境建议配置非明文密码,而是将密码配置在另一个隐藏文件中
covery_target_timeline: 设置恢复的时间线(timeline),默认情况下是恢复到基准备份生成时的时间线,设置成latest表示从备份中恢复到最近的时间线,通常流复制环境设置此参数为latest,复杂的恢复场景可将此参数设置成其他值

2.6 启动从库

直接使用pg_ctl或配置服务启动从库即可。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pg_ctl  -D /data/postgresql/data/  -l pg33.log  start

如果启动过程中出现如下错误

waiting for server to start....2019-09-26 10:40:54.327 CST [10267] FATAL: data directory "/data/postgresql/data" has invalid permissions

2019-09-26 10:40:54.327 CST [10267] DETAIL: Permissions should be u=rwx (0700) or u=rwx,g=rx (0750).

stopped waiting

pg_ctl: could not start serve

Examine the log output.

则需要先修改权限,再启动即可

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[postgres@PG33 data]$ chmod 0750 /data/postgresql/data/
[postgres@PG33 data]$ pg_ctl  -D /data/postgresql/data/  -l pg33.log  start
waiting for server to start.... done
server started

2.7 测试主从同步

在主库创建表并新增数据

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[postgres@PG32 ~]$ psql
psql (11.4)
Type "help" for help.
postgres=# create table test2(id int primary key, name varchar(20));
CREATE TABLE
postgres=# insert into test2 values(1,'aaa'),(2,'abc');
INSERT 0 2

在从库查看

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[postgres@PG33 data]$ psql
psql (11.4)
Type "help" for help.

postgres=# select * from test2;
 id | name 
----+------
  1 | aaa
  2 | abc

数据已正常同步

2.8 查看复制状态

通过pg_stat_replication视图可以查看复制状态

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
postgres=# select  pid ,usesysid,usename,client_addr,state,sync_state  from  pg_stat_replication;
  pid  | usesysid | usename |  client_addr   |   state   | sync_state 
-------+----------+---------+----------------+-----------+------------
 25123 |    16797 | repl    | 192.168.56.33 | streaming | async
(1 row)

以上查询结果sync_state字段值为async,表示主备数据复制使用异步方式;state值为streaming,表示流复制方式。

2.9 调整为同步复制

前面的步骤部署的为异步复制,如想配置为同步复制,则调整recovery.conf配置文件里的 synchronous_commit及synchronous_standby_names 后重启或reload即可。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
synchronous_commit = remote_write
synchronous_standby_names = '*'

之后再查看结果如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
postgres=# select  pid ,usesysid,usename,client_addr,state,sync_state  from  pg_stat_replication;
  pid  | usesysid | usename |  client_addr   |   state   | sync_state 
-------+----------+---------+----------------+-----------+------------
 16265 |    16797 | repl    | 192.168.56.33 | streaming | sync
(1 row)

此时状态已变为同步复制了。

注: synchronous_commit 有多种方式,在流复制模式下,主要设置情况如下:

remote_write: 当流复制主库提交事务时,需等待备库接收主库发送的WAL日志流并写入备节点操作系统缓存中,之后向客户端返回成功,这种情况下备库实例出现异常关闭时不会有已传送的WAL日志丢失风险,但备库操作系统异常宕机就有已传送的WAL丢失风险了,此时WAL可能还没完全写入备节点WAL文件中,简单地说remote_write表示本地WAL已落盘,备库的WAL还在备库操作系统缓存中,也就是说只有一份持久化的WAL,这个选项带来的事务响应时间较低

on: 设置成on表示流复制主库提交事务时,需等待备库接收主库发送的WAL日志流并写入WAL文件,之后才向客户端返回成功,简单地说on表示本地WAL已落盘,备库的WAL也已落盘,也就是说有两份持久化的WAL,但备库此时还没有完成重做,这个选项带来的事务响应时间较高

remote_apply: 表示表示流复制主库提交事务时,需等待备库接收主库发送的WAL并写入WAL文件,同时备库已经完成重做,之后才向客户端返回成功,简单地说remote_apply表示本地WAL已落盘,备库WAL已落盘并且已完成重做,这个设置保证了拥有两份持久化的WAL,同时备库也完成了重做,这个选项带来的事务响应时间最高,即性能最差。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
进阶数据库系列(十五):PostgreSQL 主从同步原理与实践
在正式介绍 PostgreSQL 主从同步复制 之前,我们先了解一下 PostgreSQL 的预写日志机制(WAL)。
民工哥
2023/08/22
5.2K0
进阶数据库系列(十五):PostgreSQL 主从同步原理与实践
聊聊PostgreSQL的Replication
CAP理论 consistency:在整个集群角度来看,每个节点是看到的数据一致的;不能出现集群中节点出现数据不一致的问题 vailability:集群中节点,只有有一个节点能提供服务 partitioning:集群中的节点之间网络出现问题,造成集群中一部分节点和另外一部分节点互相无法访问 基本术语 Master节点:提供数据写的服务节点 Standby节点:根据主节点(master节点)数据更改,这些更改同步到另外一个节点(standby节点) Warm Standby节点:可以提升为master节点的s
用户4700054
2022/08/17
1.5K0
聊聊PostgreSQL的Replication
PostgreSQL 12 的同步流复制搭建及主库hang问题处理与分析
主备流复制,是PostgreSQL最常用、最简单的一种高可用、读写分离的形式,类似于Oracle的ADG,主库用于读写,备库可以只读。
数据和云
2021/07/30
1.7K0
Postgresql主从复制
Postgresql主从复制 主备数据库启动,备库启动wal_receiver进程,wal进程向主库发送连接请求; 主库收到连接请求后启动wal_sender进程,并与wal_receiver进程建立tcp连接; 备库wal_receiver进程发送最新的wal lsn 给主库; 主库进行lsn 对比,定期向备库发送心跳信息,来确认备库的可用性,并且将没有传递的wal日志文件进行发送,同时调用SyncRepWaitForLSN()函数来获取锁存器,并且等待备库响应;锁存器的释放时机和主备同步模式的选择有
用户7353950
2022/05/11
8500
Postgresql主从复制
PostgreSQL从小白到高手教程 - 第44讲:pg流复制部署
PostgreSQL从小白到专家,是从入门逐渐能力提升的一个系列教程,内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容,希望对热爱PG、学习PG的同学们有帮助,欢迎持续关注CUUG PG技术大讲堂。
用户5892232
2024/02/02
4410
PostgreSQL从小白到高手教程 - 第44讲:pg流复制部署
PostgreSQL主备环境搭建
PG学习初体验--源码安装和简单命令(r8笔记第97天) 记得在2年前写过一篇PostgreSQL的文章,当时处于兴趣,本来想在工作中接一下PG的业务,最后因为各种各样的原因就搁置了。 今天整理了下PostgreSQL的一些基础内容,参考的书是唐成老师的那本《PostgreSQL修炼之道》,有了Oracle和MySQL的基础,看起来会比从零开始要容易一些,总体的感觉,PG功能确实很多很全,功能上像Oracle看齐,技术风格和MySQL很像,在做一些总结的时候,不停的在两个数据库之间来回切换。 关于主备环
jeanron100
2018/03/30
1.9K0
PostgreSQL主备环境搭建
pg_rewind到底能做什么?
我们知道postgresql的主从切换有点麻烦,或者说操作步骤要求很严格。可能我们经常遇到这种情况,在没有将主库杀死的情况下将备库提升为主,这时主备库可能由于某种原因都在提供写入操作,这时发生脑裂,如果不考虑数据丢失因素,这时我们可能想将原来的主库以备库的模式重新加入集群,但是主备库此时的时间线已经偏离了,这时就需要我们的pg_rewind工具了。
数据库架构之美
2019/12/18
7820
【DB宝91】PG高可用之主从流复制+keepalived 的高可用
通过keepalived 来实现 PostgreSQL 数据库的主从自动切换,以达到高可用。当主节点宕机时,从节点可自动切换为主节点,继续对外提供服务。
AiDBA宝典
2022/02/23
2.8K0
【DB宝91】PG高可用之主从流复制+keepalived 的高可用
PostgresSQL 主从搭建步骤
由于工作需要,最近开始接触各种数据库,并尝试各种数据库产品的高可用方案。今天分享的是postgresSQL的主从配置,其实还是蛮简单的,跟随本文的步骤,保证能实现PG主从的搭建。
星哥玩云
2022/08/13
2.5K0
PostgreSQL13.0流复制尝鲜
postgresql13.0于2020年9月21日正式发布,话说现在pg的大版本从10开始发生了变化,以第一个数字代表一个大版本更新,而9之前的版本则是以9.1->9.2->9.x这样代表大版本更新。所以现在看起来pg的更新好像越来越快了,每个版本其实更新的内容不是很多。13发布后下载来了源码尝尝鲜,源码编译上没有什么改变,依旧很简单很亲和,四条简单的命令完成编译安装,对平台兼容性也很好。
数据库架构之美
2021/02/26
8500
PostgreSQL13.0流复制尝鲜
PostgreSQL基础(十五):PostgreSQL的主从操作
PostgreSQL自身只支持简单的主从,没有主从自动切换,仿照类似Nginx的效果一样,采用keepalived的形式,在主节点宕机后,通过脚本的执行完成主从切换。
Lansonli
2024/10/04
8940
PostgreSQL基础(十五):PostgreSQL的主从操作
【DB宝60】PG12高可用之1主2从流复制环境搭建及切换测试
PostgreSQL在9.x之后引入了主从的流复制机制,所谓流复制,就是备服务器通过tcp流从主服务器中同步相应的数据,主服务器在WAL记录产生时即将它们以流式传送给备服务器,而不必等到WAL文件被填充。
AiDBA宝典
2021/07/29
3.3K0
[实时数仓]玩转PostgreSQL主从流复制
PostgreSQL 在 9.0 以后引入了流复制(Streaming Replication)。流复制提供了将 WAL 记录连续发送并应用到从服务器以使其保持最新状态的功能。通过流复制,从服务器不断从主服务器同步相应的数据,同时,从服务器作为主服务器的一个备份。
宇宙无敌暴龙战士之心悦大王
2023/03/21
1.5K0
PostgreSQL 流复制搭建和原理理解
最近随着学习PostgreSQL 的深入,越发的喜欢这个数据库,之前曾经写过关于PostgreSQL 关于模糊查询的文字,在我使用的时候,的确是惊艳到了,ORACLE ,SQL SERVER 这样的收费数据库不能做的,PG轻易的化解,无愧是世界上最好的开源数据库了(其实去掉开源那两个字也不是担当不起)。
AustinDatabases
2019/06/21
2.7K0
PostgreSQL 流复制搭建和原理理解
基于PostgreSQL流复制的容灾库架构设想及实现
这几天在对PostgreSQL流复制的架构进行深入研究,其中一个关键的参数:recovery_min_apply_delay引起了我的注意,设置该参数的大概意思是:在进行流复制的时候,备库会延迟主库recovery_min_apply_delay的时间进行应用。比如说,我们在主库上insert10条数据,不会立即在备库上生效,而是在recovery_min_apply_delay的时间后,备库才能完成应用。
数据和云
2021/07/09
9710
docker 部署 postgresql的主从数据库
docker exec -it -u postgres pgsslave /bin/bash
liuyunshengsir
2021/09/17
1.9K0
PostgreSQl 12主从流复制及归档配置
上一篇文章说道PostgreSQL 12 的源码部署,这里我们说一下PostgreSQl 12的主从流复制和归档配置。
没有故事的陈师傅
2022/02/09
2.6K0
postgresql主从复制配置「建议收藏」
postgresql主从复制是一种高可用解决方案,可以实现读写分离。postgresql主从复制是基于xlog来实现的,主库开启日志功能,从库根据主库xlog来完成数据的同步。
全栈程序员站长
2022/09/22
3.4K0
postgresql主从复制配置「建议收藏」
Postgresql总结几种HA的部署方式
第二步:pg_basebackup -Fp -P -x -D ~/app/data/pg_root21 -l basebackup21
mingjie
2022/05/12
1.5K0
Postgresql总结几种HA的部署方式
再不了解PostgreSQL,你就晚了之PostgreSQL主从流复制部署
在MySQL被收购之后,虽然有其替代品为: MariaDB,但是总感觉心里有点膈应。大家发现了另一款开源的数据库: PostgreSQL。
sanshengshui
2019/09/11
2.5K0
再不了解PostgreSQL,你就晚了之PostgreSQL主从流复制部署
推荐阅读
相关推荐
进阶数据库系列(十五):PostgreSQL 主从同步原理与实践
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验