PostgreSQL集群篇——2、PG环境安装准备
PostgreSQL集群篇——2、PG环境安装准备
PostgreSQL集群篇——2、PG环境安装准备
作者
标签
PostgreSQL,PG,集群,DBA,架构师,PG安装,编译安装
背景QQQ
PostgreSQL官方文档中讲到了多种高可用、负载均衡和复制特性解决方案，如下图所示：
特性 | 共享磁盘故障转移 | 文件系统复制 | 预写式日志传送 | 逻辑复制 | 基于触发器的主-备复制 | 基于语句的复制中间件 | 异步多主控机复制 | 同步多主控机复制 |
|---|---|---|---|---|---|---|---|---|
最通用的实现 | NAS | DRBD | 内建流复制 | 内建逻辑复制，pglogical | Londiste，Slony | pgpool-II | Bucardo | |
通信方法 | 共享磁盘 | 磁盘块 | WAL | 逻辑解码 | 表行 | SQL | 表行 | 表行和行锁 |
不要求特殊硬件 | • | • | • | • | • | • | • | |
允许多个主控机服务器 | • | • | • | • | ||||
无主服务器负载 | • | • | • | • | ||||
不等待多个服务器 | • | with sync off | with sync off | • | • | |||
主控机失效将永不丢失数据 | • | • | with sync on | with sync on | • | • | ||
复制体接受只读查询 | with hot | • | • | • | • | • | ||
每个表粒度 | • | • | • | • | ||||
不需要冲突解决 | • | • | • | • | • |
我们在集群环境中使用这些技术，首先需要考虑的是我们目前面临的是什么问题，例如我现在面临的就是高并发问题如何来解决，按照上述图表中我选择了流复制解决方案。
在流复制解决方案中分为同步、异步两种，异步流复制通常采用的是基于wal日志来传送的方式进行，从节点通常比主节点要少一个wal日志块的数据，这给我们并发查询造成了影响，因此这里我们需要采用同步流复制解决方案，其采用的是数据流的方式，就像小溪一样，水一直流淌着，多条分支最终汇总到一处，同时接收处也在一直存储着。
流复制是从2010年推出pg9.0版本以后开始的，其版本到目前经历的阶段如下：
版本 | 方式 | 描述 |
|---|---|---|
PostgreSQL9.0 | 流式物理复制 | 开始支持流式物理复制，用户可以通过流式复制构建只读备库 |
PostgreSQL9.1 | 同步流复制 | 开始支持同步复制，只支持一个同步流复制节点，同步流复制能保证数据的0丢失 |
PostgreSQL9.2 | 级联流复制 | 开始支持联流复制，备库下面还可以再连接备库，形成级联架构 |
PostgreSQL9.2 | 流式虚拟备库 | 开始支持虚拟备库，即备库中没有数据文件，只包含wal文件。 |
PostgreSQL9.4 | 逻辑复制 | 开始支持逻辑复制，逻辑复制可以应对部分表复制的功能。 |
PostgreSQL9.6 | 同步流复制改版 | 同步流复制允许多个备用服务器以提高可靠性。 |
PostgreSQL10 | 使用发布/订阅进行逻辑复制 | |
PostgreSQL11-13 | 持续优化 |
本次我们将采用PostgreSQL13.1版本进行搭建同步流复制环境，数据库安装我们采用了编译安装，如不清楚怎样安装，请查看之前的文章《PostgreSQL集群篇——1、PG环境安装准备》
环境
PostgreSQL集群篇整体采用3台虚拟机进行搭建，相关情况如下：
服务器IP | 端口号 | CPU | 内存 | 存储 | 作用 |
|---|---|---|---|---|---|
10.28.1.181 | 5100 | 4核 | 8G | 200G | 主master节点， |
10.28.1.182 | 5100 | 4核 | 8G | 200G | 从slave节点， |
前期准备
1、修改内核参数
sudo vim /etc/sysctl.conf
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 65536 # 系统最大打开文件描述符数
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 1048576
net.core.rmem_max = 1048576
net.core.wmem_default = 262144
net.core.wmem_max = 262144 sudo sysctl -pmaster主节点内容：
1、在master与slave节点上面设置全局Host
sudo vim /etc/hosts在内容顶部增加如下配置
10.28.1.181 master 10.28.1.182 slave 10.28.1.210 vip</pre>
2、对master节点的访问配置文件进行修改设置
su postgres
cd /pg/data
vim pg_hba.conf 在host all all 127.0.0.1/32 trust下面添加两行信息 # IPv4 local connections:
host all all 127.0.0.1/32 trust
# 放开全局访问，任何IP都可以使用md5加密的方式，使用任何账号访问任何数据库
host all all 0.0.0.0/0 md5
# 放开repuser用户，可以通过slave主机名（IP）通过md5的效验方式进行访问replication
host replication repuser slave md53、进入master数据库中，创建一个账号，用于我们同步过程中使用，这个账号可以自定义，这里我们使用repuser
postgres@pgserver:/pg$ psql -p5100 -h127.0.0.1
psql (13.1)
Type "help" for help.
postgres=# CREATE USER repuser replication LOGIN CONNECTION LIMIT 3 ENCRYPTED PASSWORD 'repuser';
CREATE ROLE4、修改postgresql.conf文件使其具备主节点所需条件
当然你也可以采用如下方式进行简单配置，完成简单的复制设置。
vim postgresql.conf
# - Connection Settings -
listen_addresses = '*'
port = 5100注意：在PostgreSQL12及以上版本，我们如果要实现一个简单的复制设置仅需修改一下监听即可，其他均可使用默认设置，直接就具备主节点条件。
当然我们也可以采用另一种方式，在其postgresql.conf底部找到#include_dir = '...' 参数，更改为include_dir = 'conf.d' ，并在其配置文件所在目录下创建conf.d文件夹，使用本文中提供的配置文件上传至该目录中，则需要设置的复杂参数均完成替换，这里面包含了多个文件，对其8G环境下的优化后的配置参数，通常使用这套配置后的端口是5100，可根据自己需要进行修改。这里我们推荐按照上方步骤逐渐进行。本集群篇中整个完成后我们将获得到和配置仓库中提供的配置文件一样的配置。
5、重启master主节点
systemctl restart postgresql
# 或
pg_ctl restart6、验证主节点是否已完成
postgres@pgserver:/pg$ psql -p5100 -h127.0.0.1
psql (13.1)
Type "help" for help.
postgres=# select pg_is_in_recovery();
pg_is_in_recovery
-------------------
f
(1 row)
postgres=# pg_is_in_recovery显示为f，代表着我们的主节点设置完毕了，下面我们开始进行从节点的设置。
我是一个明显的分割线
slaver从节点内容：
1、在slave节点中备份master的数据目录
注：在第一篇时，我们已经初始化了slave节点，这里我们需要先做一个删除$PGDATA目录的操作，让其重新根据master备份过来。
rm -rf $PGDATA主要命令：
pg_basebackup -h master -p 5100 -U repuser -D $PGDATA -Fp -Xs -R -P -vpg_basebackup被用于获得一个正在运行的PostgreSQL数据库集簇的基础备份。 -D directory 将输出写到哪个目录。如果必要，pg_basebackup将创建该目录及任何父目录。 -Fp 把输出写成平面文件，使用和当前数据目录和表空间相同的布局。 -X stream 在备份被创建时通过流复制传送预写式日志。这将开启一个到服务器的第二连接并且在运行备份时并行开始流传输预写式日志。 -R --write-recovery-conf 在输出目录中（或者当使用 tar 格式时在基础归档文件中）建立 standby.signal 并附加连接设置到postgresql.auto.conf 来简化设置一个后备服务器。postgresql.auto.conf文件将记录连接设置（如果有）以及pg_basebackup所使用的复制槽，这样流复制后面就会使用相同的设置。 -P --progress 启用进度报告。 -v --verbose 启用冗长模式，可以理解为输出备份过程数据。
查看postgresql.auto.conf配置文件，检查是否包含了以下配置信息：
# Do not edit this file manually!
# It will be overwritten by the ALTER SYSTEM command.
primary_conninfo = 'user=repuser password=repuser channel_binding=disable host=master port=5100 sslmode=disable sslcompression=0 ssl_min_protocol_version=TLSv1.2 gssencmode=disable krbsrvname=postgres target_session_attrs=any'如果不包含，则修改postgresql.conf文件中primary_conninfo参数。
注：任何在数据库中执行命令修改参数的操作，都将存储在postgresql.auto.conf配置文件文件中
2、修改本机的postgresql.conf文件中以下参数，这里可根据自己需求进行修改。
# - Connection Settings -
listen_addresses = '*' # what IP address(es) to listen on;
# comma-separated list of addresses;
# defaults to 'localhost'; use '*' for all
# (change requires restart)
port = 5100 # (change requires restart)
max_connections = 2000 # (change requires restart)3、启动slave节点，并连接数据库测试
systemctl start postgresql
或
pg_ctl start如果找不到pg_ctl，可以执行source /etc/profile让其在当前用户下生效系统环境变量。
postgres@pgserver:/pg/data$ psql -p5100 -h127.0.0.1
psql (13.1)
Type "help" for help.
postgres=# select pg_is_in_recovery();
pg_is_in_recovery
-------------------
t
(1 row)
postgres=# pg_is_in_recovery显示为t，表示其已经是从节点数据库了，这时我们去master节点中连接数据库并确认一下是否可见该节点。
postgres@pgserver:/pg$ source /etc/profile
postgres@pgserver:/pg$ psql -p5100 -h 127.0.0.1
psql (13.1)
Type "help" for help.
postgres=# select * from pg_stat_replication;
pid | usesysid | usename | application_name | client_addr | client_hostname | client_port | back
end_start | backend_xmin | state | sent_lsn | write_lsn | flush_lsn | replay_lsn | write_lag |
flush_lag | replay_lag | sync_priority | sync_state | reply_time
-------+----------+---------+------------------+-------------+-----------------+-------------+-------------
------------------+--------------+-----------+-----------+-----------+-----------+------------+-----------+
-----------+------------+---------------+------------+-------------------------------
68980 | 16384 | repuser | walreceiver | 10.28.1.182 | slave | 52046 | 2021-01-25 0
9:53:57.757238+00 | | streaming | 0/50009E0 | 0/50009E0 | 0/50009E0 | 0/50009E0 | |
| | 0 | async | 2021-01-26 03:13:15.806144+00
(1 row)
postgres=# 这里我们可以看到slave节点已经上线，并正常运行了。
至此我们搭建完成了主备流复制环境，可以开始我们下一步的学习了。
本文声明
知识共享许可协议 本作品由 cn華少 采用 知识共享署名-非商业性使用 4.0 国际许可协议 进行许可。