Greenplum备份安全与高可用

Greenplum备份安全与高可用

学习地址: https://www.bilibili.com/video/BV1s54y127ex 目录

Greenplum备份安全与高可用

目录

1 Greenplum高可用

1.1 管理节点

1.2 数据节点

1.3 交换机

1.4 服务器

1.5 Master高可用

1.6 Segment高可用

1.7 系统表高可用

1.8 系统视图高可用

2 Greenplum安全

2.1 身份认证

2.1.1 pg_hba.conf配置连接类型

2.1.2 pg_hba.conf配置连接数据库

2.1.3 pg_hba.conf配置连接用户

2.1.4 pg_hba.conf配置连接网络地址

2.1.5 pg_hba.conf配置用户的认证方法

2.2 数据库连接和数据加密

2.2.1 客户端和主数据库之间的链接使用SSL加密

2.2.2 gpfdist加密数据和链接

2.2.3 静态数据加密

2.3 授权

2.3.1 授权的对象及权限

2.3.2 SHA-256加密用户密码

2.3.3 设置用户的访问时间

2.4 审计

3 Greenplum 备份

3.1 gpbackup 和gprestore

3.2 Full Backups

3.3 Incremental Bckups

3.3.1 Supported woth

3.3.2 Back up an AO table if one of the following operations is performed

3.4 gpbackup_manager 管理工具

3.5 Other backup tools

1 Greenplum高可用

Greenplum数据库软件自身具备多层次容错和冗余功能，同时对于底层硬件设备，Greenplum也提供了很多容错机制要求，以保证系统7*24不间断的运行处理:

1.1 管理节点

1、部署2台管理节点，为1主1备(Standby)方式

2、主管理节点和Standby管理节点自动数据同步。

3、主管理节点失败时切换到Standby管理节点。

1.2 数据节点

1、采用镜像技术，将数据节点的primary实例的数据自动镜像到位于其他数据节点的mirror实例中。

2、Primary实例故障时，自动侦测并启动镜像实例，保证用户数据完整和服务不中断。

1.3 交换机

1、系统一般部署2台网络交换机。

2、正常情况下，2台交换机同时工作，另外1台将进行冗余保护。

1.4 服务器

1、硬件组件冗余保护(Fan,PSU...)

2、服务器硬盘Raid 5保护。

3、更换新磁盘后Raid 5 data自动重建。

1.5 Master高可用

Master与standby master之间是通过WAL机制实现日志的实时更新。可以通过gpstate -f查看详细信息。

1.6 Segment高可用

在GP 6.x也是使用的WAL机制实现的流复制的机制，可以通过gpstate -m 查看信息以及gprecoverseg来恢复节点。

1.7 系统表高可用

系统表gp_segment_configuration进行维护所有节点包括master，standby信息，可以通过select * from gp_segment_configuration where status = ‘d’ 查看

1.8 系统视图高可用

系统视图gp_stat_replication包含walsender进程的复制状态统计信息。

2 Greenplum安全

2.1 身份认证

1、Handles the user anthentication

2、The file is located in $MASTER_DATA_DIRECTORY

3、Comments are ignored

4、File is read line by line

5、First matching line is used

6、All subsequent lines are ignored

7、Pessimistic - if no grants,then deny access

8、To be able to access to a Greenplum database from a distant host,the couple role/host has to be set in the configuration file pg_hba.conf

2.1.1 pg_hba.conf配置连接类型

Type of connection:

local : Connection is coming in over the Unix Domain Socket

host : Connection over the network ,encryption is optional

hostssl : Connection over the network ,encryption is enforced

hostnossl: Connection over the network ,no encrytion

2.1.2 pg_hba.conf配置连接数据库

Name of database:

1、Database name, or list of database names separated by comma

2、‘all’ for all databases

3、@followed by filename : file containing databases , one per line

2.1.3 pg_hba.conf配置连接用户

Name of the user:

1、Role name,or list of role names separated by comma

2、‘all’ for all roles

3、@followed by filename,file containing role names, one per line

4、+role name: a group where access is granted all members of this group

2.1.4 pg_hba.conf配置连接网络地址

Network address

1、only for host ,hostssl and hostnossl(1st column)

2、Network address might be an IPv2 or IPv6 address

2.1.5 pg_hba.conf配置用户的认证方法

Authentication method:

trust : 该模式可以不用密码直接连接数据库，不安全，一般用于集群内部局域网内

reject：该模式表示拒绝所有请求

md5 : 该模式较常用，发送之前使用md5算法加密的密码

password : 该模式是使用明文密码进行身份认证

ldap : 使用LDAP服务器认证

gss : 用GSSAPI和Kerberos认证用户，只对TCP/IP链接可用

pam: 使用操作系统提供的可插入认证模块服务(PAM)认证

redius:用RADIUS服务器认证

cert : 使用SSL客户端证书认证

Ident: 通过获取客户端的操作系统用户名，检查是否与被访问的数据库用户名匹配

2.2 数据库连接和数据加密

2.2.1 客户端和主数据库之间的链接使用SSL加密

OpenSSL

$GP_HOME/etc/openssl.cnf

Configuring postgresql.conf

1、ssl boolean Enables SSL connections

2、ssl_ciphers string

3、ssl_cert_file = ‘server.crt’

4、ssl_key_file = ‘server.key’

SSL server files in the Master and all Segment Data Directory

1、server.crt Server certificate

2、server.key Server private key

3、root.crt Trusted certificate authorities

2.2.2 gpfdist加密数据和链接

Greenplum 数据允许对分发服务器，gpfdist和segment主机之间传输的数据进行SSL加密

gpfdist --ssl

gpload.yaml SSL_

CREATE EXTERNAL TABLE ext_expenses (name text,date date,amount float4,category text,desc1 text) LOCATION(‘gpfdist://etlhost-1:8081/*.txt’,’gpfdist://etlhost-2:8082/*.txt’) FORMAT ‘TEXT’(DELIMITER ‘|’ NULL ‘’);

2.2.3 静态数据加密

使用pgcrypto模块，加密/解密 功能的保护数据库中的静态数据

1、pgcrypto Supported Encryption Functions

2、General Hashing Functions

digest()

hmac()

3、Password Hashing Functions

crypt()

gen_salt()

4、PGP Encryption Functions

pgp_sym_encrypt()

pgp_sym_decrypt()

pgp_pub_encrypt()

pgp_pub_decrypt()

5、Raw Encryption Functions

encrypt()

decrypt()

2.3 授权

2.3.1 授权的对象及权限

2.3.2 SHA-256加密用户密码

show password_encryption;

password_encryption

----------------------------

on

set password_hash_algorithm = ‘SHA-256’;

show password_hash_algorithm;

password_hash_algorithm

-------------------------------

SHA-256

select rolpassword from pg_authid where rolname = ‘testdb’;

rolpassword

----------------------

md5cd60468d9c0660a0b414b77befc289a3

drop role testdb;

create role testdb with password ‘123456’ login;

select rolpassword from pg_authid where rolname = ‘testdb’;

rolpassword

-----------------------------------------------------

sha2562f3d7e9c0c03e6dfc8b3caffac9d20508132d11ef1da985dbb5152d04e100f19

2.3.3 设置用户的访问时间

alter role testdb deny between day ‘Monday’ TIME ‘02:00’ AND DAY ‘Monday’ TIME ‘04:00’;

alter role testdb drop deny for day ‘Monday’;

2.4 审计

pg_log/gpdb-2020-*.csv

1、startup and shutdown of the system

2、segment database failures

3、SQL statements and information

4、SQL statements that result in an error

5、all connection attempts and disconnections

gplogfilter -f ‘panic’ 2020-08*.csv > log.panic

3 Greenplum 备份

3.1 gpbackup 和gprestore

1、Designed to improve performance , funcctionality ,and reliability of backups

2、gpbackup utilizes ASSECC SHARE LOCK at the individual table level instead of EXCLUSIVE LOCK on pg_class catalog table。

3、This enables to run DDL statements during the backup like CREATE,ALTER,DROP,,and TRUNCATE as long as these aren`t on the table currently being backed up.

3.2 Full Backups

全备份

gpbackup --dbname mytest --backup-dir /mybackup

增量备份的全备份

gpbackup --dbname mytest --backup-dir /mybackup --leaf-partition-data

DataDomain备份

gpbackup --dbname demo --single-data-file -plugin-config /home/gpadmin/ddboost-test-config.yaml

3.3 Incremental Bckups

Incremental backups are efficient when the total amount of data in append-optimized table partitions or column-oriented tables that changed is small compared to the data has not changed

3.3.1 Supported woth

Column-and row-oriented append-only tables

At the partition level of AO tables

3.3.2 Back up an AO table if one of the following operations is performed

ALTER TABLE

DELETE

INSERT

TRUNCATE

UPDATE

DROP and then re-create the table

gpback --dbname mytest --backup-dir /mybackup --leaf-partition-data --incremental

3.4 gpbackup_manager 管理工具

显示有关现有设备的信息，删除现有备份或加密安全储存

gpbackup_manager list-backups

gpbackup_manager display-report 20190612154608

gpbackup_manager delete-backup 20190612154608

gpbackup_manager delete-backup 20190612154608 --plugin-config ~/ddboost_config.yaml

3.5 Other backup tools

1、pg_dump

2、pg_dumpall