Greenplum集群安装配置及最佳实践

Greenplum集群安装配置及最佳实践

目录

Greenplum集群安装配置及最佳实践 1

目录 1

1 总体介绍 2

1.1 硬件平衡 2

1.2 高可用 2

1.3 部署方案 2

1.3.1 Group Mirroring 部署方案 3

1.3.2 Spread Mirroring 部署方案 3

1.3.3 Group + Spread Mirroring 部署方案 4

2 硬件选型 4

2.1 Master 节点 4

2.1.1 网卡 4

2.1.2 内存 4

2.1.3 磁盘 4

2.1.4 CPU 5

2.2 Segment 节点 5

2.2.1 网卡 5

2.2.2 内存 5

2.2.3 磁盘 5

2.2.4 CPU 5

2.3节点配置实例 6

2.4硬件配置经验总结 6

3 硬件配置 7

1主机配置实例 7

2 磁盘的配置 7

3 网络配置 8

4 交换机配置 8

4 储存规划 9

4.1 磁盘可用空间 9

4.2 用户数据容量 9

4.3 系统数据容量 10

5 集群的配置 10

5.1 最低系统要求 10

5.2 系统设置 11

5.3 操作系统参数设置 11

5.4 I/O设置 12

5.5 其他设置 13

6 集群安装 13

6.1 安装方式 13

6.2 数据库目录 14

7 集群验证 14

7.1 硬件性能验证 14

7.2 集群初始化 15

7.3 配置文件 15

7.4 数据目录 16

7.5 pg_hba.conf 配置文件 16

7.6 安装完后的环境变量 17

8 可选组件安装 18

8.1 安装外部支持的语言 18

8.2 故障诊断 19

1 总体介绍

1.1 硬件平衡

1、性能

2、容量

3、成本

1.2 高可用

1、节点

2、网络

3、磁盘

1.3 部署方案

1、Master与Standby Master分级部署

2、Primary Segment与Mirror Segment 分机部署

3、Segment Mirroring 部署方案

3.1、Group Mirroring

3.2、Spread Mirroring

3.3、Group + Spread Mirroring

4、Pivotal Supported Greenplum 必须部署Mirroring Segment

5、铜一主机Segment个数

5.1 CPU/Core 数据

5.2 查询并发数

5.3 查询复杂度

5.3 单机Primary Segment 总数不能过多

1.3.1 Group Mirroring 部署方案

按照以下4台机器Group Mirroring的部署方案总结

缺点: 一台机器down掉后，会把流量全部放在下一个节点，下一个节点的流量会变成2倍的流量

优点: down掉一台机器后，集群能正常的提供服务,如果再down掉第二台集群就不可用

1.3.2 Spread Mirroring 部署方案

按照以下4台机器Spread Mirroring的部署方案总结

缺点: 一台机器down掉后，会把流量全部放在下两个节点

优点: down掉一台机器后，集群能正常的提供服务,如果再down掉第二台集群就不可用

1.3.3 Group + Spread Mirroring 部署方案

如果集群比较大建议使用Group + Spread Mirroring部署方案，如果集群由down流量会分流道其他的机器上,集群不可用的几率比较小。

2 硬件选型

2.1 Master 节点

2.1.1 网卡

1、2块万兆网卡内部互联

2、1-2块千兆网卡带外管理及接入客户网络

2.1.2 内存

DDR4 64GB以上，建议256G

2.1.3 磁盘

1、6块600G/900G 10k RPM SAS盘

2、采用RAID5或RAID10

3、单独预留hotspare 盘

4、1块RAID卡，cache 1GB以上，带有掉电保护功能

2.1.4 CPU

1、2路8核及以上

2、主频2.5G HZ以上

2.2 Segment 节点

2.2.1 网卡

1、2块万兆网卡内部互联

2、1-2块千兆网卡带外管理及接入客户网络

2.2.2 内存

DDR4 64GB以上，建议256G

2.2.3 磁盘

1、24块600G/900G 10k RPM SAS盘

2、采用RAID5或RAID10

3、单独预留hotspare 盘

4、1-2块RAID卡，cache 1GB以上，带有掉电保护功能

2.2.4 CPU

1、2路8核及以上

2、主频2.5G HZ以上

2.3节点配置实例

2.4硬件配置经验总结

1、磁盘故障时Greenplum集群最常见的故障

1.1分析性查询: SAS盘 > SATA盘

1.2高并发小IO查询: 优先SSD或NVMe

2、RAID级别

2.1 RAID-5 VS RAID-10

3、RAID 卡一定带Cache功能，能提高磁盘的读写性能。

4、硬件监控

5、预留灾备机

RAID-5 VS RAID-10的区别:

RAID-5:在容量上会比较大，储存会达到90%的利用率，在读写的性能上比RAID10会好一点,RAID5的可靠性会差很多。

RAID-10:冗余级别更高，储存会达到50%的利用率，当有的盘出现坏的情况下，磁盘的可靠性有保证。

3 硬件配置

1主机配置实例

一下的配置两个CPU主机的例子,两个segment两个primary两个mirror以及两个网卡的例子

2 磁盘的配置

3 网络配置

4 交换机配置

以下配置是两个交换机，配置的流量是均衡的。

4 储存规划

4.1 磁盘可用空间

4.2 用户数据容量

4.3 系统数据容量

5 集群的配置

5.1 最低系统要求

以下是系统的最低的配置

5.2 系统设置

5.3 操作系统参数设置

5.4 I/O设置

5.5 其他设置

6 集群安装

6.1 安装方式

6.2 数据库目录

7 集群验证

7.1 硬件性能验证

7.2 集群初始化

7.3 配置文件

7.4 数据目录

7.5 pg_hba.conf 配置文件

7.6 安装完后的环境变量

8 可选组件安装

8.1 安装外部支持的语言

8.2 使用gppkg 命令安装

8.2 故障诊断