专栏首页GreenplumGreenplum集群安装配置及最佳实践
原创

Greenplum集群安装配置及最佳实践

Greenplum集群安装配置及最佳实践

目录

Greenplum集群安装配置及最佳实践 1

目录 1

1 总体介绍 2

1.1 硬件平衡 2

1.2 高可用 2

1.3 部署方案 2

1.3.1 Group Mirroring 部署方案 3

1.3.2 Spread Mirroring 部署方案 3

1.3.3 Group + Spread Mirroring 部署方案 4

2 硬件选型 4

2.1 Master 节点 4

2.1.1 网卡 4

2.1.2 内存 4

2.1.3 磁盘 4

2.1.4 CPU 5

2.2 Segment 节点 5

2.2.1 网卡 5

2.2.2 内存 5

2.2.3 磁盘 5

2.2.4 CPU 5

2.3节点配置实例 6

2.4硬件配置经验总结 6

3 硬件配置 7

1主机配置实例 7

2 磁盘的配置 7

3 网络配置 8

4 交换机配置 8

4 储存规划 9

4.1 磁盘可用空间 9

4.2 用户数据容量 9

4.3 系统数据容量 10

5 集群的配置 10

5.1 最低系统要求 10

5.2 系统设置 11

5.3 操作系统参数设置 11

5.4 I/O设置 12

5.5 其他设置 13

6 集群安装 13

6.1 安装方式 13

6.2 数据库目录 14

7 集群验证 14

7.1 硬件性能验证 14

7.2 集群初始化 15

7.3 配置文件 15

7.4 数据目录 16

7.5 pg_hba.conf 配置文件 16

7.6 安装完后的环境变量 17

8 可选组件安装 18

8.1 安装外部支持的语言 18

8.2 故障诊断 19

1 总体介绍

1.1 硬件平衡

1、性能

2、容量

3、成本

1.2 高可用

1、节点

2、网络

3、磁盘

1.3 部署方案

1、Master与Standby Master分级部署

2、Primary Segment与Mirror Segment 分机部署

3、Segment Mirroring 部署方案

3.1、Group Mirroring

3.2、Spread Mirroring

3.3、Group + Spread Mirroring

4、Pivotal Supported Greenplum 必须部署Mirroring Segment

5、铜一主机Segment个数

5.1 CPU/Core 数据

5.2 查询并发数

5.3 查询复杂度

5.3 单机Primary Segment 总数不能过多

1.3.1 Group Mirroring 部署方案

按照以下4台机器Group Mirroring的部署方案总结

缺点: 一台机器down掉后,会把流量全部放在下一个节点,下一个节点的流量会变成2倍的流量

优点: down掉一台机器后,集群能正常的提供服务,如果再down掉第二台集群就不可用

1.3.2 Spread Mirroring 部署方案

按照以下4台机器Spread Mirroring的部署方案总结

缺点: 一台机器down掉后,会把流量全部放在下两个节点

优点: down掉一台机器后,集群能正常的提供服务,如果再down掉第二台集群就不可用

1.3.3 Group + Spread Mirroring 部署方案

如果集群比较大建议使用Group + Spread Mirroring部署方案,如果集群由down流量会分流道其他的机器上,集群不可用的几率比较小。

2 硬件选型

2.1 Master 节点

2.1.1 网卡

1、2块万兆网卡内部互联

2、1-2块千兆网卡带外管理及接入客户网络

2.1.2 内存

DDR4 64GB以上,建议256G

2.1.3 磁盘

1、6块600G/900G 10k RPM SAS盘

2、采用RAID5或RAID10

3、单独预留hotspare 盘

4、1块RAID卡,cache 1GB以上,带有掉电保护功能

2.1.4 CPU

1、2路8核及以上

2、主频2.5G HZ以上

2.2 Segment 节点

2.2.1 网卡

1、2块万兆网卡内部互联

2、1-2块千兆网卡带外管理及接入客户网络

2.2.2 内存

DDR4 64GB以上,建议256G

2.2.3 磁盘

1、24块600G/900G 10k RPM SAS盘

2、采用RAID5或RAID10

3、单独预留hotspare 盘

4、1-2块RAID卡,cache 1GB以上,带有掉电保护功能

2.2.4 CPU

1、2路8核及以上

2、主频2.5G HZ以上

2.3节点配置实例

2.4硬件配置经验总结

1、磁盘故障时Greenplum集群最常见的故障

1.1分析性查询: SAS盘 > SATA盘

1.2高并发小IO查询: 优先SSD或NVMe

2、RAID级别

2.1 RAID-5 VS RAID-10

3、RAID 卡一定带Cache功能,能提高磁盘的读写性能。

4、硬件监控

5、预留灾备机

RAID-5 VS RAID-10的区别:

RAID-5:在容量上会比较大,储存会达到90%的利用率,在读写的性能上比RAID10会好一点,RAID5的可靠性会差很多。

RAID-10:冗余级别更高,储存会达到50%的利用率,当有的盘出现坏的情况下,磁盘的可靠性有保证。

3 硬件配置

1主机配置实例

一下的配置两个CPU主机的例子,两个segment两个primary两个mirror以及两个网卡的例子

2 磁盘的配置

3 网络配置

4 交换机配置

以下配置是两个交换机,配置的流量是均衡的。

4 储存规划

4.1 磁盘可用空间

4.2 用户数据容量

4.3 系统数据容量

5 集群的配置

5.1 最低系统要求

以下是系统的最低的配置

5.2 系统设置

5.3 操作系统参数设置

5.4 I/O设置

5.5 其他设置

6 集群安装

6.1 安装方式

6.2 数据库目录

7 集群验证

7.1 硬件性能验证

7.2 集群初始化

7.3 配置文件

7.4 数据目录

7.5 pg_hba.conf 配置文件

7.6 安装完后的环境变量

8 可选组件安装

8.1 安装外部支持的语言

8.2 使用gppkg 命令安装

8.2 故障诊断

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 《PostgreSQL指南内部探究》一书总结

    以下是作者对《PostgreSQL指南内部探究》的总结,分享给大家。一张长长的黄图,欢迎大家查看。如有不足的地方请大家多多指教。哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈...

    小徐
  • greenplum gpcheckperf 命令使用

    小徐
  • greenplum常用的gp_toolkit监控语句

    小徐
  • python win系统下 打开TXT文

    py3study
  • 图表的一些资源

    Flot - Flot 为 jQuery 提供的javascript代码库. 容易使用,有特色的图表,提供交互功能(能够放大缩小数据区域等)。 ? Open...

    用户1075292
  • 这个「多模态视频人物数据集」里,藏了杨幂、吴亦凡和鹿晗丨资源

    公开这个数据集的爱奇艺官方给它确认的类别名字叫“多模态视频人物数据集”,翻译成人话,就是有很多人,每个人用不同的“姿势”拍视频,收集起来攒成的数据集。

    量子位
  • 这个「多模态视频人物数据集」里,藏了杨幂、吴亦凡和鹿晗丨资源

    公开这个数据集的爱奇艺官方给它确认的类别名字叫“多模态视频人物数据集”,翻译成人话,就是有很多人,每个人用不同的“姿势”拍视频,收集起来攒成的数据集。

    量子位
  • 欧拉计划 Problem8

    题目: 连续数字最大乘积 在下面这个1000位正整数中,连续4个数字的最大乘积是 9 × 9 × 8 × 9 = 5832。

    用户4492257
  • 以电商为例,说说数据分析的5个思维方法

    数据分析真的很重要,能从一堆看似杂乱的数据里,找到问题并解决问题。从数据上的变化,来判断甄别效果得失;简直是居家旅行,运营生意的必备良品。 首先,我们要知道,...

    CDA数据分析师
  • 数据仓库③-实现与使用(含OLAP重点讲解)

    本文将对这些方面做一个总体性的介绍(尤其是OLAP),旨在让读者对数据仓库的认识提升到一个全局性的高度。 创建数据仓库 数据仓库的创建方法和数据库类似,也是通过...

    Spark学习技巧

扫码关注云+社区

领取腾讯云代金券