首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >GPFS 3.4 的配置变更与性能评估

GPFS 3.4 的配置变更与性能评估

作者头像
魏新宇
发布2018-03-22 12:09:02
1.7K0
发布2018-03-22 12:09:02
举报

GPFS 的概念

GPFS 的全称为:General Parallel File System,即通用并行文件系统。IBM GPFS 是一个可自由扩展的高性能并行文件系统,它主要有以下三个特点:

  • 基于高可用的集群架构,可灵活扩展
  • 支持并行的共享磁盘访问方式,提供单一命名空间
  • 针对并行 I/O 负载优化,提供极高的 I/O 处理能力

本文主要立足于 GPFS 配置的变更与性能的测试,因此 GPFS 的安装,在本文不做赘述。

GPFS 的配置变更

动态增加一个 NSD client

我们以一个 6 节点的 GPFS 集群为例:

图 1. 查看一个 6 节点的 GPFS 集群

首先,设置 NSD server 对 NSD 磁盘的访问顺序,以便实现负载均衡和多路径。

修改之前,需要先卸载所有节点上的 gpfs 文件系统:

图 2. 卸载一个 GPFS 文件系统

设置磁盘的访问优先级:

mmchnsd "nsd1:78001_lpar2,78001_lpar3,78002_lpar1"
 mmchnsd "nsd2:78001_lpar2,78001_lpar3,78002_lpar1"
 mmchnsd "nsd3:78001_lpar3,78001_lpar2,78002_lpar2"
 mmchnsd "nsd4:78002_lpar1,78002_lpar2,78002_lpar3"
 mmchnsd "nsd5:78002_lpar2,78002_lpar1,78002_lpar3"
 mmchnsd "nsd6:78002_lpar3,78002_lpar2,78002_lpar1"
 mmchnsd "nsd7:78002_lpar4,78002_lpar2,78002_lpar1"
 mmchnsd "nsd8:78002_lpar1,78001_lpar2,78001_lpar3"
 mmchnsd "nsd9:78002_lpar2,78001_lpar3,78002_lpar3"
 mmchnsd "nsd10:78001_lpar3,78002_lpar3,78001_lpar2"

然后,确认变更已经生效:

图 3. 查看 NSD 磁盘访问路径

接下来,给 GPFS 集群增加第 7 个节点“78001_lpar1”

首先确认节点 78001_lpar1 不属于任何 GPFS 集群:

图 4. 查看节点状态

如果不进行任何配置,直接向集群增加节点会报错 :

图 5. 增加集群节点

必须在所有节点上(包括第 7 个节点)编辑 /etc/hosts 和 /.rhosts 两个配置文件

图 6. 修改系统配置文件

再次添加第 7 个节点,可以成功:

图 7. 增加集群节点

检查添加结果,第 7 个节点已经添加成功:

图 8. 检查增加结果

将第 7 个节点设置成仲裁节点:

图 9. 设置仲裁节点

接下来,启动第 7 个节点:

图 10. 启动节点

现在,第 7 个节点已经处于活动状态 :

图 11. 检查节点状态

在第 7 个节点上挂载 GPFS 文件系统,文件系统能够挂载成功 :

图 12. 检查文件系统状态

动态删除一个 NSD client

以 7 节点的 GPFS 集群为例:

图 13. 查看集群的信息

下面的操作将删除第 7 个节点:78001_lpar1。

若节点处于活动状态,删除将会失败 :

图 14. 删除集群节点

因此需要,先将节点 78001_lpar1 关闭:

图 15. 关闭集群节点

检查状态,已经处于关闭的状态 :

图 16. 查看集群节点状态

再次删除节点,可以成功;

图 17. 删除集群节点

GPFS 的性能评估

本章将会以测试的方式验证 GPFS 的并发读写特性,包含读测试、写测试以及读写混合测试。

本测试以 P7-780 服务器作为试验机,配置为 64 个处理器、512 GB 内存,然后划分 6 个 LPAR,每个 LPAR 的配置为:10C 处理区 /64G 内存。操作系统版本为 AIX 6106,GPFS 的版本为 GPFS3.4。

并发写测试:首先,为测试编写一些简单的测试脚本:

“start_write.sh”脚本,用于在所有节点上对 GPFS 文件系统中的一个发起并发写:

图 18. 并发写脚本

“view_status.sh”脚本用于监控 GPFS 集群所有节点上的 I/O 性能:

图 19. 实时性能监控脚本

“kill_dd.sh”脚本用于杀死所有节点上的 dd if 进程:

图 20. 杀死进程脚本

“monitor.sh” 脚本用于启动 nmon 进程,“kill_monitor.sh”用于杀死 nmon 进程:

图 21. 启动 nmon 与终止 nmon 脚本

现在,启动并发写测试:

然后,观察所有节点上的 I/O 性能:

图 22. 观测节点 I/O 性能

并发写测试结果分析

从上面的结果可以看出,GPFS 集群所有节点对 GPFS 文件系统中同一个文件的写操作是并发的,虽然各个节点的 IOPS 和吞吐量在同一时刻并不相同,但整体而言,各个节点对于文件系统中的同一个文件的写操作的 IOPS 和吞吐量是比较平稳的,这充分验证了 GPFS 作为并发文件系统的优良特性。

并发读测试

停掉所有节点上的 dd if 进程:

图 23. 杀死 dd if 进程

编写一个简单的脚本“start_read.sh”,以便进行并发读测试:

图 24. 并发读脚本

运行“start_read.sh”脚本,然后运行“view_status.sh”脚本来检测实时读:

图 25. 观测节点 I/O 性能

并发读测试结果分析

从上面的结果可以看到,GPFS 集群所有节点对 GPFS 文件系统中同一个文件的读操作是并发的,虽然各个节点的 IOPS 和吞吐量在同一时刻并不相同,但整体而言,各个节点对于文件系统中的同一个文件的读操作的 IOPS 和吞吐量是比较平稳的,这充分验证了 GPFS 作为并发文件系统的优良特性。

  • 长时间并发混合读写测试 在所有的节点上,对 GPFS 文件系统中的同一个文件发起读写操作: 图 26. 发起混合读写压力

两个小时以后,利用“Nmon analyzer”分析收集到的 nmon 结果,可以看出所有节点对文件系统的同一文件的读写的并发的,但所有节点上的 IOPS 和吞吐量并不时刻相同: 图 27. 观测节点 I/O 性能

  • 长时间并发混合读写测试结果分析 可以看到,GPFS 集群所有节点对 GPFS 文件系统中同一个文件的混合读写操作是并发的,虽然各个节点的 IOPS 和吞吐量在同一时刻并不相同,但整体而言,各个节点对于文件系统中的同一个文件的读操作的 IOPS 和吞吐量是比较平稳的;并且,通过长达两个小时的大量混合读写,GPFS 文件系统并未出现报错以及其他任何问题,这充分验证了 GPFS 作为并发文件系统的优良特性以及稳定性。

总结

本文通过一系列测试,验证了 GPFS 的并发读写特性:GPFS 集群中的多个节点可以同时对 GPFS 文件系统中的同一个文件进行并发读写,并且吞吐量和 IOPS 比较平稳。这一点,可以提高客户应用的性能以及稳定性,是十分有用的。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2016-04-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大魏分享 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • GPFS 的配置变更
    • 动态增加一个 NSD client
      • 动态删除一个 NSD client
      • GPFS 的性能评估
        • 并发写测试:首先,为测试编写一些简单的测试脚本:
          • 并发写测试结果分析
            • 并发读测试结果分析
            • 总结
            相关产品与服务
            负载均衡
            负载均衡(Cloud Load Balancer,CLB)提供安全快捷的流量分发服务,访问流量经由 CLB 可以自动分配到云中的多台后端服务器上,扩展系统的服务能力并消除单点故障。负载均衡支持亿级连接和千万级并发,可轻松应对大流量访问,满足业务需求。
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档