红帽助力HPC--我在Dell&RedHat HPC研讨会上的分享

前言：今日，笔者受邀参加“Dell&RedHat HPC研讨会”。会上，分享了红帽在HPC领域的解决方案。由于很多朋友关心这个话题，因此将演讲的内容分享出来，供大家参考。PPT在书写过程中，得到了同事陈力锋的帮助，在此表示感谢。出于精研篇幅的目的，笔者对原演讲PPT做了部分裁剪。

我的介绍分为三部分，第一部分是红帽2.0的公司介绍，我会用简短的篇幅介绍一下红帽在目前做什么。第二部分，我将着重介绍目前HPC的生态环境以及红帽相关的方案。最后一部分，将会介绍红帽SOE，也就是标准操作环境解决方案。

谈到红帽，红帽在做什么产品？大多数人对于Red Hat的了解，停留在 CentOS，Redhat Linux的了解上。除此之外，做虚拟化的朋友，会了解KVM。以上对于红帽的了解，基本处于对红帽1.0时代的了解。目前，红帽公司已经进入了2.0的时代。2.0时代更加强调整体的解决方案。

红帽做的事情，是把开源社区的项目，通过自己的研发人员，进行软件稳定性测试、硬件兼容性测试等，然后发布企业级软件产品，并且最为重要的是，提供持续的技术支持，如升级服务、800技术支持服务等（例如一个大版本的RHEL最长支持10年）。相对于开源社区的版本，红帽企业版追求的是稳定性、可靠性、可维护性和可操作性。红帽把企业利润20%用于支持开源社区。所以说，红帽是连接上游社区和企业级解决方案坚固的桥梁。

在红帽的整体解决方案中，我们从下往上看。底层RHEL是红帽企业Linux操作系统；Ceph是红帽企业级SDS解决方案；RHEV是红帽的虚拟化解决方案；OpoenStack是红帽的私有云解决方案；Open Shift是红帽的PAAS方案；Red Hat Satellite为红帽所有产品提供全生命周期管理；CloudForms则是作为红帽混合云方案的管理平台，除了可以对接红帽自己的产品方案之外（如RHEV、OpenStack、OpenShift），还可以管理异构虚拟化（如vSphere）以及公有云（AWS）。

HPC广泛应用在各种领域，和我们生活比较近的有进行的汽车碰撞模拟、手机跌落模拟。数字化电影做渲染农场。往大一点看，可以做架构表面塌陷模拟、研究宇宙天文研究行星的位置和作用、全球气象预测以及、气象和温室效应研究。除此之外，HPC在电磁等研究领域也发挥重要的作用。

近些年，我国HPC发展很快，根据新一期出炉的TOP500榜单，“神威-太湖之光”系统的峰值性能、持续性能、性能功耗比等三项关键指标均为世界第一。其中，峰值性能达到12.54亿亿次每秒，这是全球首个突破十亿亿次的；持续性能达到9.3亿亿次每秒，是‘六连冠’的“天河二号”的近3倍。性能功耗比为60.51亿次/瓦，比“天河二号”节能60%。

在全球著名的超算中心中，很多使用了红帽的RHEL操作系统，如NASA、圣地亚哥超算中心和梦工厂。

HPC Cluster是一种科学计算集群，它将计算负载分布到多个计算节点(computing Node)上。整个集群作为独立实体展开计算工作。它可以处理大量的计算密集型的任务以及需要处理海量的计算数据集合。

HPC Cluster主要由以上这些部分组成：管理节点、计算节点、存储节点。

管理节点（头节点），它对整个集群进行部署、配置、监控。除此之外，它还对计算作业进行调度、管理。并对计算节点资源进行统一管理。

计算节点用于执行实际运算任务。计算节点是专为计算密集型应用设计，以满足计划用例的功能要求。计算机节点是通过管理节点配置和更新的，在集群中执行计算任务。

存储节点，是用于存放计算中的目标数据、中间数据和结果数据的存储(Storage)节点。

所有节点绝大多数情况下都使用Linux操作系统，它们之间进行数据交换和并行计算通信的高速计算互联(Interconnect)，可以使用infiniband和万兆网络等。

红帽为HPC提供计算节点、管理节点以及存储结点的linux操作系统。同时，红帽的HA还可以提供操作系统之间应用的高可用，如Apache, MySQL, and PostgreSQL等等。当一个操作系统故障以后，应用会作为资源切换到其他操作系统上。切换时通过“fencing”方式，防止数据丢失。

在任何业务系统中，数据是最重要的。数据存放离不开存储。在HPC中，常见的三种存储有三种.其中，NFS配置最简单，易用。但缺点是Nfs server是单节点，其高可用比较差，安全访问控制也不够丰富。

GFS是早期的HPC存储解决方案（一个GFS存储集群最多16个计算节点）、为计算节点提供共享文件系统。GFS的好处是解决了NFS存在的问题，缺点是其后端使用集中式FC存储，因此当计算节点数量达到一定数量以后，吞吐量会受到存储控制器带宽的限制，由于使用集中存储，其水平扩展性相对较差。

Gluster：分布式的SDS解决方案，它的节点数没有技术限制。在性能允许的情况下，可达数千，其总容量在PT级。Gluster解决了GFS水平扩展性差的问题。Gluster提供多种连接方式，Samba、NFS、FUSE等，linux原生支持FUSE。目前Gluster使用范围很广，如存放石油勘探数据、电视台多媒体渲染等。

谈到网络，我们常见的网络有：以太网、光纤网络等。但谈到高速、低延网络，我们第一时间会想到infiniband。这就不得不提到RDMA技术。RDMA的全称是：Remote Direct Memory Access，远程直接数据存取。它是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把数据直接传入计算机的内存区，将数据从一个系统快速移动到远程系统内存中，这样做一来速度开，二来降低CPU开销。

传统RDMA传输介质通过infiniband网络实现，这没有问题，但它的缺点价格高、部署不灵活。在HPC领域中，由于计算节点很多，实用传统的infiband将不利于节点的灵活扩展。而红帽操作系统支持ROCE技术（远程内存访问）：Remote direct memory access over converged Ethernet (RoCE)，可以解决这一问题。依赖于万兆以太网络，ROCE用低成本方式实现了RDMA。

从技术上讲，ROCE越过系统和内核调用，直接调用TCP(iWARP:internet Wide Area RDMA Protocol)或者infiniband（传统的RDMA）,将数据放在远端系统的内存里。这样做可以大幅降低CPU开销。ROCE对于那些高速数据交易系统，或者经常需要做分布式扩展的应用是非常有用的。

红帽的负载均衡器由两部分组成：Linux Virtual Server（LVS）和Piranha Configuration tool组成（图形化管理工具）。负载均衡器通过创建一个指向real server的VIP，可以实现应用流量和负载均衡和流量整形（可以使用图形化界面进行操作），方便用户给HPC快速增加或减少计算节点。

网络负载均衡器支持TCP和UDP类的应用。创建一个LVS，可以实现real server之间的负载均衡，通过配置两个LVS，可以实现管理系统的冗余。

红帽对每个大的RHEL版本最长提供10年的技术支持，以确保RHEL上application binary interface (ABI) and application programming interface (API) 的稳定性。

自动部署

客户采用各种开源技术实现了操作系统的批量安装和自动化部署、但是先前的做法可重复利用化程度很低，每当有项目需要进行自动部署时都需要针对该项目重新进行配置，工作量大且效率低下而且没有很好的版本管理和回退机制，也缺乏一个很好的管理界面来进行管理，希望通过有效的管理工具来实现快速部署海量服务器的问题。

软件更新

客户的服务器升级都是去红帽官方网站下载然后手工进行升级操作，实效性、可追溯性差，管理员只是被动接收来自安全部门和红帽的安全建议，希望通过一个集中展示平台，直观的看到数据中心所有linux服务器目前运行的软件版本和官方版本之间的差异、升级的类型并直接通过统一的展示界面远程直接对需要升级的服务器升级某一个软件的升级程序。

安全更新

国家现在对开源软件的安全性要求很高，行内的安全部门以及公安部会定期对所有的Linux服务器进行安全扫描并发布安全整改意见，这些意见和厂商提供的安全更新建议往往有很大的出入，迫切的需要一个工具能提供红帽产品的安全更新以及修复建议并且能结合上述的软件更新功能为系统及时的修补安全漏洞

合规性检查

客户有自己的操作系统基线，定义了一系列的标准，这些标准需要人工来实现以及更，参与Linux运维的人员也很多，每个人的能力、对操作系统的理解程度以及使用习惯的不同会造成Linux服务器的配置存在很大的差异，有无可能通过一个集中式管理工具结合客户的运行规范来实现自动化部署并且可以根据已有古规范找出个与规范之间的差异并消除

多用户、用户组管理以及访问控制

客户基于Linux的系统都是以项目（业务）的方式进行划分的，每个项目都会有相应的软件中心和数据中心的技术人员负责应用软件和操作系统的开发、部署、上线、维护等工作，为了完成这些工作需要给相应的用户赋予相应的权限以避免越权操作，希望解决在大规模Linux使用环境下用户管理和权限划分的问题。

服务器组批量操作

传统的Linux运维管理需要登录到服务器上手工或者通过执行脚本的方式来进行，对于一个项目而言，通常几台甚至几十台服务器的配置和运行环境是完全一样的，希望能实现像操作一台服务器那样操作一组服务器，执行一次操作就可以对该组内所有服务器都生效，即对一组服务器可批量进行升级、部署、管理和维护的工作

正是因为在运维中，我们们遇到各种各样的问题，因此标准化才显得尤为重要。在IT行业，标准化的重要性我这里就不在赘述了。一般来说，企业的成熟度越高，IT的成熟度也越高。而IT的成熟度取决于三个方面：人、流程、工具。下面我会分别进行介绍。

在三个要素中，工具、流程、人相互依存，缺一不可。

为了帮着客户实现标准操作环境，参考GartnerIT基础架构和运维成熟度模型中的技术维度，我们根据在Linux领域长期的经验，提出OS运维成熟度模型。该模型分为五个级别。

级别1：没有标准

IT规模很小的客户，IT只负责安装系统和处理问题。

级别2：开始制定IT标准。

IT规模大一些的客户，操作系统的安装就需要有标准，否则相同版本的操作系统不同的人安装，由于安装模式不同，可能装的五花八门。补丁也需要关注，但这个阶段采取的方式通常还是手工下载补丁包、手工打补丁。配置管理则是依据编写的文档手工修改。日志和告警需要手工检查，安全策略通过配置防火墙测试实现。

级别3：关注标准的执行

IT规模比较大的客户，操作系统安装就需要从手工安装转化为自动化安全。而补丁管理需要使用yum源。配置方面，则需要使用批量脚本进行批量执行。需要定期巡检。安全漏洞则需要定期扫描。这个规模的客户，IT制度需要严格执行。

级别4: 关注执行过程中产生记录，统一管理

对大型的企业，需要做操作系统版本管理。而补丁管理，也需要集中管理。配置管理则需要在级别3的批量脚本执行上，使用git或SVN进行统一管理。告警和日志也需要做集中管理，把操作系统和应用日志做统一收集和分析。安全漏洞方面，也需要做集中管理，以提高效率，避免出错。

级别5.实现开发运维一体化

DevOps作为模型中的最高级别，目的是提升产品的研发速度缩短新产品的发布周期。系统版本使用容器技术进行分层管理。补丁管理、配置管理、日志告警、安全漏洞的管理均实现了自动化。

在OS成熟度模型中，大多数客户处于级别二到级别三的转化中。而红帽卫星，是能帮助客户将OS运维成熟度模型提到到四级（以红帽卫星为主，结合开源工具ELK）。而从四级到最终第五级的Devops，则需要OpenShift解决方案以及Ansible等工具。

总结：

在当前，大型企业的数据中心，Linux系统的比重也来越高。而在HPC领域，Linux操作则占绝对主导地位。随着Linux系统数量的剧增，标准化和自动化运维显得越来越重要。作为Linux市场的领导者，红帽除了可以为HPC提供稳定可靠的Linux操作系统之外，还可以提供GFS/Glutser存储解决方案。而使用红帽的SOE工具，即红帽卫星，将有助于客户实现Linux运维的标准化和自动化，提升OS运维成熟度等级。