霸榜IO500，华为存储将HPC性能天花板提升15倍

近日，存储圈又有炸裂新消息。

高性能计算（HPC）领域最具影响力的IO500最新一期榜单公布，以华为OceanStor Pacific分布式存储为核心底座的Cheeloo-1系统表现一骑绝尘，在最重要的10节点榜单中以创纪录的13万总得分位列第一，性能是上届冠军的15倍之多。

无疑，这份超高的存储性能成绩具有里程碑意义：不仅体现出华为OceanStor Pacific分布式存储强大的产品力，更标志着分布式存储在高性能计算领域的重要性愈发突出，甚至加速拉开了高性能计算向HPDA（High Performance Data Analytics，高性能数据分析）演进的序幕。

HPDA是HPC新的制高点

数据正在深刻影响高性能计算领域。

众所周知，随着数字经济高速发展，数据已是最重要的生产要素之一，其对于各行各业的影响日渐凸显，高性能计算领域也不例外。过去，能源勘探、基因测序、气象预测、类脑研究、灾害模拟等是典型的HPC场景，侧重数值计算，计算是绝对主角；如今，HPC场景则走向HPC+AI+大数据融合，“数据要素”扮演的角色愈发引人瞩目，成为科学研究、自动驾驶等诸多HPC场景的新型驱动力。

例如，华西医院的精准医疗研究，其一台基因测序仪一年产生的原始数据和膨胀数据高达8.5PB，研究人员在海量基因数据中进行多组学数据分析，首次将人类全基因组分析推进到了分钟级时代，对精准医疗发展意义重大；在气象预测方面，预测模型加入更多维度的海量数据，意味着气象预测可以更加快速和精准，对于防灾、生产等有着明显指导作用；在如火如荼的自动驾驶场景，模拟和验证阶段的数据量高达数百PB，汽车厂商们利用海量数据来训练更高级的自动驾驶方案……

人们依靠数据密集型应用，进行海量数据实时分析，并寻找相关性，从而获得新发现。HPDA的发展对于国民经济有着重要的价值与意义，同时也给时代提出了更为严苛的诉求，数据密集型应用具有不可重复性、高度不确定性、高维、计算高度复杂等特性，且众多HPC系统与应用从“数值计算型”向“数据密集型”演进，这对互联带宽和存储IO响应有着极高的要求。

对于HPC而言，应用类型的转变标志着过去重计算、轻存储的“偏科生”建设模式，其瓶颈日益突出，加速向HPDA（High Performance Data Analytics，高性能数据分析）平台演进是必然趋势。这也意味着，注重数据存储建设、关注数据价值释放将成为HPC的长期任务。

毫无疑问，业界早已意识到数据存储对于HPC发展的重要性。去年，CCF高性能计算专家委员会、信通院等单位联合推出的《高性能计算系统性能评价白皮书》首次提出的综合评价体系中，就将数据存储多个指标纳入其中，提倡算力、存力平衡设计与建设的模式。

此外，从2017年11月开始，全球顶级高性能计算会议都会发布IO500榜单，与TOP500榜单并列，将数据存储与计算并列为HPC重要的评估指标。事实上，从近年来IO500榜单的变化，我们明显感受到HPDA对于分布式存储带来的变革性影响。

从IO500读懂分布式存储趋势

毫无疑问，高性能计算是分布式存储的高价值应用场景。在传统HPC向HPDA演进的过程中，分布式存储扮演着关键角色，支撑起海量数据高性能并行访问与计算的高吞吐、高IOPS、混合负载等需求。

如何评价分布式存储的性能优劣？IO500榜单在2017年11月横空出世，凭借其全面、严格和科学的标准化性能测试套件，以及贴近用户实际环境和使用状况的测试配置与方法，IO500已经成为HPC领域针对存储性能的国际权威排行榜，更是分布式存储发展趋势的风向标。

IO500每半年发布一次，包括 “总榜单”和“10节点榜单”两类，其中“10节点榜单”非常贴近用户真实的使用情况，其测试结果也非常便于用户做横向对比，对用户的参考价值极高。

经过将近6年的持续发展与完善，IO500更像是分布式存储产品先进技术的“试验场”和产品力的“比武擂台”。在HPC场景下，对于架构、性能、带宽、容量、延迟等持续增加的需求，各大用户和厂商们不断摸索、构建出新的分布式存储产品方案，在你追我赶中提升了分布式存储的特性，切实推动了分布式存储的发展。

例如，HPC从侧重数值计算向HPC+AI+大数据融合，带来的是应用负载类型的多样化和复杂化，直接推动着分布式存储多协议和混合负载特性的发展。像自动驾驶场景，数据处理流程复杂，从数据导入、预处理到训练、仿真、结果分析，不同的数据处理环节，使用到的协议类型不尽相同，如果每个环节都采用一套存储，则会大幅提升数据存储成本和数据管理的复杂度，而支持多协议互通的分布式存储，无疑成为了解决这一难题的关键。

再如，在IO500榜单中，用户与数据存储厂商携手打造的分布式存储方案，在稳定性、可靠性等方面比开源方案更胜一筹，逐渐成为了HPC的主流建设模式。众所周知，随着应用类型的转变，HPC应用的长期稳定运行极为关键，对于可靠性和可用性也愈发重视。比如，气象预测和灾难模拟等典型场景，对数据的时效性和业务连续性要求极高，一旦发生中断，将带来一系列连锁反应，而分布式存储日渐发展出的高稳定和高可靠的特点，则满足了这些典型场景的需求。

综合来看，HPC已经成为推动分布式存储技术、产品和方案发展的重要抓手，像分布式存储的支持混合负载、多协议互通、数据高可用、全闪化等特性，均在HPC场景中得到实践和应用。

事实上，华为OceanStor Pacific分布式存储在HPC领域的成功就是最好的例子。作为常年霸榜IO500的分布式存储产品，华为OceanStor Pacific凭借多年的深耕细作，在HPC场景中不断积累与创新，取得多项关键技术的突破，实现产品与用户的双赢。

华为分布式存储：五边形战士一骑绝尘

在本次IO500榜单中，以华为OceanStor Pacific分布式存储为核心底座的Cheeloo-1系统，搭载了全新研制的OceanFS2新一代并行文件系统，真正打破了HPC在存储层的关键性能瓶颈，在总体得分、带宽性能、元数据性能等五个维度上的得分均遥遥领先，堪称全能型的五边形战士。

在满足HPC各项存储需求的基础上，华为OceanStor Pacific分布式存储如何做到在综合性能上比其他厂商快得多？这得益于华为在分布式存储领域始终如一的研发创新，逐步在应用、算法、网存和架构四个层面，形成综合优势。

出处:IO500官网

首先，在应用层面，华为OceanStor Pacific分布式存储打造了应用感知的DataTurbo数据加速引擎，利用融合数据格式、近数据处理和特征处理算子卸载加速等创新技术，实现了对各种HPDA 应用的性能加强。

比如，针对HPDA中愈发密集、愈发不可或缺的大数据环节，数据处理流程的各类ETL严重影响了数据处理效率，而OceanStor Pacific分布式存储灵活对接各种大数据引擎的“基操”，实现了数据湖和数仓之间的数据共享，大幅减少了ETL的需求。

再例如，DataTurbo数据加速引擎在存储侧为计算引擎开启缓存能力，通过自动缓存热点数据进行预处理，并在多个计算集群之间共享缓存数据，以削除计算侧加载时的资源消耗和时延，实现效率60倍提升，让数百PB数据查询缩减至10秒。

其次，在算法层面，华为OceanStor Pacific分布式存储采用业内独创的SmartBalance全均衡设计，实现数据类型和I/O流的智能感知，解决CPU算力不足或调用堆栈深度等软件问题引起的IOPS瓶颈、HPC多流程跨系统的数据迁移、数据膨胀等难题。

比如，华为OceanStor Pacific的大小IO分流处理技术，实现了在一套存储中带宽、IOPS和OPS性能全优，单节点性能达到了20GB/s的带宽和20万IOPS，是业界的最高水准。

此外，独创的融合非结构化元数据索引，实现文件、对象和大数据等原生多协议无损互通，一份数据多端调用。并且，针对数字化病理、卫星遥感、基因测序等，华为采用智能感知语义格式、多模态聚合、智能分区编码等技术，进行场景化二次压缩算法，将压缩比例提高了30~80%。

华为的算法创新在真实HPC场景中有何价值？以其独创的融合非结构化元数据索引为例，在科学计算等典型的HPC场景中，创建数据集一直都是老大难的问题，动辄又数十TB的数据集，过去如果需要创建多个数据集，以满足不同研发团队的需求，往往需要通过数据复制的方式，效率极其低下；如今，利用融合非结构化元数据索引，则不需要通过数据复制的方式，一份数据集能够轻松被多端灵活调用。

第三，在网存层面，华为OceanStor Pacific通过自研的网络芯片支持RoCE，以及RDMA和IP的访问能力。在同时支持带宽、IOPS等不同类型的业务时，可以智能调整网络的相关参数，提供更好的拥塞控制，从而大幅降低不同存储节点间的数据交换时延。

最后，在架构层面，华为OceanStor Pacific采用全对称架构，实现了智能IO路径与磁盘管理，以及极高的数据可靠性保护，大幅领先开源方案。众所周知，Lustre等开源分布式存储在HPC领域被多年应用，但Lustre的非对称架构、IO路径漫长、磁盘碎片化严重、无冗余保护等劣势，在如今的HPC场景中逐渐凸显，越来越多用户开始转向以华为OceanStor Pacific为代表的商用方案，从而在架构、性能和可靠性方面获得更好的保障。

写在最后

根据Gartner 2022年存储和数据保护技术成熟度曲线(Hype Cycle for Storage and Data Protection Technologies, 2022)，分布式文件系统、对象存储、容器原生存储等分布式存储热门技术，在未来2-5年里将进入高优先级。这也预示着，分布式存储会存储市场中呈现势不可挡的爆发。

凭借多年来在分布式存储领域的关键技术积累与突破，华为分布式存储已成为该领域的翘楚，在市场份额、行业覆盖、产品竞争力等多方面遥遥领先。

以市场为例，华为分布式存储作为连续多年冲入Gartner文件与对象存储魔力象限的唯一中国厂商，在全球份额上也令人惊喜。

国内市场上，华为分布式存储连续六年高居市场第一，早已执掌半壁江山。放眼全球，2022年全球二级存储收入排名第二，达到总份额的25%，以18%的增速远超其他对手。

在行业覆盖方面，华为分布式存储在欧洲、中东、拉美和亚太等地区的关键业务场景，均实现了大规模突破，除了高性能计算之外，还包括教育科研、金融、医疗保健、媒体娱乐、交通安平、大数据分析等行业。

据IDC预测，到2025年，中国的数据量将增长到48.6ZB，成为全球最大的数据圈，其中80%是非结构化数据，这无疑对擅长存储和处理非结构化数据的分布式存储有着长期需求。随着中国数字经济持续高速增长，数据要素、东数西算、产业数字化等战略的出台，存储成为了最重要的数字底座，而华为分布式存储凭借过硬的产品力、强大的方案以及联合创新的模式，能够为数字底座筑造最为牢固的数字基石。