三年前,在第四届华为全联接大会上,华为联合绿色计算产业联盟、中国电子技术标准化研究院、安谋科技(中国)、IDC 以及产业伙伴共同发布了《鲲鹏计算产业发展白皮书》,拉开了鲲鹏计算产业崛起的大幕。据悉,鲲鹏计算产业是基于 Kunpeng 处理器构建的全栈 IT 基础设施、行业应用及服务,包括 PC、服务器、存储、操作系统、中间件、虚拟化、数据库、云服务、行业应用以及咨询管理服务等。
三年后,“鲲鹏”已经从一个单纯的处理器代号,演变成跨越基础设施软硬件、应用服务的全栈计算产业品牌:
短短三年时间,鲲鹏计算产业“展翅高飞”,蓬勃发展,持续创新,成绩令人瞩目。这样的成功实则与华为遵循的发展战略和创新机制是分不开的。
在不久前结束的鲲鹏开发者创享日武汉站,华为计算产品线技术规划部惠涛表示,四次捕获理论和大问题创新机制共同奠定了鲲鹏计算产业开放创新的基础。鲲鹏计算产业严格遵循“理论萌芽期——技术先驱期——商业赌注期——商业获利期”的“四次捕获理论,基于产业规律进行研发技术创新。具体说来,一次捕获为理论萌芽期,主要是捕获思想创新机会;技术先驱期为二次捕获,主要是捕获技术创新机会;商业赌注期是三次捕获,该阶段主要捕获产品创新机会;四次捕获为商业获利期,捕获产品跟随机会。
并且,华为还通过技术愿景到产业大问题到技术难题的逐层分解机制驱动鲲鹏计算产业技术创新,通过发现和解决世界级问题从而牵引不断涌现出世界级专家。其中,CTO 和 Fellow 作为科技外交家、产业首席,定义产业愿景、明确产业方向及中长期战略规划;领域首席专家围绕愿景和中长期规划识别产业大问题及领域创新机会;产品 / 模块架构师则结合模块和子系统需求和技术趋势识别产品技术难点。
由此可见,正是在四次捕获理论和大问题创新机制的科学指引下,鲲鹏计算产业生态能在软硬件全栈创新道路上大踏步前进,不断取得业界一流的技术成果和业务成就。
那么,鲲鹏计算产业取得了怎样的成绩?惠涛进一步给出了答案。
1 鲲鹏 SDI(业务驱动基础设施架构),引领服务器产业基础设施架构变革趋势
服务器是计算产业的基础产品,为全球计算产业提供强大的算力支持,是推动企业数字化转型以及云计算、人工智能、物联网、边缘计算等新兴技术发展的重要载体。一直以来,传统数据中心主要采用“软件 + 标准服务器”的基础设施架构,其优势在于通用性强、选项众多等。
但是,传统服务器、存储、网络资源依赖 CPU 控制。传统架构将软件应用层与存储、网络等基础设施层高度耦合的设计,越来越难以满足云端大规模、海量数据背景下的性能与成本以及运维管理等的要求。
针对此难题,华为早在 2014 年 HC 大会上便向业界推出了面向未来的“业务驱动基础设施架构”(Service Driven Infrastructure ,SDI)。据了解,它是针对云数据中心打造的,基于业务驱动的基础设施架构。该架构由 SDX(Software Defined X)软件部分和 SDI 硬件模块组成。其特点在于,专门的 SDI 硬件负责统一控制存储和网络资源,将需要稳定、可靠、高性能运行的基础设施层与客户应用实现逻辑解耦。可以实现计算、存储、网络融合,硬件资源自行池化,应用感知弹性分配;
根据统计数据显示,相比传统数据中心架构,华为 SDI 能够提升系统相关应用性能 20+%,相关场景应用时延降低 50%,在云的场景可大幅降低 TCO,并通过 SDI 控制器智能业务调度将 CPU 利用率提升 1 倍,使存储和网络性能进一步获得提升。
在 IT 资源维度上,华为 SDI 架构体现了软硬件解耦、硬件资源池化,以计算服务为中心;在客户价值维度上,它则体现出精简、高效、易用,以业务创新为中心。
某种意义上,SDI 已经成为云原生时代新一代数据中心的标准设计。自华为SDI发布8年以来,从亚马逊、微软、英伟达到英特尔等业界头部厂商都在投入大量资源发力 SDI,而华为又一次走在了产业前面。
在笔者看来,华为基于鲲鹏处理器打造了与硬件配合更为自如的 SDI 架构,让 SDI 构成鲲鹏生态核心竞争优势之一。随着 SDI 纳入鲲鹏计算产业轨道,鲲鹏平台将继续引领 IT 基础设施变革趋势,助力更多数据中心迈入云原生时代。
2 openEuler,云原生时代的大一统 OS 平台
计算产业的每一次重大变革都离不开芯片架构与操作系统的紧密配合。曾几何时 Wintel 联盟曾经主导了全球的 PC 市场生态,ARM+Android/iOS 的组合在移动浪潮中独占鳌头。如果说硬件芯片是产业大树的根基,那么操作系统如同主干一般,向下连接根部的硬件层,向上承载枝繁叶茂的应用层,在产业繁荣中发挥着中流砥柱的重要作用。
据惠涛回顾,华为于 2012 年就开始服务器 OS 的研发部署探索。四年后,曾经的华为小型机 OS 项目已经发展为成熟的服务器操作系统,应用于华为存储 / 无线产品 / 云核心网、消费者云、华为云等多个半封闭 / 开放场景中,实现规模化商用。
随着云原生大潮来临,华为意识到云原生时代需要全新的 OS,来统一从数据中心到边缘设备的一系列应用场景,为云原生应用提供一站式、全兼容的系统平台。
在着手研发鲲鹏处理器后,更需要针对其优化适配的操作系统来搭建应用生态基础,扮演类似历史上 Windows、Android 的重要角色。华为在 2019 年发布鲲鹏处理器后,迅速商用了适配鲲鹏 920 服务器的操作系统版本,为鲲鹏处理器的崛起奠定了基础。
openEuler 操作系统于 2020 年正式开源,发布 20.03 LTS 版本。一年后,它全新升级,从服务器操作系统升级为面向数字基础设施的开源操作系统,支持服务器、云计算、边缘计算、嵌入式等应用场景。并且,华为在同年向开放原子开源基金会捐赠 openEuler,使其成功演进到与合作伙伴、开发者社区“共建、共享、共治”的产业新生态。openEuler,10 年砥砺创新,走过了从自用→开放→开源,生态蓬勃发展的生长之路。如今,openEuler 开源社区已吸引 98 个特别兴趣小组、近万名开发者,国内主流操作系统厂商均推出基于 openEuler 的商业发行版,应用于政府、运营商、金融、能源、电力、交通等行业核心系统,截止目前累计装机量 170 多万套。
某种意义上,openEuler 涵盖云端、边缘等众多应用场景,支持 x86、ARM、RISC-V 等多种指令集架构体系,可谓真正实现了云原生时代的操作系统“大一统”目标。可以预见,在 openEuler 的加持下,鲲鹏计算产业获得了生态发展最关键的驱动力量,鲲鹏处理器与 openEuler 的结合有可能成为云原生时代最强悍的软硬结合阵容。
3编译器与编程语言持续创新,为鲲鹏计算提供底层性能保障
全新的指令集架构要形成“气候”,编译器与编程语言的良好支持堪称关键所在。
据惠涛表示,华为早在 2009 年即成立编译器团队,开始探索这一核心底层技术领域。历经 13 年的耕耘,编译器团队陆续发布了无线 HCC 编译器、毕昇 JDK、毕昇编译器、方舟编译器,为鲲鹏生态提供了业界一流水平的编译器能力支撑。2020 年,华为开始补全编程全栈能力,布局新语言和 IDE 业务方向,推出了仓颉编程语言。
毕昇、方舟编译器与仓颉语言将在鲲鹏生态中扮演核心角色之一,为鲲鹏平台的性能发挥与应用建设铺平道路,并不断引领更多业务机遇。
4 数据库持续创新,为鲲鹏计算产业补齐拼图
众所周知,分布式数据库是云原生时代数据库领域的最重要变革。在数据库领域,华为走过 20 余年自主研发道路,从最早在电信系统中的自用到逐步在企业核心场景的规模商用,再到成功推出华为数据库云服务,成功打造了业界领先的 Gauss 数据库品牌。
惠涛强调,华为数据库始终围绕基于完备性数学理论,根扎事务、优化、分布式、安全和数据组织等数据库根技术的研究创新,实现行业首创的 AI-Native 数据库,突破了分布式系统的香农极限,保证了多地多活乃至全球多活场景下分布式数据库的强一致性,并取得 Gauss 内存数据库 5 年零故障的优异成绩。
随着鲲鹏处理器的发布,openGauss 数据库也推出了鲲鹏版本,利用 openGauss 数据库在一致性、安全性、可靠性等方面的技术优势,补全鲲鹏生态数据库板块的拼图。
5 鲲鹏开发套件 DevKit 与应用使能套件 BoostKit:为开发者插上自由飞翔的翅膀
正所谓,“兵马未动,粮草先行“。在软件开发领域,开发工具链堪称程序员的“神兵利器”,其水平高低直接影响开发者的工作效率,间接决定应用生态的发展速度与潜能。
惠涛在演讲中指出,早在鲲鹏计算产业发展初期,华为即充分意识到开发工具链的重要性。依托多年积淀的软件研发能力,结合鲲鹏处理器的特性优势,并充分考虑开发者需求,华为推出鲲鹏开发套件 DevKit 与鲲鹏应用使能套件 BoostKit。
具体而言,鲲鹏开发套件 DevKit 1.0 版本提供代码迁移、性能分析与系统诊断工具,帮助开发者快速、低成本将现有应用迁移至鲲鹏平台,大幅降低了为鲲鹏平台移植应用的难度和风险。随着鲲鹏计算产业日益兴盛,越来越多的开发者与合作伙伴开始为鲲鹏平台开发原生应用,鲲鹏开发套件 DevKit 及时推出 2.0 版本。DevKit 2.0 专注于帮助开发者开发鲲鹏原生应用,包含鲲鹏开发框架、原生编程语言与编译器、云端自动测试平台、全场景性能调优四大模块,覆盖应用开发完整生命周期,显著降低鲲鹏原生应用开发门槛,使开发者能够将精力集中在技术和业务创新上,开发出高水平的鲲鹏原生应用。
而鲲鹏应用使能套件 BoostKit 则是在开发者追求应用极致性能的背景下诞生的。它基于硬件、基础软件和数学与算法领域的深厚积累,以及结合应用软件的全栈优化,提供一系列高性能开源组件、基础加速软件包和应用加速软件包,使能应用极致性能。BoostKit 提供海量高性能开源组件,使 90% 主流开源软件支持鲲鹏平台。它提供丰富的基础加速软件包,覆盖四子系统的性能优化方法、7 类加速库和 3 大优化方向的加速算法。并且,它还提供机器学习、图分析算法、云手机 Turbo 套件、HPC 集群多瑙套件等应用加速软件包,助力开发者实现性能倍增。最后,BoostKit 提供了大数据、分布式存储、数据库、虚拟化、ARM 原生、Web、CDN 和 HPC 八大应用场景的使能套件,提供加速数据处理、优化存储访问和提升算力部署密度等加速能力。
笔者认为,鲲鹏开发套件 DevKit 与鲲鹏应用使能套件 BoostKit 强强联合,为鲲鹏生态应用开发者提供了关键的应用开发与调优工具链,不仅将大幅减轻开发者的工作负担,而且有利于企业与合作伙伴投入更多资源进行创新探索,为鲲鹏计算产业应用生态的繁荣铺平道路。
6 全栈创新造就产业兴盛
通过软硬件、底层基础技术与上层应用服务的全方位创新迭代,如今的鲲鹏已经成为全球云原生产业的知名品牌,鲲鹏计算产业在开发者群体中的影响力持续扩大。
惠涛透露了一些数据,由此展现了鲲鹏生态与开发者携手并进的繁荣景象:
2019 年,鲲鹏社区首度上线以来,社区累计注册开发者已超过百万人,核心贡献开发者近 2 万人;鲲鹏 DevKit 与 BoostKit 下载量累计近亿人次,在线课程超过 24 万人次学习,沙箱实验超过 9 万人次,微认证超过 5 万人次;鲲鹏知识体系融入了 72 所智能基座合作高校的课程,共同为鲲鹏计算产业人才培养与社区繁荣提供源源不断的动力。全国数十个城市建设了鲲鹏生态创新中心,数千家企业的上万个创新方案获得了鲲鹏技术认证。在服务器与硬件、操作系统与虚拟化、存储、数据库、中间价、大数据、云服务、行业应用等产业细分领域,鲲鹏计算产业吸纳了上千家行业一流合作伙伴,辐射出价值超万亿元的市场潜能。
他总结道:“随着鲲鹏计算产业的高速发展,未来的鲲鹏生态将继续携手各方,共同为数字中国打造坚实算力底座和数字化基础设施。”
7 写在最后
在笔者看来,跨越软硬件、底层技术与上层应用服务的全栈创新,才是鲲鹏计算产业蓬勃发展的根本原因。在全栈创新战略的基础上,华为与合作伙伴、开发者、开源社区紧密配合,在众多细分领域持续深耕和迭代,不断推出创新产品和服务。这些成果交相辉映,共同构成鲲鹏计算产业的整体竞争优势,并反过来吸引更多开发者与合作伙伴加入生态,形成产业发展的良性循环。
在即将召开的华为伙伴暨开发者大会 2022 以及鲲鹏开发者峰会 2022上,鲲鹏将发布面向开发者的系列工具套件,助力开发者在鲲鹏生态中持续打造更优秀的产品,输出更多创新成果。点击阅读原文关注 HPDC 2022 鲲鹏专区,共同见证鲲鹏计算产业的全新旅程!