人工智能开源发展对于拓展人工智能产业应用,充分发挥人工智能对产业的赋能起着重要支撑作用,这一点正在成为全球人工智能行业的共识。在海外,TensorFlow、PyTorch 等人工智能框架,在借助开源建设社区生态,吸纳全球开发者、推进人工智能创新的同时,还拓展了人工智能在产业界和学界的应用。
在中国,也有越来越多的开发者和企业意识到了人工智能开源发展的重要性,中国人工智能领域开源项目不断涌现。经 InfoQ 研究中心统计,目前人工智能领域国内开源项目已经超过 100 个,其中高度活跃开源项目占比超过 40%。
政策端方面,《新一代人工智能发展规划》更是将开源开放作为人工智能发展的四大基本原则之一,进一步夯实人工智能需要开源发展的重要性。
因此,InfoQ 研究中心希望通过《中国开源生态系列图谱—人工智能领域》的研究和撰写,以生态图谱的形式,简单且清晰地展现中国目前人工智能领域开源的发展现状,并总结经验,为广大人工智能领域的开发者和开源社区提供参考。根据 InfoQ 研究中心搜集整理,我国目前人工智能开源项目主要可以分为 4 大技术板块,分别是 AI 框架、AI 算法模型、数据集和机器学习 / 深度学习平台。
1 中国 AI 框架类开源项目数量突破 30 个
AI 框架是人工智能基础软件的核心,在整个人工智能体系中起着“承上启下”的作用。目前,虽然国内 AI 框架开源项目在不断突破的情况下,数量已超过 30 个,但项目影响力和活跃度方面仍有待提升,接近半数的框架开源项目未能获得持续更新。此外,除了科技厂商,高校科研院所也开始逐渐重视 AI 框架的研发,探索适用科研的 AI 框架。
2 中国人工智能领域涌现大量预训练大模型开源项目
AI 框架领域外,预训练大模型在人工智能通用性方面的效果和作用不断获得行业认可,盘古、孟子、文心、哪吒、M6-OFA、PLUG 等预训练大模型开源项目不断累积。这使得 AI 框架需要支持大规模预训练模型的训练,或具备原生支持大模型的特性。同时也有大模型开源项目在尝试商业拓展,探索模型即服务(MaaS)的模式。
此外,机器学习 / 深度学习平台开源项目一般在开源 AI 框架以外,还会开源各类官方组件,以覆盖模型开发、训练、推理及部署全流程。同时,易用性、灵活性、兼容性和安全性,是平台类开源项目所追求的技术特性。
为了更好地了解中国人工智能开源项目的发展情况,InfoQ 研究中心结合国内外代码托管平台 GitHub 和 Gitee 的相关数据,从代码健康和社区活跃等角度分析现有云原生开源项目。可以看出,排名前列的人工智能开源项目主要为 AI 框架类和由此延伸的机器学习 / 深度学习平台类项目。
备注:InfoQ开源项目指数主要由代码健康和社区活跃两大维度构成,每个维度下设4个子指标,共计8个子指标,用于多维度评价开源项目,主要数据来源包括Github和X-Lab的openleaderboard。
在研究众多项目后,我们发现类似操作系统,人工智能开源项目普遍重视上下游和应用生态的构建,但项目类型在一定程度上影响了项目的技术立足点。在这里,我们选择飞桨 PaddlePaddle、昇思 MindSpore、OpenMLDB 进行进一步阐述。
3 上下游和应用生态是核心
社区运营方面,人工智能项目运营的核心在于通过开源社区构建上下游和应用生态。
OpenMLDB 连通上游数据源与下游框架 & 模型,拓展开源生态。此外,飞桨 PaddlePaddle 和昇思 MindSpore 在生态方面注重产业界和学界科研界,构建基于实际应用场景的开源生态。
在此基础之上,昇思 MindSpore 社区一直保持技术运营的专业性,核心成员均为研发出身,熟悉掌握 AI 技术,使得 MindSpore 社区运营能够从开发者体验出发,抓住开发者的核心痛点,打造极简易用的开发套件,降低开发者的使用门槛。
技术特性方面,人工智能开源项目存在一定的差异性。
飞桨 PaddlePaddle 和昇思 MindSpore,都注重提升其易用性,但飞桨 PaddlePaddle 主要基于多层次产品结构,降低整体开发的使用门槛,昇思 MindSpore 则在此基础上建立了易用性 SIG,利用聊天机器人、工具套件实现提升开发者使用框架的易用性。此外,昇思开源团队打造了昇思大模型平台,让所有开发者能直接体验昇思大模型的在线推理服务,也联结全球化平台 HuggingFace,为全球开发者提供多样性算力的体验服务。
OpenMLDB 则立足线上线下计算一致性和硬实时计算两大技术特性,构建实时特征计算平台。
当然,InfoQ 研究中心也关注到开源不仅发生在云原生领域,因此我们还将继续发布其他领域(大数据、架构、前端、中间件等)的开源生态图谱系列报告,欢迎大家持续关注。
点击底部阅读原文查看报告全文,获取更多精彩内容!