首页
学习
活动
专区
工具
TVP
发布

腾讯发布超大预训练系统派大星,性能优于微软DeepSpeed

近日,腾讯微信AI团队联合Tencent NLP Oteam于GitHub上发布开源项目派大星“PatrickStar”。该开源项目将聚焦解决GPT、BERT等超大模型训练时产生的“GPU内存墙”问题,使用更为创新的异构内存管理方法,让相同配置的机器能够训练更大的模型,以更节能环保的方式让预训练模型普惠每位NLP社区用户。经测试结果显示,派大星性能表现优于微软DeepSpeed,在不到5000元价位的个人游戏电脑上,即可训练一个7亿参数的GPT模型。

以GPT、BERT为代表的预训练模型(PTM)是自然语言处理(NLP)领域的核心技术,但由于GPU硬件的存储空间有限,PTM的可训练规模难以突破,专业人员称之为"GPU内存墙",同时, PTM预训练的过程具备高耗能、高成本、高碳等弊端——往往训练一次万亿级别的预训练模型要烧掉154万人民币,消耗的电能制释相当于数十辆小汽车从出厂到报废的碳排放总和。

为攻克该痛点,腾讯微信AI团队联合TencentNLP Oteam从头搭建了派大星。它通过细粒度的方式管理模型数据,更有效使用了异构内存空间,进一步突破PTM模型规模的极限。同时,派大星的设计比同类方法占用更低内存使用,减少了CPU和GPU之间数据搬移开销,从而显著提升了计算资源的利用率。并且,派大星可以和多种并行训练方式正交使用。比如,派大星使用微软提出的零冗余优化器来实现单机多卡的数据并行。

实验结果表明,派大星将模型规模上限在目前最佳方案DeepSpeed的基础上提升了 1.5 倍,并且展现了明显高于DeepSpeed的计算效率。这将极大降低了PTM训练过程中的碳排放,以技术优化的方式助力低碳环保事业。

目前,派大星已参与到微信搜一搜、微信对话开放平台、小微智能音响等产品研发工作中,助力降低GPU卡使用数量,提升机器的利用率,减少数据中心的碳排放规模。接下来,微信AI团队也将持续深化开源技术的研发及应用,以创新促进行业发展及生态建设。

  • 发表于:
  • 原文链接http://news.51cto.com/art/202111/688598.htm
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券