首页
学习
活动
专区
圈层
工具
发布

摩尔线程申请大模型训练相关方法等专利,能够降低激活值的显存占用

国家知识产权局信息显示,摩尔线程智能科技(北京)股份有限公司申请一项名为“大模型训练方法、装置、电子设备、存储介质和程序产品”的专利,公开号CN120610798A,申请日期为2025年06月。

专利摘要显示,本公开涉及一种大模型训练方法、装置、电子设备、存储介质和程序产品。所述方法包括:对于目标大模型的任意一项训练数据,将所述训练数据切分为多份分段数据,并将多份分段数据存储在非易失性存储器中,其中,多份分段数据依次进行前向传播计算和反向传播计算;对于任意一份分段数据,从非易失性存储器读取所述分段数据至显存,并通过GPU对所述分段数据执行前向传播计算,得到所述分段数据对应的激活值;对于任意一份分段数据,通过GPU基于所述分段数据对应的激活值执行反向传播计算,得到所述分段数据对应的梯度数据,并将所述分段数据对应的梯度数据从显存移动至非易失性存储器或者CPU内存。

天眼查资料显示,摩尔线程智能科技(北京)股份有限公司,成立于2020年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本40002.8217万人民币。通过天眼查大数据分析,摩尔线程智能科技(北京)股份有限公司共对外投资了12家企业,参与招投标项目10次,财产线索方面有商标信息197条,专利信息886条,此外企业还拥有行政许可3个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

来源:市场资讯

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OcTsw9QNJA0gVtLBm8i5zqAg0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券