腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

IT派

专栏作者

703

文章

725607

阅读量

67

订阅数

你也可以训练超大神经网络！谷歌开源GPipe库

神经网络 bash

深度神经网络（DNN）推动了许多机器学习任务的发展，包括语音识别、视觉识别、语言处理。BigGan、Bert、GPT2.0取得的近期进展表明，DNN模型越大，其在任务中的表现越好。视觉识别领域过去取得的进展也表明，模型大小和分类准确率之间存在很强的关联。例如，2014年ImageNet视觉识别挑战赛的冠军GoogleNet以400万的参数取得了74.8%的top-1准确率，但仅仅过了三年，冠军的宝座就被Squeeze-and-ExcitationNetworks抢去，后者以1.458亿（前者的36倍还多）的参数量取得了82.7%的top-1准确率。然而，在这段时间里，GPU的内存只提高了3倍左右，当前最优的图像模型却已经达到了谷歌云 TPUv2的可用内存。因此，我们急需一个能够实现大规模深度学习并克服当前加速器内存局限的可扩展高效架构。

2019-06-10

6220

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态