索尼刷新纪录,训练ImageNet仅用224秒,准确率达75%

编译:chux

出品:ATYUN订阅号

索尼的研究人员宣布了训练ImageNet / ResNet 50的新纪录,通过使用2100个NVIDIA Tesla V100 Tensor Core GPU,仅用224秒(3分44秒)就可以获得75%的准确率,对于ResNet-50来说这是训练时间是最短的。

该团队还通过1088个NVIDIA Tesla V100 Tensor Core GPU实现了超过90%的GPU缩放效率。

使用ImageNet / ResNet-50的训练时间和验证准确性

索尼团队在论文中表示,“随着深度学习的数据集和深度神经网络(DNN)模型大小增加,训练模型所需的时间也在增加。”

为了实现这一记录,研究人员解决了大规模分布式训练的两个主要问题:大型的小批量训练的不稳定性和同步通信开销。

“我们采用批量控制技术来解决大型的小批量不稳定问题,”研究人员说,“我们还开发了一种2D-Torus all-reducing方案,以便有效地在GPU之间交换梯度。”

2D-Torus作为有效的通讯拓扑结构,减少了集体操作的通讯开销。

团队指出,“我们使用神经网络库(NNL)及其CUDA扩展作为DNN训练框架,我们还使用了基于NNL 1.0.0版本和CUDA 9.0版本的开发分支结构,cuDNN7.3.1版本在GPU中训练DNN。”

索尼表示,“我们使用NCCL版本2.3.5和OpenMPI版本2.1.3作为通讯库。2D-Torus all-reduce用NCCL2实现。上述软件封装在Singularity容器中。我们使用Singularity 2.5.2版本来运行分布式DNN训练。”

论文:nnabla.org/paper/imagenet_in_224sec.pdf

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT派

11 个Javascript机器学习库

Brain.js是一个Javascript库,用于替代(现在已弃用的)“ 脑 ”库的神经网络,该库可与Node.js一起使用或在浏览器中使用(注释计算),并为不...

1324
来自专栏量子位

深度学习动手入门:GitHub上四个超棒的TensorFlow开源项目

问耕 编译自 Source Dexter 量子位 出品 | 公众号 QbitAI 作者简介:akshay pai,数据科学工程师,热爱研究机器学习问题。Sour...

5719
来自专栏专知

基于深度学习的文本生成【附217页PPT下载】

【导读】文本生成是许多NLP应用程序的关键组件。在数据驱动方法中,它用语言表达知识库的内容或从丰富的语言产生自然英语句子表示,例如依赖树或抽象含义表示。另一方面...

2325
来自专栏新智元

谷歌最强NLP模型BERT官方代码来了!GitHub一天3000星

昨天,谷歌在GitHub上发布了备受关注的“最强NLP模型”BERT的TensorFlow代码和预训练模型,不到一天时间,已经获得3000多星!

2913
来自专栏机器之心

资源 | Python上的图模型与概率建模工具包:pomegranate

47111
来自专栏机器之心

资源 | DLL:一个炙手可热的快速深度神经网络库

1738
来自专栏人工智能

TensorFlow图像分类教程

云栖君导读:深度学习算法与计算机硬件性能的发展,使研究人员和企业在图像识别、语音识别、推荐引擎和机器翻译等领域取得了巨大的进步。六年前,视觉模式识别领域取得了第...

3576
来自专栏机器之心

资源 | 谷歌全attention机器翻译模型Transformer的TensorFlow实现

选自GitHub 机器之心编译 参与:黄小天、Smith 谷歌前不久在 arXiv 上发表论文《Attention Is All You Need》,提出一种完...

50411
来自专栏MelonTeam专栏

老司机用神经网络带您安全驾驶

0 概述 随着今年深度学习的热潮的来临,神经网络已经被应用在越来越多的应用中。而在印象中对于神经网络进行训练的往往需要借助大量的计算资源与数据。其实通过一定的...

2555
来自专栏人工智能头条

TensorFlow 发布新版本v1.9(附应用实践教程)

【人工智能头条导读】TensorFlow 是一个开放源代码软件库,用于进行高性能数值计算。借助灵活的架构,用户可以轻松地将计算工作部署到多种平台(CPU、GPU...

813

扫码关注云+社区

领取腾讯云代金券