AI 技术讲座精选:ChainerMN 分布式深度学习的性能

2017深度学习峰会于今年1月在旧金山落下帷幕。会上,PFN 发布了其在多节点环境下使用 Chainer 的分布式深度学习所取得的进展。在今天的这篇文章中,我会对 PFN 发布的这份报告作出详细的解释。

尽管 GPU 的性能正在不断提升,为了实现更高精度而使用更大的训练数据集,导致神经网络模型的参数和训练模型的计算成本也在不断的上升。在单 GPU上,若是使用包含 Chainer 的框架来训练模型,可能会花费一周多的时间。为了处理大型训练数据集,也为了提高迭代试错的效率,将多个 GPU 整合到一起来加速训练过程尤为重要。鉴于此,PFN 开发了一个名为 ChainerMN(Chainer Multi-Node)的程序包,在 Chainer 中增加了分布式训练的功能。

ChainerMN 的实现本质

现行的分布式训练的实现方式借助的是数据并行计算的方法,特别是模型同步更新。在这种方法中,每个工作单元都含有现行的模型,所有工作单元共同作用于某个小型数据集,将其分解为一个个更小的子集,随着每次的迭代过程而进行梯度计算。

ChainerMN 运用 MPI 进行节点间的通信,网路基础架构(如 Infiniband 等)的速度越快,对其越有利。而 GPU 之间的结点内通信运用的则是 Nvidia 的 NCCL。

性能评估结果

我们在 ImageNet 分类数据集上对 ChinerMN 的性能进行了评估,选用的是 CNN 模型(ResNet-50)。所有实验的运行环境,均由 Sakura 网络提供。更多细节请参考文章底部附件所示的试验设定。

请注意:在下文的评估中,我们会努力做到公平比较,如有偏颇,敬请谅解。首先,ChainerMN 对于实验环境已经做出了高度的优化,因为 ChainerMN 就是基于环境而开发的。其次,在后面的对比中,针对于其他架构的调试工作可能会不足,但我们已经尽力了。我们仔细地阅读了官方的文档和教程,甚至也包括 Github 上出现的问题。为了鼓励更多的人参与我们的实验,我们计划公开此次实验的代码以及其他相关框架的代码。

ChainerMN 的性能

下图表示的是,GPU 个数的增加量与训练时间缩短量之间的关系。当达到相同的点的时候,训练结束。当 GPU 的数量为4个时,只需要使用一个节点;而当其数量变为8个或者更多时,则需要多个节点。当设定使用128个 GPU 且对训练过程加速100倍时,训练的结果非常接近理想加速曲线。

下图展示的是学习曲线,横轴和纵轴分别代表计算时间和确认准确率。曲线中不是很平滑的部分是学习率乘以0.1的结果(每30个点之后),是 ImageNet 任务在初始阶段的常见现象。

对比其他框架

下图展现的是不同的框架结构使用128个 GPU 时的计算时间。让我们感到惊奇的是(PFN 开发团队同样感到惊奇),ChainerMN 是同类产品中计算速度最快的!接下来,我们会通过其他实验研究该结果出现的原因。

接下来的这张图片展示的是,当改变 GPU 的数量时,不同框架的生产能力的变化。由于迭代次数比较少,测试得到的框架的生产力看起来有些不稳定,但其变化趋势是非常明显的。当 GPU 的数量为1时,MXNet 和 CNTK 的速度比 ChainerMN 要快,主要原因是前两个框架是用 C++ 实现的,而 Chainer 是用 Python 实现的。当 GPU 的数量为4时,只有 MXNet 的速度稍有下降。这是因为,CNTK 和 ChainerMN 在不同 GPU 之间通过 Nvida 的 NCCL 而收集信息。另一方面,在多节点设置中,MXNet 和 ChainerMN 展现出了比 CNTK 更好的可扩展性。在节点间和节点内通信的速度性能的比拼结果中,当 GPU 的数量为128时,ChainerMN 的生产能力最好,速度最快。

请注意:在分析 TensorFlow 结果的时候,我们必须非常小心,因为 TensorFlow 在单机模式下已经足够快了。当 GPU 的数量为1时,TensorFlow 的性能表现的不是很好,这是因为它和其他的框架一样用的是分布式。由于使用 gRPC 框架在工作处理器和独立参数服务器间进行通讯,很可能带来了巨大的损耗。即便是在使用1个 GPU 的情况下,分布式 TensorFlow 的性能与其独立模式下的性能也是不一样的。这个结果与先前某些第三方针对分布式与多 GPU TensorFlow 性能测试的报告不谋而合,参见:

  • [1] “BenchmarkingState-of-the-Art Deep Learning Software Tools”(https://arxiv.org/abs/1608.07249v6), Shaohuai Shi etal., arXiv 2017.
  • [2] “Deep Learning Performance with P100 GPUs”(http://en.community.dell.com/techcenter/high-performance-computing/b/general_hpc/archive/2016/11/11/deep-learning-performance-with-p100-gpus), Rengan Xu and Nishanth Dandapanthu. Dell EMC HPC Innovation Lab.October 2016.

分布式深度学习所遇到的困难和挑战

分布式深度学习其中一个主要困难就是,较高的生产能力并不意味着更好的学习效率。例如,在数据并行方法中,如果增加 GPU 的数量,相应微型数据集的大小也会增加。然而,当微型数据集的大小超过某个特定的阈值时,就会严重影响到模型的升级,同时也会降低确认准确率。这是因为,训练的点数虽然相同,但迭代的次数却会依次减少,模型的成熟度难以达到。另外,随着梯度偏差变得越来越小,众所周知,模型很容易陷入局部最小值(极小值),使得最终模型的泛化能力不强。

不考虑环境而只考虑生产力的基准测试结果是没有意义的。如果仅仅通过相对大型的数据集活着降低了的模型同步频率,来猜测模型拥有很高的生产能力,毫无意义。因此,尽管 GPU 有足够的存储能力,我们仍会选取相对小的数据集来获得相对可靠的准确性。

未来

从二月开始,通过在 Preferred Networks 进行的内部测试,根据测试反馈回来的结果,我们对 ChainerMN 进行了完善,计划在未来几个月内发布这款开源的软件——ChainerMN。

附件:性能评估的部分细节

实验环境:

  • 32 nodes,128 GPUs in total
  • 节点

1) GPU:4*GeForce GTX TITIAN X(Maxwell)

2) CPU:2*Intel(R) Xeon(R) CPU E5-2623 v3 @3.00GHz

3) Network: InfiniBand FDR 4X

实验设定:

  • Dataset: ImageNet-1k (1,281,158 images,already resized to 256x256 pixels before training)
  • Model: ResNet-50 (input image size: 224x224)
  • Training

1) Batch size: 32 per GPU (32 x #GPU is thetotal batch size)

2) Learning rate: multipy 0.1 after every 30epochs

3) Optimizer: Mometum SGD (momentum=0.9)

4) Weight decay: 0.0001

5) Training epoch: 100

请注意:以上设定根据的是原始文档 ResNet Paper[3]。然而,在训练的过程中我们既没有用到颜色扩充,也没有用到范围扩充,在确认的时候我们也没有用到 10-crop 预测和全卷积预测。即便是在这样的情况下,ChainerMN 的准确率依然达到了71%-72%,居于首位。该结果看起来非常合乎情理,也是已知的当下的最好结果。

  • [3] “Deep Residual Learning for ImageRecognition”(https://arxiv.org/abs/1512.03385),Kaiming He et al., CVPR 2016.

本文由 AI100 编译,转载需得到本公众号同意。


编译:AI100

原文链接:http://chainer.org/general/2017/02/08/Performance-of-Distributed-Deep-Learning-Using-ChainerMN.html


原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2017-02-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

机器学习的5种“兵法"

在研究机器学习中,理论在其整个自上而下方法中试用于哪里呢? 在传统的机器学习教学中,丰富的数学理论知识对于理解机器学习是至关重要的,我的机器学习教学方法通常是教...

19670
来自专栏IT派

Python做机器学习之路

导语:Python 可以说是现在最流行的机器学习语言,而且你也能在网上找到大量的资源。你现在也在考虑从 Python 入门机器学习吗?本教程或许能帮你成功上手,...

56570
来自专栏ATYUN订阅号

【行业】使用深度学习来简化科学图像分析

AiTechYun 编辑:nanan ? 组装高质量的图像数据集 该显微镜主要用于成像应用程序,来分析每天TB数据。这些应用程序可以通过计算机视觉和深度学...

29340
来自专栏企鹅号快讯

分享一波关于做 Kaggle 比赛,Jdata,天池的经验,看完我这篇就够了

本文作者Jasperyang,毕业于BUPT。本文原载于知乎专栏,AI 研习社授权转载。 Kaggle 的数据挖掘比赛近年来很火,以至于中国兴起了很多很多类似的...

86680
来自专栏PaddlePaddle

【AI核心技术】课程七:计算机视觉深入认知

UAI与PaddlePaddle联合推出的【AI核心技术掌握】系列课程持续更新中!

11830
来自专栏AI研习社

分享一波关于做 Kaggle 比赛,Jdata,天池的经验,看完我这篇就够了。

Kaggle 的数据挖掘比赛近年来很火,以至于中国兴起了很多很多类似的比赛,做了两个这种类型的比赛了,Jdata 用户商品购买预测和用户位置精准预测,积累了相当...

67440
来自专栏机器之心

只需十四步:从零开始掌握Python机器学习(附资源)

选自kdnuggets 作者:Matthew Mayo 机器之心编译 参与:黄小天、吴攀、晏奇、蒋思源 Python 可以说是现在最流行的机器学习语言,而且你也...

387110
来自专栏IT派

Python机器学习入门到进阶

导语:Python 可以说是现在最流行的机器学习语言,而且你也能在网上找到大量的资源。你现在也在考虑从 Python 入门机器学习吗?本教程或许能帮你成功上手,...

47930
来自专栏量子位

业内最大规模多标签图像数据集开源 | GitHub资源

上个月,腾讯AI实验室宣布开源多标签图像数据集ML-Images,以及业内目前同类深度学习模型中精度最高的深度残差网络ResNet-101.

37410
来自专栏新智元

【大咖读论文】田渊栋评 DeepMind 深度强化学习的异步算法

【新智元导读】在ICML2016上,谷歌 DeepMind 有9篇论文被接收,新智元特邀Facebook 人工智能实验室研究员田渊栋对其中的《 深度增强学习的异...

42350

扫码关注云+社区

领取腾讯云代金券