业界 | 百度引入Ring Allreduce算法,大规模提升模型训练速度

AI科技评论消息,美国西部时间2月21日,百度硅谷人工智能实验室(SVAIL)宣布将Ring Allreduce算法引进深度学习领域,这让基于GPU训练的神经网络模型的训练速度显著提高。

Ring Allreduce是高性能计算(HPC)领域内一个众所周知的算法,但在深度学习领域内的应用相对较少。而百度SVAIL实验室研究员Andrew Gibiansky也录制了一个视频介绍了关于Ring Allreduce的基本情况。

高效并行训练的需求

随着神经网络参数越来越庞大,从几亿个参数与到数十亿参数,所需的GPU运算节点也在增加。然而,节点数量越多,整个系统的效率就会降低。

深度学习在多个GPU上训练神经网络通常比较困难,因为大家普遍采用的方法是,让多个GPU把数据发送给一个reducer GPU上,这会造成一种通信瓶颈,整个训练速度会因此拖慢。而且要训练的数据越多,则带宽瓶颈问题就显得越严重。

而ring allreduce算法移除了这种瓶颈,减少GPU发送数据花费的时间,而把时间更多用在处理有用工作上。SVAIL发布的博文中这样说道:

“ring allreduce 是这样一种算法——其通信成本是恒定的,与系统中的 GPU 的数量无关,并且仅由系统中的 GPU 之间的最慢连接来确定。事实上,如果在通信成本上你只考虑带宽这一因素(并忽略延迟),那么 ring allreduce 就是一个最佳的通信算法 。 算法的进行分两步:第一步,scatter-reduce;第二步,allgather。在第一步中,GPU 将交换数据,使得每个 GPU 最终都有一个最终结果的数据块。在第二步中,GPU 将交换那些块,使得所有 GPU 最终得到完整的最后结果。“

Ring Allreduce 中的 GPU 被布置在一个逻辑环路(logical ring)之中。每个 GPU 左右两个各有一个 GPU,并且只从左边的 GPU 接收数据,再把数据发送至右边的 GPU。

Ring Allreduce在接受采访时说道:

“Ring allreduce可以让我们在多设备和多节点的情况下,更加有效地平均梯度。在训练中使用这个带宽优化的算法,你可以显著减少通信开销,并由此扩展到更多的设备上,同时仍然保留同步随机梯度下降的确定性和可预测的收敛性。”

百度已经用这个算法来训练其语音识别模型,实验证明,与使用一个单独的reducer GPU相比,ring allreduce 可以将一个神经网络在40个GPU上的训练速度提升31倍。

百度也将这算法分享出来,发布了一个演示该 allreduce 算法的 C 语言库,也将该 allreduce 以补丁的形式整合到 TensorFlow 中。

另一个HPC与机器学习结合的例子

AI科技评论此前也报道过,最近日本东京技术研究院宣布,将在今年夏天启动日本“最快的AI超级计算机”项目,这个超级计算机名为Tsubame3.0,使用的是英伟达GPU加速芯片,使其性能较以往提升2倍。HPC市场与快速兴起的AI市场有很大不一样,超级计算机以往被用于例如天气预测、气候建模、太空和核模拟等领域,而针对AI优化的芯片开始将这两个领域结合起来。而百度这次,则将HPC领域的软件技术应用于深度学习领域,看起来,HPC和机器学习这两个领域,正在以非常快的速度融合。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-02-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

深度学习和经验主义的胜利

1525
来自专栏新智元

世界首个无监督幽默生成系统诞生,深度学习下一个大战场:讲段子!

【新智元导读】作者研发了第一个完全无人监督的笑话生成系统,使用的只是大量未标注的数据。这表明生成笑话并不像一般认为的那样,总是需要深度的语义理解。 摘要 幽默的...

36213
来自专栏PPV课数据科学社区

【推荐】开发者成功使用机器学习的十大诀窍

作者|Alexander Gray 编译|刘帝伟 转自|CSDN 在提供发现埋藏数据深层的模式的能力上,机器学习有着潜在的能力使得应用程序更加的强大并且更能响应...

2213
来自专栏AI科技大本营的专栏

周志华:满足这三大条件,可以考虑不用深度神经网络

出品 | AI科技大本营(公众号ID:rgznai100) AI科技大本营按:4 月 15 日举办的京东人工智能创新峰会上,刚刚上任京东人工智能南京分院学术总顾...

3658
来自专栏新智元

【专著】神经网络彻底改变 NLP 面貌,但远非终极解决方案

【新智元导读】Bar-Ilan University 计算机科学系的高级讲师 Yoav Goldberg 在他的专著《 NLP 的神经网络方法》中,不仅比较全面...

3665
来自专栏新智元

【自监督学习机器人】谷歌大脑首次实现机器人端到端模仿人类动作 | 视频

【新智元导读】 机器人仅需观察人类行为就能模仿出一模一样的动作,这一机器人领域发展的长期目标最近被谷歌大脑“解锁”。在新发布的一项研究中,谷歌大脑团队介绍了他们...

3635
来自专栏Duncan's Blog

社交网络中抽取有代表性的用户

将用户以各个属性构建向量,以向量之间的距离来定义人物之间的代表性. 以Twitter社交拓扑为例,当A用户关注了B用户,将会有A指向B的一条有向边,

1152
来自专栏机器之心

GMIS 2017 | 第四范式首席研究科学家陈雨强:机器学习模型,宽与深的大战

机器之心原创 机器之心编辑部 5 月 27 日,机器之心主办的为期两天的全球机器智能峰会(GMIS 2017)在北京 898 创新空间顺利开幕。中国科学院自动化...

3056
来自专栏新智元

DeepMind最新ICML论文:价值分布方法超越所有传统强化学习

【新智元导读】DeepMind 在他们的 ICML 2017 论文 A Distributional Perspective on Reinforcement ...

3799
来自专栏量子位

DeepMind新论文:用认知心理学方法打开深度学习的黑箱

唐旭 李林 编译整理 量子位 出品 | 公众号 QbitAI 最近,DeepMind在Arxiv上发布了Interpreting Deep Neural Net...

28812

扫码关注云+社区