【业界】是时候解决深度学习的生产力问题了

深度学习正在推动从消费者的手机应用到图像识别等各个领域的突破。然而,运行基于深度学习的人工智能模型带来了许多挑战。最困难的障碍之一是训练模型所需的时间。

需要处理大量的数据和构建基于深度学习的人工智能模型的计算复杂性,同时也降低了精确度和实用性。训练时间通常要花费几天,有时是几周的时间。为了缩短创建深度学习模型的时间,我们需要减少与深度学习训练相关的时间,从几天到几小时,再到几分钟或几秒钟。

GPU速度过快 为了理解深度学习研究者们正在努力解决的问题,不妨考虑一下盲人和大象的简单故事。在寓言中,每个盲人都能感觉到大象的不同部分。然后,他们会根据自己有限的经验,争论整只大象的长相。

如果你给盲人一段时间,他们可以分享足够的信息,拼凑出一张相当准确的大象图片。它与GPU(图形处理器)是一样的,它与CPU(中央处理器)一起使用,以加快深度学习、分析和计算的速度。

如果你在一个系统中有比较缓慢的计算芯片,你可以很容易地同步它们的学习进度。

但是,随着GPU变得越来越智能和迅速,它们会变得不同步。然后它们就会花很多时间等待对方的结果。

深度学习系统中的功能缺口 为了实现改进的快速模型训练,数据科学家和研究人员需要在大量服务器上进行深度学习。然而,大多数流行的深度学习框架都是在一个服务器上,而不是在许多服务器上使用GPU。

挑战在于,在许多服务器上编排和优化一个深度学习问题是很困难的,因为GPU运行得越快,它们学习的速度就越快。GPU也需要与其他GPU共享它们的学习,但在传统软件中,这是不可能的。

最近,深度学习系统中的这种功能缺口促使IBM研究团队开发了分布式深度学习(DDL)软件和算法,这些软件和算法可以在数十台服务器上的数百个GPU加速器中实现大型的和复杂的计算任务的并行化。

对于这个软件,研究人员开发了一个定制的通信库,它可以帮助系统中的所有学习者(GPU)以非常接近于最优的速度和带宽的方式相互通信。而且,这个库并不是硬编码到一个深度学习软件包中,因此它可以与诸如TensorFlow、Caffe和Torch这样的框架集成在一起。

在这个项目中使用的GPU之间的通信对于打破图像识别能力的训练记录至关重要。研究人员能够将神经网络的训练时间减少到50分钟,即“ResNet-50”。在另一个网络,ResNet-101中,他们通过750万张的训练图像得到了33.8%的新精确度记录。这些图像来自ImageNet,一个包含了超过1500万张有标签的、属于22000种不同的类别的高分辨率图像大数据集。

采用这种方法,数据科学家和机器学习研究人员可以快速提高精确度,并训练神经网络模型,计算机软件建模于人脑和神经系统。训练有素的神经网络模型能够完成特定的任务,比如在医学图像中检测癌细胞。它们的准确性可以通过再次训练来进一步提高,这需要几秒钟的时间。

将深入学习搬出“象牙塔”(指脱离现实生活的小天地) 当然,我们的目标是让人工智能算法和软件以及其他机器学习技术尽可能快地运行。通过系统设计和系统创新,像这样的分布式深度学习软件可以解决深度学习的生产力问题。你越快开始创造新的人工智能能力,消费者在图片标签或语音识别等事情上的准确度就越高。

人工智能已经变得更快、更智能、功能更完善。但我们需要从“象牙塔”中深入学习,那里的训练时间和精确度仍有待进一步提高。为此,我们必须加快从研究人员手中获得创新的时间,并投入到客户的手中,他们需要几分钟或几秒钟的时间来取得商业成果。研究人员需要找到新的方法来更快地处理深度学习,用正确的框架,来解决持续的和具有挑战性的人工智能问题。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-11-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

业界 | Facebook联合微软推出神经网络交换格式ONNX:实现不同框架间模型迁移

选自Facebook 作者:Joaquin Quinonero Candela 机器之心编译 近日,Facebook 与微软联合推出了开放式神经网络交换(ONN...

2729
来自专栏大数据文摘

12位专家,展望未来5年深度学习发展趋势

1978
来自专栏数据科学与人工智能

【机器学习】机器学习商业应用入门及七个实例

机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或...

2785
来自专栏CSDN技术头条

专家展望未来5年深度学习发展趋势

2015年已然过去,2016刚刚开始,回头将目光集中于去年的成就上,以及对将来科学趋势的预测。去年最令人瞩目的一个领域就是深度学习,它是机器学习中越来越流行的一...

1965
来自专栏PPV课数据科学社区

如何成为一名卓越的数据科学家——开篇七剑

关于作者: 杨滔,桃树科技(TaoData)创始人,专注于下一代人工智能产品的研发、应用与商业化。拥有超过十年机器学习研究与应用经验。奥克兰大学机器学习博士,悉...

38810
来自专栏数据的力量

如何成为一名卓越的数据科学家——开篇七剑

1385
来自专栏灯塔大数据

观点|12位专家展望未来5年深度学习发展趋势

? 2015年已然过去,2016刚刚开始,回头将目光集中于去年的成就上,以及对将来科学趋势的预测。去年最令人瞩目的一个领域就是深度学习,它是机器学习中越来越流...

33914
来自专栏CreateAMind

X君和T君关于通用学习机的对话 - 之三

X君和T君是老朋友。X君是数学家,对通用学习机比较有心得。T君是物理学家,资深程序员,软件专家。他们已经两次在纽约城谈通用学习机。今天他们通过电话第三次谈通用学...

772
来自专栏腾讯云技术沙龙

谭安林:大数据在教育行业的研究与应用

今天我分享的是在腾讯云在大数据对用户行为预测这个项目中,有关教育行业的一些实践,希望可以给大家带来一些帮助。这一年我们所做的是用户行为预测解决方案,针对教育行业...

2277
来自专栏智能算法

“忘掉大数据”之“建模术”:数据挖掘还原用户的生活场景

建模无疑是大数据里面最艺术的部分,也是最令大数据从业者痴迷、得意的领域,一个好的模型就是一篇作品,是一首诗,令人心旷神怡。建模、模型并不是什么新鲜事...

3216

扫描关注云+社区