专访百度硅谷AI实验室Greg Diamos:基于GPU的深度学习的可扩展性

编者按:百度首席科学官吴恩达在ISC大会上谈到了超级计算能力如何在人工智能领域里应用,他的同事,百度硅谷人工智能实验室高级研究员Greg Diamos在参加纽约第33届机器学习国际大会上发表了关于基于GPU的深度学习论文。

Greg Diamos是百度硅谷人工智能实验室高级研究员,也是机器学习领域里的前沿人物。在加入百度公司之前,他在NVIDIA公司担任研究科学家和架构师(主要负责GPU流媒体多处理器和CUDA软件)。 基于这些从业背景,Diamos很自然地进入到基于GPU的深度学习领域。在介绍论文之前,Diamos回答一些问题,关于他的研究和他对机器学习的未来愿景。

你觉得目前这个机器学习时代有哪些特点?

在机器学习领域有两股强大力量,一个是大数据,或者说是随着互联网发展所带来的大数据集;

另一个是深度学习,或者说是探索如何高效训练非常深度的人工智能网络。这两股力量结合在一起,驱动了很多硬件快速发展。

深度学习有很多兴奋点——它可靠吗?对于那些质疑深度学习技术的人,你会对他们说些什么呢?

深度学习当然可靠,它已经是一项相当领先的技术,能够解决真实世界里的计算机视觉和语言识别问题。很多领域里的问题之前都被认为是无法解决的,但得益于深度学习技术,目前都获得了很大突破。

机器学习和高性能计算之间的关系是什么,它是如何进化的?

高效训练深度人工神经网络的能力,加上海量训练数据,让机器学习陷入到了一个计算限制体系之中,即便是世界上运转速度最快的计算机也会遇到瓶颈。我们已经发现,一个运算速度更快的电脑能让应用程序有更好的表现,举个例子,速度越快的计算机会有更高的语音识别准确度。

所以,在纽约举办的第33届机器学习国际大会上你发布的论文,题目是持续递归神经网络:芯片上的存储周期性权重。首先,你能不能解释一下什么是递归神经网络,他们能够解决什么问题呢?

递归神经网络是能够转化数据序列的功能——举个例子,他们可以把音频信息转化成文本,或是把一个英语句子转化成一个中文句子。递归神经网络和其他深度人工神经网络很相似,但最主要的不同就是递归神经网络是按顺序操作的(比如,一个任意长度的音频信号),而不是固定大小的数据(比如一个固定大小的图片)。

你能说说论文大概涉及的内容吗?你准备解决什么问题,还有目前已经取得了什么成绩?

事实证明,通常深度学习算法会受到计算机计算能力的束缚,我们还没有想出如何在大型处理集群的理论极限上训练深度神经网络,所以对我们来说这里蕴藏了一个很大的机遇。我们在百度所知道的最快的递归神经网络训练系统得持续性能,和世界上处理速度最快的计算机的理论峰值相差大约2500倍。

我们工作的目的之一,就是试图弥补这一差距,训练深度递归神经网络的可扩展性。通过开发GPU,让每个处理器的工作效率提高30倍,可扩展性也变得更强。我们的技术提升了16倍的可扩展性,比如想实现某个高性能处理级别,利用我们的技术需要8个GPU,而不使用我们的技术则需要128个GPU。在整个训练过程中,我们使用了128个GPU,相比于在单个GPU上的31%峰值浮点计算吞吐能力,我们实现了支持28%峰值浮点计算吞吐能力。

GPU和机器学习密切相关,特别是深层神经网络,GPU对你在百度研究和开发工作的重要程度如何? GPU对于机器学习来说非常重要,因为它有很高的计算吞吐量,特别是对于大多数机器休息和深度学习来说,都存在计算局限。

有一个相关问题——对于深度学习和其他机器学习负载而言,从过去的密集服务器,到现在的大规模计算集群提供了哪些可扩展性?

相比于其他技术,在大规模计算集群上进行可扩展训练,可以在更大的数据集合上训练更大的神经网络。

你是如何看待其他处理架构的(Xeon Phi Knights Landing, FPGAs, ASICs, DSPs, ARM 等等)?

最近五年的时间,我关注了两件事情:峰值浮点吞吐量和支持深度学习的软件。到目前为止,这两类都是由GPU引领的,但其中肯定会有竞争空间。如果其他处理器也想在这一领域里竞争,那么他们需要认真对待软件,特别地,利用简单C语言接口开发深度学习原始库会更容易实现峰值性能。对于技术可扩展性的局限问题,如果展望未来的话,我希望未来二十年所开发的处理器可以在300瓦特下以10 PFLOP/s和25MW下以150 EFLOP/s的速度训练深度学习模型。(注:一个PFLOPS(petaFLOPS)等于每秒一千万亿(=10的15次方)次的浮点运算。)

百度在图像识别、语音识别、自动驾驶汽车开发等领域应用机器学习,你所做的研究对这些工作有哪些帮助呢?

我的研究能够更快速地训练机器学习模型,到目前为止,不少研究成果已经转化成了更好的应用效果,比如百度在语音识别的准确度上有了很大提升。我认为,对于那些开发高性能计算系统的人来说,这传达了一个非常重要的信息——他们开发更快速的系统,我们应用机器学习解决实际问题,这之间存在着极密切的关联。

VIA hpcwire,题图来自Twitter.com

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-06-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

业界 | 反GAN传统,Petuum自动驾驶新研究提出从复杂真实图像生成简单虚拟表征以预测驾驶指令

2647
来自专栏数据的力量

如何成为一名卓越的数据科学家——开篇七剑

1385
来自专栏AI科技大本营的专栏

吴恩达deeplearning.ai最后一课上线,下一次得等多少年?

喜大普奔!今天,吴恩达的深度学习系列课程最后一课上线了! 去年6月,吴恩达宣布deeplearning.ai创业项目,8月,该项目揭晓:一套由5门课组成的深度学...

27811
来自专栏AI科技评论

视频 | 测量神经网络真的难吗?Uber说未必

AI 科技评论按:本文由雷锋字幕组编译,原标题 Measuring the Intrinsic Dimension of Objective Landscape...

842
来自专栏ThoughtWorks

如何成为一个技术全面的架构师|洞见

本文首发于infoQ: http://www.infoq.com/cn/articles/the-well-rounded-architect 架构师是一个充满...

3214
来自专栏钱塘大数据

【干货】大数据研究常用软件工具与应用场景

导读:如今,大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点,以及分析方法思路的扩展,传统统计工具已经难以应对。工欲善其事,必先利其器...

2778
来自专栏钱塘大数据

【推荐阅读】大数据研究常用软件工具与应用场景

作者:大数据平台部 马亮 如今,大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点,以及分析方法思路的扩展,传统统计工具已经难以应对。 ...

3318
来自专栏AI科技评论

四位顶级AI大牛纵论:深度学习和大数据结合的红利还能持续多久?

AI科技评论按:这轮 AI 热潮的很大一个特点就是底层技术方面在打通,虽然说过去对通用人工智能大家曾经有过很高的期望,但一直没有落地。这次,深度学习给大家带来了...

3429
来自专栏AI研习社

测量神经网络真的难吗?Uber 说未必

过去十年来,神经网络彻底改变了机器学习。机器学习从一个相对晦涩的学术研究领域崛起成为工业支柱,在大量数据可用的地方为众多应用提供支持。Uber 将神经网络用于多...

843
来自专栏华章科技

盘点丨大数据研究常用软件工具与应用场景

如今,大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点,以及分析方法思路的扩展,传统统计工具已经难以应对。

371

扫描关注云+社区