专访百度硅谷AI实验室Greg Diamos:基于GPU的深度学习的可扩展性

编者按:百度首席科学官吴恩达在ISC大会上谈到了超级计算能力如何在人工智能领域里应用,他的同事,百度硅谷人工智能实验室高级研究员Greg Diamos在参加纽约第33届机器学习国际大会上发表了关于基于GPU的深度学习论文。

Greg Diamos是百度硅谷人工智能实验室高级研究员,也是机器学习领域里的前沿人物。在加入百度公司之前,他在NVIDIA公司担任研究科学家和架构师(主要负责GPU流媒体多处理器和CUDA软件)。 基于这些从业背景,Diamos很自然地进入到基于GPU的深度学习领域。在介绍论文之前,Diamos回答一些问题,关于他的研究和他对机器学习的未来愿景。

你觉得目前这个机器学习时代有哪些特点?

在机器学习领域有两股强大力量,一个是大数据,或者说是随着互联网发展所带来的大数据集;

另一个是深度学习,或者说是探索如何高效训练非常深度的人工智能网络。这两股力量结合在一起,驱动了很多硬件快速发展。

深度学习有很多兴奋点——它可靠吗?对于那些质疑深度学习技术的人,你会对他们说些什么呢?

深度学习当然可靠,它已经是一项相当领先的技术,能够解决真实世界里的计算机视觉和语言识别问题。很多领域里的问题之前都被认为是无法解决的,但得益于深度学习技术,目前都获得了很大突破。

机器学习和高性能计算之间的关系是什么,它是如何进化的?

高效训练深度人工神经网络的能力,加上海量训练数据,让机器学习陷入到了一个计算限制体系之中,即便是世界上运转速度最快的计算机也会遇到瓶颈。我们已经发现,一个运算速度更快的电脑能让应用程序有更好的表现,举个例子,速度越快的计算机会有更高的语音识别准确度。

所以,在纽约举办的第33届机器学习国际大会上你发布的论文,题目是持续递归神经网络:芯片上的存储周期性权重。首先,你能不能解释一下什么是递归神经网络,他们能够解决什么问题呢?

递归神经网络是能够转化数据序列的功能——举个例子,他们可以把音频信息转化成文本,或是把一个英语句子转化成一个中文句子。递归神经网络和其他深度人工神经网络很相似,但最主要的不同就是递归神经网络是按顺序操作的(比如,一个任意长度的音频信号),而不是固定大小的数据(比如一个固定大小的图片)。

你能说说论文大概涉及的内容吗?你准备解决什么问题,还有目前已经取得了什么成绩?

事实证明,通常深度学习算法会受到计算机计算能力的束缚,我们还没有想出如何在大型处理集群的理论极限上训练深度神经网络,所以对我们来说这里蕴藏了一个很大的机遇。我们在百度所知道的最快的递归神经网络训练系统得持续性能,和世界上处理速度最快的计算机的理论峰值相差大约2500倍。

我们工作的目的之一,就是试图弥补这一差距,训练深度递归神经网络的可扩展性。通过开发GPU,让每个处理器的工作效率提高30倍,可扩展性也变得更强。我们的技术提升了16倍的可扩展性,比如想实现某个高性能处理级别,利用我们的技术需要8个GPU,而不使用我们的技术则需要128个GPU。在整个训练过程中,我们使用了128个GPU,相比于在单个GPU上的31%峰值浮点计算吞吐能力,我们实现了支持28%峰值浮点计算吞吐能力。

GPU和机器学习密切相关,特别是深层神经网络,GPU对你在百度研究和开发工作的重要程度如何? GPU对于机器学习来说非常重要,因为它有很高的计算吞吐量,特别是对于大多数机器休息和深度学习来说,都存在计算局限。

有一个相关问题——对于深度学习和其他机器学习负载而言,从过去的密集服务器,到现在的大规模计算集群提供了哪些可扩展性?

相比于其他技术,在大规模计算集群上进行可扩展训练,可以在更大的数据集合上训练更大的神经网络。

你是如何看待其他处理架构的(Xeon Phi Knights Landing, FPGAs, ASICs, DSPs, ARM 等等)?

最近五年的时间,我关注了两件事情:峰值浮点吞吐量和支持深度学习的软件。到目前为止,这两类都是由GPU引领的,但其中肯定会有竞争空间。如果其他处理器也想在这一领域里竞争,那么他们需要认真对待软件,特别地,利用简单C语言接口开发深度学习原始库会更容易实现峰值性能。对于技术可扩展性的局限问题,如果展望未来的话,我希望未来二十年所开发的处理器可以在300瓦特下以10 PFLOP/s和25MW下以150 EFLOP/s的速度训练深度学习模型。(注:一个PFLOPS(petaFLOPS)等于每秒一千万亿(=10的15次方)次的浮点运算。)

百度在图像识别、语音识别、自动驾驶汽车开发等领域应用机器学习,你所做的研究对这些工作有哪些帮助呢?

我的研究能够更快速地训练机器学习模型,到目前为止,不少研究成果已经转化成了更好的应用效果,比如百度在语音识别的准确度上有了很大提升。我认为,对于那些开发高性能计算系统的人来说,这传达了一个非常重要的信息——他们开发更快速的系统,我们应用机器学习解决实际问题,这之间存在着极密切的关联。

VIA hpcwire,题图来自Twitter.com

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-06-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

OpenAI 尝试打破“中文房间悖论”,让 AI 创造语言并自发交流

大规模机器学习技术已经在翻译、语言推理、语言理解、句子生成等领域取得巨大进展,而它的训练方式都大同小异: 给系统输入大量文本数据; 系统提取特征并提炼模式。 ...

35411
来自专栏程序你好

什么是机器学习和人工智能以及它们之间的差异

机器学习和人工智能的区别:“好的,谷歌!有什么事吗?你能演奏我最喜欢的曲目或者预订一辆从宫殿路到MG路的出租车吗?”

791
来自专栏新智元

【报告】神经网络:技术发展与未来挑战(PDF下载)

【新智元导读】本文为爱思唯尔收费报告。西班牙格拉纳达大学研究人员系统梳理神经网络历史,从模型、模拟器到实现几方面阐释神经网络发展,展示了随时间推移,神经网络如何...

3518
来自专栏新智元

AI vs 深度学习 vs 机器学习:人工智能的 12 大应用场景

【新智元导读】在本文中,作者先探讨了深度学习的特点和优势,然后介绍了12种类型的AI问题,即:在哪些场景下应该使用人工智能(AI)?作者强调企业AI问题,因为他...

3275
来自专栏人工智能头条

专家展望未来5年深度学习发展趋势

1824
来自专栏机器之心

机器学习近年来之怪现状

总体来说,机器学习(ML)的研究人员正在致力于数据驱动算法知识的创建与传播。在一篇论文中提到,研究人员迫切地想实现下列目标的任一个:理论性阐述可学习内容、深入理...

922
来自专栏机器学习算法与Python学习

资源 | 深度学习 & ChatBot全面总结

该总结是在EMNLP 2018中由微软首席科学家武威和北京大学助理教授严睿关于聊天机器人(ChatBots)近年来的全面总结,并附带Slides下载。

751
来自专栏CSDN技术头条

写给非技术人员的机器学习指南

译者注:很多人都在谈人工智能,谈机器学习,但他们有自己的理解,作者从一个非常有趣的场景开始延伸,步步深入,对机器学习有独特的解释和指导。 这里是另一家创业公司的...

1796
来自专栏IT派

请查收:写给纯小白的机器学习指南

注:很多人都在谈人工智能,谈机器学习,但他们有自己的理解,作者从一个非常有趣的场景开始延伸,步步深入,对机器学习有独特的解释和指导。 这里是另一家创业公司的聚会...

3416
来自专栏数据科学与人工智能

【机器学习】理解深度学习 vs 机器学习 vs 模式识别

本文我们来关注下三个非常相关的概念(深度学习、机器学习和模式识别),以及他们与2015年最热门的科技主题(机器人和人工智能)的联系。 ? 图1 人...

1988

扫码关注云+社区