TensorFlow 工程总监 Quora 问答:深度学习系统瓶颈及用户痛点

【新智元导读】TensorFlow 工程总监Rajat Monga9月29日在Quora 上答疑,就深度学习效率瓶颈、TensorFlow 用户的痛点、如何用TensorFlow进行计算机视觉研究以及Theano 和TensorFlow的关系等8大问答回答网友提问。他认为,目前TensorFlow用户面临的主要两大难题是模型实现和建立模型所需要的高水平数据库。另外,视频上的图像信息的连续性可以让无监督学习算法在不需要参考的标签的情况下直接提取有价值的图像信息,这是让机器拥有人类水平的视觉能力第一个关键。

1. 提高深度学习系统效率的瓶颈是什么(2016年)?

最近几年深度学习取得了一些成绩,主要归功于以下三个要素的综合:

  • 算法:这方面有了一些进展,但最近的很多成果都是来源于相当古老的想法。现在深度学习也有了一些成果,我们也看到了一些进步。
  • 数据集:缺乏足够大的数据集的话,训练大型网络就会有困难。MNIST已经达到了最大限度。像ImageNet这样的数据集确实对推动视觉研究有帮助。
  • 计算:我认为最大的改变发生在最近几年。由于我的系统背景,我会有一些偏见,但是计算在一些深度学习的早期成果中起到很大作用。例如谷歌大脑2011年的cat paper,以及2012年Krizhevsky等人的ImageNet成果把深度学习带入了计算机视觉的最前线。

但是,为了让深度学习更有效,所有这些都还有很长的路要走。

  • 计算:计算仍然是个挑战,尽管我们有了定制芯片,但后续的需求更多。
  • 数据集:由于现有的算法多数需要监督,需要更大的数据集以推动新的研究。谷歌在这方面投入了许多,最近已经发布了一个视频数据集和两个机器人数据集。
  • 算法:不要低估了算法这部分。像ReLu,Dropout,序列到序列和对抗生成式算法这些 idea 带来了很大的改变。
  • 计算,我们不大可能在传统的硬件条件下得到1000倍的计算能力的提高。这需要算法和计算的协同设计,例如,我们能做出一个1000倍参数,但只需10倍计算能力的模型来吗?我认为做出能解决这个问题的稀疏化模型将会带来巨大的改变。

2. TensorFlow最大的用户痛点是什么?怎样对付它们?

TensorFlow用户常提问的两个方面是:模型实现和建立模型所需要的高水平数据库。我们已经在这两方面有了很大的进展:

  • 模型:在社区的帮助下,我们在GitHub上的模型集(https://github.com/tensorflow/models)越来越多了。此外,有相当部分是TensorFlow用户和作者本人在研究论文中实现过的模型。这些只需在GitHub上简单搜索就能找到。
  • 库:我们在tf.learn上有了很大的进展,而且应用广泛。此外,Keras是使用TensorFlow的另一个很好的库。

3. 深度学习在视频上的应用潜力有哪些?

视频有很多有趣的地方。虽然我们在ImageNet的成果让我们在视觉上取得了重大突破,但是,我们距离人类水平的视觉依然还很远,其中一些原因是:

  • 我们从图像上获得的可用信息依然有限,因为照片记录的只是快门按下瞬间的信息。
  • 缺乏大型的标签数据集。虽然 ImageNet 很不错,但是要想延伸到所有人类可以识别的物体种类,还是非常困难。

视频有潜力能解决这两大难题,帮助机器获得人类水平的视觉。每一段视频中,彼此相关的、连续的帧提供了关于现实世界更丰富的信息,让模型可以创建3-D的视角来看世界,但是不需要立体是视觉。此外,连续的帧也使得无监督学习算法可以在不需要参考的标签的情况下直接提取有价值的图像信息。

4.怎样利用TensorFlow进行计算机视觉研究?

有关计算机视觉模型我极力推荐Pete Warden的这篇文章: TensorFlow for Poets(https://petewarden.com/2016/02/28/tensorflow-for-poets/)对初接触TensorFlow的人来说这篇文章是非常好的指南,从安装TensorFlow到利用一个小图像数据库适配一个视觉模型,都能对你有所帮助。

5.TensorFlow在多大程度上受到Theano的启发?

我们从我们的先驱DistBelief上学到了很多经验,也把这些经验应用于TensorFlow。我们观察过所有现有的深度学习框架,团队成员中也有一些这些框架包括Theano,Torch和Caffe的开发者。所以我们的设计在很多方面和Theano很像,例如,怎样支持自动识别,怎样使用符号表达式以及神经网络分层,尤其是基于基本数学和线性代数的层。

这些都是伟大的框架,我们很幸运能够有向他们学习的机会,并将推动该领域的发展。

6. 假如计算能力提升十倍,AI研究会受到怎样的影响?

这是个有趣的思考。我想目前阻碍AI发展的有因素有4点:

  1. 计算(Moore’s Law,CPUs,ASICs)
  2. 数据(构架好的数据,而不是诸如ImageNet上的网络数据)
  3. 算法(研究和想法,例如backprop,CNN,LSTM)
  4. 基础架构(Linux, TCP/IP, Git, ROS,PR2, AWS, AMT, TensorFlow, etc.)

你会发现计算只是其中的一个因素。所以我认为,就算计算能力提升10倍也不会有什么改变。虽然由于能快10倍地得到实验的反馈结果,我的迭代周期肯定会改善。我们目前的许多实验或许也能得到改善(不过不一定,因为很多模型会受到内存限制),所以现有的一些模型能得到好一些的结果。但除此之外,我认为不会立刻有很令人兴奋的改变。

我认为第4点目前来说是很大而且进展缓慢的限制因素,这就是为什么我很高兴看到OpenAI的出现,我们能真正向它投入资源,建立各种AI专门的基础架构。最后是第3点,我认为它是最重要的因素——就算我有了很强的计算能力,有了数据,也有理想的基础架构,我也不知道用它来运行什么算法才能得到能思考、能讲话、会学习、会探索等等的AI。

7. 深度学习方面有哪些尚未出现的有用工具?

作为一名程序员,我喜欢思考编程和实验的深度学习模型。所有应用于那些领域的工具也和这些领域相当关系密切。TensorFlow之于深度学习就像编程语言之于编程。完善这个生态系统还有很多工作要做。

例如,好的调试工具能帮助研究者理解为什么他们的模型不学习,好的实验管理能让他们更容易进行和分析更多的实验。

8. AI研究已有无数的挑战,谷歌大脑团队研究的主要问题是什么?

我们研究那些我们认为能对我们的使命有帮助的问题,我们的使命是造出有助于人类生活的智能机器。我们目前的一些研究包括:机器学习算法、机器人、医疗、以及自然语言理解。更多有关我们的研究领域和出版物的信息可以在官网中查阅:https://research.google.com/teams/brain/这里的每个领域都是为了更广泛地理解机器智能所做的艰苦挑战。

9. 从DistBelief 到TensorFlow中,最有价值的经验是什么?

当下的深度学习框架有三个关键基本要求,我会从DistBelief 到TensorFlow的演进讲起,回答这一问题。

  • 可扩展性:DistBelief 被设计成可扩展的,使用了大量的CPU。举个例子,我们的cat paper 使用了16000核。2011年的时候,这是相当了不起的,但是随着硬件大发展和GPU、TPU的出现,对于我们的数据中心来说,支持其他的平台也变得重要起来。在如何在多台机器间进行扩展上,我们学习了很多,比如,我们的Asynchronous SGD 和更近一些的Synchrnous SGD 都是从Disbelief 开始的,但是即使是在今天也会可以应用的。
  • 灵活性:DisBelief 让我们可以扩展,但是,它的建立是在我们中大多数人学会充足的深度学习知识之前。它在真实的产品中运行的很好,这些情况下,在大规模的数据集中进行训练是至关重要的,但是, 在采纳新的概念时,就会变得很难用。前端的几层也进行了多次的升级,我们可以直接采用这些学习,把他们运用到从头开始重新设计TesorFlow上。
  • 可移植性:在过去的几年间,大家对把深度学习部署到手机和其他设备上非常感兴趣。再次的,DistBelie设计时并没有这一用途,所以我们的用户最后只有自己写专用的数据库。有了TensorFlow,我们就可以从用户身上进行学习,事实上,也有一些开发者在TensorFlow上加入了我们,一起实现了手机平台上的深度学习部署,其中包括g Android、iOS、 Raspberry Pi 等。

10 考虑到高昂的计算成本, 怎样才能让更多的人可以使用深度学习?

从零 开始在一个大型的数据库上训练模型在计算上的成本消耗是非常高的。但是,大多数人并不需要从零开始。我们有很多已经在大型的数据库上训练的先进模型,人们可以直接使用,或者稍加调整。比如,图像模型(https://github.com/tensorflow/models/tree/master/inception),文本分类模型(https://github.com/tensorflow/models/tree/master/syntaxnet)。 此外,直接在云端使用API也是一个很好的办法。

11. 非美国常驻者能申请 Google Brain Resident Program吗?

能。这个项目现在已有许多非美国常驻者,我们鼓励来自世界各地的申请者。更多细节请查看官网:Brain Residency (https://research.google.com/teams/brain/residency/)

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-10-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

Yann LeCun:深度学习硬件前瞻

1395
来自专栏CSDN技术头条

一文读懂数据科学、机器学习和AI的区别

当我跟别人介绍自己是一名数据科学家时,别人总会问我“数据科学与机器学习之间有什么区别?”或者“那你从事的工作一定是跟人工智能有关吧?”关于这些问题我已经回答过了...

2178
来自专栏AI科技大本营的专栏

AI 技术讲座精选:深度学习将彻底改变人们与技术交互的方式

【AI100 导读】在最近的六年当中,深度学习技术使得机器在物理世界的认知能力方面取得了巨大的进步。这只是一个开始。在未来几年,创业公司和一般的大型科技巨头都会...

4059
来自专栏钱塘大数据

【干货】不容错过的 30 个机器学习视频、教程&课程

导读:下面是 Analytics Vidhya 网站发表的文章,汇集了 2016 年机器学习经典视频、教材和课程,分类整理,初学者、进阶级还是资深研究员,都可以...

94011
来自专栏大数据挖掘DT机器学习

数据挖掘工程师的面试问题与答题思路

机器学习、大数据相关岗位根据业务的不同,岗位职责大概分为: 1、平台搭建类   数据计算平台搭建,基础算法实现,当然,要求支持大样本量、高维度数据,所以可能...

5618
来自专栏人工智能头条

从YouTube算法论文反推其推荐机制

1972
来自专栏新智元

2016 年不容错过的 30 个机器学习视频、教程&课程

【新智元导读】2016 年就要过去了,关于机器学习的知识储备你觉得自己做得如何?下面是 Analytics Vidhya 网站发表的文章,汇集了 2016 年机...

4525
来自专栏AI研习社

如何在 15 个月内占领 Kaggle 榜首?bestfitting 经验大放送

雷锋网 AI 研习社按:相信玩过 Kaggle 比赛的人都知道 bestfitting,他在加入 Kaggle 社群短短两年之内,就以黑马之姿成功占领比赛排行榜...

1162
来自专栏CSDN技术头条

探寻微博背后的大数据原理:微博推荐算法简述

在介绍微博推荐算法之前,我们先聊一聊推荐系统和推荐算法。有这样一些问题:推荐系统适用哪些场景?用来解决什么问题、具有怎样的价值?效果如何衡量? 推荐系统诞生很早...

3705
来自专栏CSDN技术头条

Yann LeCun:深度学习硬件前瞻

Yann LeCun被大家誉为“卷积神经网络之父”,该技术助推了人工智能在Google、Facebook等公司的发展,在此之外,LeCun也已经不再局限于扎根算...

2136

扫码关注云+社区

领取腾讯云代金券