深度学习到底有没有缺陷?这里列满了它做不到的事情

本文源自一次讨论深度学习缺陷的推文风暴,斯坦福大学的Bharath Ramsundar,在用深度学习进行药物研究的过程中发现,深度学习做不到事情其实有很多,比如无法鉴别对抗样本、处理不好高维数据、不能一边训练一边推断……他在Twitter上一一列出,并公开听取大家的见解。 这还不算是篇正式的文章,但这里的探索和分析,无疑有益于有心的学习者思考。Ramsundar的导师是斯坦福大学教授Vijay Pande,硅谷风投a16z知名成员。

作者 | Bharath Ramsundar

编译 | AI100(rgznai100)

1/ 深度学习做不了什么?这值得我们列一个清单,把尝试过的失败总结出来,以更好地指导算法开发。

2/ 对于输入数据的细微抖动,深度学习就会出现算法失效的情况。想象一下,当颜色互换时,目标识别系统的崩溃程度。

3/ 基于梯度的学习相当缓慢,算法需要下降很多很多的梯度才能学会模式,用于高维预测则相当艰难。

4/ 深度学习在处理约束条件方面表现很差。不同于线性规划,深度学习不容易找到能满足约束条件的解决方案。

5/ 复杂模型的训练很不稳定。神经图灵机和生成式对抗网络训练起来很难,它们过于依赖随机函数的初始化。

6/ 不像图形模型,深度网络不擅长跟真实世界建立联系,无法提取出因果模型。

7/ 比如,要考虑关键影响者的监测问题。深度神经网络还不清楚如何来检测参议员投票数据集中的关键影响者。

8/ 强化学习方法过于挑剔。其性能太过依赖于调参技巧,尽管这一问题是特有的。

9/ 深度学习无法对未知的实体进行推断。考虑棒球赛的场景:屏幕上的击球手与屏幕外的投球手。

10/ 目前还不清楚如何用深度神经网络技术来推断不在视频中的投球手的存在。

11/ 在线训练深度网络是不可能的,文章一开始就提到了训练缓慢的问题,因而动态反应很难实现。

12/ 一般来说,智能行为的训练只能离线进行。

13/ 人们经常提及深度网络的可解释性问题。我个人认为该问题远没有人们所想的那样严重。

14/ 但是,对深度网络进行审查也相当困难。我们如何才能确保偏见、种族主义不被深度学习学会?请参考word2vec的种族主义文章。

15/ 深度神经网络不能简单用来解决逻辑问题。3SAT求解器是有很强的能力,但很难被部署到深度网络内。

16/ 深度神经网络在高维特征的处理上很糟糕,这一点不像算法强健的随机森林,它需要重度调参。

17/ 超参数搜索依旧很难用。从业者需要处理繁重的计算,或者对架构作大量的手工调整。

18/ 这绝对不是一份详尽的问题列表。上述问题都值得进一步思考与深入研究。

19/ 其中至关重要的一点是:到底这些难题是深度网络所固有的缺陷?还是属于我们要在工程上去克服的挑战?

20/ 说实话,这很难回答。其中一些问题可能被很快解决。如部署更多的硬件,就有可能实现自动化超参数搜索。

21/ 在架构方面,还有一些自动归一化和处理高维数据的早期尝试,所以特征处理也有可能得到改善。

22/ 然而,逻辑、约束条件、隐藏结构和审查方面的问题,则要隐藏得更深。

23/ 不过我更希望被打脸,深度学习领域的人们往往天赋异禀,且极具想象力。

24/ 此外,GPU版的摩尔定律依然在起作用(至于说能持续多久,TPU和定制硬件是否真能帮我们解决问题,只有到时候才能知道了)。

25/ 所以,我对这些挑战持相对乐观的态度。尽管如此,我还是怀疑深度网络不足以实现通用人工智能。

26/ 当然这可能是我个人的偏见。专家们在技术细节上研究多了,往往会在预测大局上表现拙劣。

27/ 从而导致我一叶障目,不见泰山。

28/ 我在拼命抑制把这推文风暴写成正式文章的冲动。毕竟,我不知道是否还存在未能触及的潜在话题。

29/ 最后,这里的探索和分析就先留给那些有心的读者来做练习。

说明:本文是我一次推文风暴的改编和展开。感谢在Twitter上评论过我的那些人,他们在我最初的思路上给出了很多有意思的见解。

原文链接 http://rbharath.github.io/what-cant-deep-learning-do/

原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2017-06-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

只训练一次数据就能识别出物体,谷歌全新 AI 算法“单次学习”

近日,谷歌 DeepMind 团队发现了一种新的方式对深度学习算法进行调整,新算法可以只通过一个例子就能识别出图像中的物体,该算法被称为“单次学习”。 ? 一套...

39250
来自专栏AI研习社

用两万篇论文告诉你:机器学习在过去五年中发生了什么

arXiv.org 很多人都知道,是一个专门收集物理学、数学、计算机科学与生物学论文预印本的网站。数据显示,截至 2014 年底的时候,arXiv 已经达到了一...

421160
来自专栏人称T客

人工智能、机器学习、深度学习的区别在哪?|编译

编者:T 客汇 杨丽 张苏月 关键词:人工智能,机器学习,深度学习 网址:www.tikehui.com 有人说,人工智能(Artificial Intell...

33650
来自专栏CDA数据分析师

正在研究机器学习?我们帮你准备了27个小抄…

机器学习(Machine Learning)有很多方面,当我开始研究学习它时,我发现了各种各样的“小抄”,它们简明地列出了给定主题的关键知识点。最终,我汇集了超...

12630
来自专栏大数据文摘

由深度神经网络想到的人生意义和哲理

15230
来自专栏AI科技大本营的专栏

周末漫谈 | 都说想转型机器学习,到你真的有机会吗?机器学习下一个创新点到底在哪里?

本期话题 这个周六,让我们来聊聊当前火热的机器学习,它未来的机会在哪里呢? 机器学习、计算机视觉下一步的创新点在哪里? 随着硬件的迭代,神经网络的隐藏层可以...

36590
来自专栏AI科技评论

学界 | 专家标注的数据少就少吧,普通人标的数据现在也可以用了

AI 科技评论按:对于缺乏高质量标注数据的专业应用,除了继续花钱标数据之外,常用方法似乎也就只有 ImageNet 预训练 + 任务专用数据 fine-tune...

10620
来自专栏智能算法

史上最强----机器学习经典总结---入门必读

导读:在本篇文章中,将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。当然,本文也面对一般读者,不会对...

47570
来自专栏AI科技评论

专栏|深度学习在人脸识别中的应用 ——优图祖母模型的“进化”

说到人工智能(Artificial Intelligence, AI)人们总是很容易和全知、全能这样的词联系起来。大量关于AI的科幻电影更给人工智能蒙上一层神秘...

48340
来自专栏AI科技评论

UC Berkeley 讲座教授王强:Deep Learning 及 AlphaGo Zero(上)

AI 科技评论按:北京时间 10 月 19 日凌晨,DeepMind 在 Nature 上发布论文《Mastering the game of Go witho...

39770

扫码关注云+社区

领取腾讯云代金券