什么是机器学习做不到的呢?

大数据文摘作品,转载具体要求见文末

原作者 | Bharath Ramsundar

编译 | Molly 张礼俊

什么是机器学习做不到的呢?把这些失败的地方罗列出来,对指导算法的改进是很有帮助的。

1、当输入有小幅扰动时,深度学习方法会失效。例如当颜色改变之后,图像识别就可能会崩溃。

2、基于梯度优化的学习是非常慢的(除了慢,对于非凸的问题,梯度下降算法还可能陷入局部极值) 。需要许多许多步梯度下降才能捕获模式。高维预测十分困难。

3、深度学习方法难以处理约束条件。和线性规划不同,它不能找到满足约束条件的解。

4、复杂模型的训练是十分不稳定的。神经网络图灵机(Neural turing machines)和 生成式对抗网络常常训练失败,它们非常依赖初始的随机值。

5、和图模型不同,深度神经网络和现实世界难以对应。不能提取因果结构。

例如,对于影响因素检测问题。给出议员投票数据集,要检测关键影响因素。在深度神经网络中很难清晰表达。

6、强化学习方法很难伺候。模型表现十分依赖调参技巧。但是这个问题只在特定条件下出现。

7、深度学习进行未知实体的推理是十分困难的。比如有一段击球手的视频,投手在画面外。

8、在深度神经网络技术的世界里,我们尚不清楚怎样推断投手的存在。

9、在线训练深度神经网络是很难的(参阅上文训练很慢的部分)。所以很难动态响应。

10、一般情况下,智能行为都是离线训练的。

11、人们常常提到深度网络的可解释性。我不认为这个问题像人们说的那样严重。但是,人类难以察觉深度网络学到的内容。我们凭什么保证偏见和种族主义的东西没有被学习到呢?看看那些讲 word2vec模型中的种族主义的文章吧。

12、深度神经网络在解决逻辑问题上遇到困难。3SAT 求解器功能十分强大,但是很难嵌入到深度网络中。

13、在处理尺度范围较大的特征时,深度神经网络的表现很差。和稳定的随机森林不同, 深度神经网络需要进行大量的特征调整。

14、超参数搜索也很可怕。工程师不但要进行繁重的计算,还需要大量的手工调整结构。

这绝不是一份详尽的清单。所有这些都是值得思考(和进一步研究)的问题。

还有一个重要的问题:这些问题是深度网络固有的,还是工程上需要克服的挑战?

讲真,这很难说。有一些问题似乎可以解决。更多的硬件设备可以使自动超参数搜索变得可行。

一些前期结构可以进行自动归一化(auto-normalize),处理大尺度范围数据,所以特征处理也可以提升。

但是,逻辑、约束、隐含层和审查方面的问题可能更为严重。

不过,我很希望被打脸。深度学习工程师们都才华横溢,富有想象力。

此外,摩尔定律目前对GPU的表现依然有效。(但是能持续多久呢?TPUs 和定制硬件能拯救我们吗?)

所以,我对于这些挑战还是相对乐观的。尽管如此,我怀疑深度网络对广义的智能来说是不够的。

不过这可能是我个人的偏见。专业的工程师在预测方面往往很糟糕。埋头苦干太长时间了。

以至于只见树木,不见森林。

我并不想把这篇推文写进论文里。我还不知道是否会有潜在的主题。

最后,探索和分析就留给有眼光的读者们,当作一个练习吧!

原文链接:http://rbharath.github.io/what-cant-deep-learning-do/

关于转载 如需转载,请在开篇显著位置注明作者和出处(转自:大数据文摘 | bigdatadigest),并在文章结尾放置大数据文摘醒目二维码。无原创标识文章请按照转载要求编辑,可直接转载,转载后请将转载链接发送给我们;有原创标识文章,请发送【文章名称-待授权公众号名称及ID】给我们申请白名单授权。未经许可的转载以及改编者,我们将依法追究其法律责任。联系邮箱:zz@bigdatadigest.cn。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2017-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

ICASSP 2018 | 阿里巴巴论文提出针对影视作品的语音情感识别信息融合框架

机器之心发布 作者:陶菲/Fei Tao、刘刚/Gang Liu、赵情恩/Qingen Zhao 语音领域的顶会 ICASSP 2018 将于 4 月 15-2...

3908
来自专栏腾讯技术工程官方号的专栏

基于 Prophet 的时间序列预测

如果你还在为时间序列预测而苦恼,那就一起走进兴奋而又神奇的Prophet世界吧。

1.4K8
来自专栏量子位

连LeCun都推荐的Fashion-MNIST数据集,是这位华人博士的成果

允中 发自 凹非寺 量子位 报道 | 公众号 QbitAI 上周六,量子位在报道中提到德国时尚圈的科学家,推出一个名叫Fashion-MNIST的数据集。这个数...

4275
来自专栏数据科学与人工智能

【深度学习】深度学习入门资源索引

深度学习(Deep Learning)属于非常前沿的学科,没有现成的的综合型教材,主要是通过阅读大量论文和代码练习来学习。值得读的经典论文很多,下面介绍的一些教...

3048
来自专栏CreateAMind

技术架构分析:攻克Dota2的OpenAI-Five

1591
来自专栏灯塔大数据

每周学点大数据 | No.58协同过滤模型(上)

NO.58 协同过滤模型(上) Mr. 王:为了能够有效地利用其他用户的评价来进行更有效的推荐,人们提出了协同过滤的推荐模型。 小可:那什么是协同过滤模型呢?它...

3209
来自专栏新智元

斯坦福新深度学习系统 NoScope:视频对象检测快1000倍

【新智元导读】 斯坦福大学的新研究构建一个名为 NoScope 的深度学习视频对象检测系统,利用视频的局部性对 CNN 模型进行优化,相比当前性能最好的 YOL...

3095
来自专栏新智元

CVPR 2018:用GAN预测20年后你长什么样

2623
来自专栏钱塘大数据

理工男图解零维到十维空间,烧脑已过度,受不了啦!

让我们从一个点开始,和我们几何意义上的点一样,它没有大小、没有维度。它只是被想象出来的、作为标志一个位置的点。它什么也没有,空间、时间通通不存在,这就是零维度。

1092
来自专栏大数据

数据科学如何最大化社交网络影响力?(上)

社交网络早已是我们生活中不可缺少的一部分,更是网络时代营销活动的重点投放渠道;如何使社交网络的影响力最大化,也成了数据科学关注的重点。本期,我们介绍线性阈值模型...

2868

扫码关注云+社区

领取腾讯云代金券