大数据文摘作品,转载具体要求见文末
原作者 | Bharath Ramsundar
编译 | Molly 张礼俊
什么是机器学习做不到的呢?把这些失败的地方罗列出来,对指导算法的改进是很有帮助的。
1、当输入有小幅扰动时,深度学习方法会失效。例如当颜色改变之后,图像识别就可能会崩溃。
2、基于梯度优化的学习是非常慢的(除了慢,对于非凸的问题,梯度下降算法还可能陷入局部极值) 。需要许多许多步梯度下降才能捕获模式。高维预测十分困难。
3、深度学习方法难以处理约束条件。和线性规划不同,它不能找到满足约束条件的解。
4、复杂模型的训练是十分不稳定的。神经网络图灵机(Neural turing machines)和 生成式对抗网络常常训练失败,它们非常依赖初始的随机值。
5、和图模型不同,深度神经网络和现实世界难以对应。不能提取因果结构。
例如,对于影响因素检测问题。给出议员投票数据集,要检测关键影响因素。在深度神经网络中很难清晰表达。
6、强化学习方法很难伺候。模型表现十分依赖调参技巧。但是这个问题只在特定条件下出现。
7、深度学习进行未知实体的推理是十分困难的。比如有一段击球手的视频,投手在画面外。
8、在深度神经网络技术的世界里,我们尚不清楚怎样推断投手的存在。
9、在线训练深度神经网络是很难的(参阅上文训练很慢的部分)。所以很难动态响应。
10、一般情况下,智能行为都是离线训练的。
11、人们常常提到深度网络的可解释性。我不认为这个问题像人们说的那样严重。但是,人类难以察觉深度网络学到的内容。我们凭什么保证偏见和种族主义的东西没有被学习到呢?看看那些讲 word2vec模型中的种族主义的文章吧。
12、深度神经网络在解决逻辑问题上遇到困难。3SAT 求解器功能十分强大,但是很难嵌入到深度网络中。
13、在处理尺度范围较大的特征时,深度神经网络的表现很差。和稳定的随机森林不同, 深度神经网络需要进行大量的特征调整。
14、超参数搜索也很可怕。工程师不但要进行繁重的计算,还需要大量的手工调整结构。
这绝不是一份详尽的清单。所有这些都是值得思考(和进一步研究)的问题。
还有一个重要的问题:这些问题是深度网络固有的,还是工程上需要克服的挑战?
讲真,这很难说。有一些问题似乎可以解决。更多的硬件设备可以使自动超参数搜索变得可行。
一些前期结构可以进行自动归一化(auto-normalize),处理大尺度范围数据,所以特征处理也可以提升。
但是,逻辑、约束、隐含层和审查方面的问题可能更为严重。
不过,我很希望被打脸。深度学习工程师们都才华横溢,富有想象力。
此外,摩尔定律目前对GPU的表现依然有效。(但是能持续多久呢?TPUs 和定制硬件能拯救我们吗?)
所以,我对于这些挑战还是相对乐观的。尽管如此,我怀疑深度网络对广义的智能来说是不够的。
不过这可能是我个人的偏见。专业的工程师在预测方面往往很糟糕。埋头苦干太长时间了。
以至于只见树木,不见森林。
我并不想把这篇推文写进论文里。我还不知道是否会有潜在的主题。
最后,探索和分析就留给有眼光的读者们,当作一个练习吧!
原文链接:http://rbharath.github.io/what-cant-deep-learning-do/
关于转载 如需转载,请在开篇显著位置注明作者和出处(转自:大数据文摘 | bigdatadigest),并在文章结尾放置大数据文摘醒目二维码。无原创标识文章请按照转载要求编辑,可直接转载,转载后请将转载链接发送给我们;有原创标识文章,请发送【文章名称-待授权公众号名称及ID】给我们申请白名单授权。未经许可的转载以及改编者,我们将依法追究其法律责任。联系邮箱:zz@bigdatadigest.cn。