深度学习中,还有这15个未解难题

王小新 编译自 Bharath Ramsunder博客 量子位 出品 | 公众号 QbitAI

认脸、翻译、合成语音……深度学习在很多问题上都取得了非常好的成绩。

那么,还有什么问题不能用深度学习来解决呢?

斯坦福大学在读博士Bharath Ramsundar列出了下面16个方面,希望能对今后的算法开发有所帮助。

量子位翻译了这篇文章,以下为译文。

1.众所周知,深度学习方法很难学习到输入样本的微小变化。当样本的颜色交换时,所构建的目标识别系统可能会完全崩溃。

2.基于梯度的网络训练过程相当缓慢。一般按照固定模式来实现多种梯度下降方法,但是这种方法很难用于高维数据的预测。

3.深度学习方法在处理条件约束方面的效果也不佳,不能像线性规划方法那样,能快速找到满足约束的解决方案。

4.在训练复杂模型时,网络相当不稳定。通常不能很好地训练神经图灵机和GAN网络,严重依赖网络的初始化方式。

5.深层网络能较好地应用于图像处理和自然语言分析中,但是不适合现实世界的实际问题,如提取因果结构等等。

6.在实际应用中,要考虑关键影响者检测的问题。在参议员投票的数据集中,应该如何检测出关键影响者,深度神经网络DNN还不能应用于此方面。

7.强化学习(Reinforcement learning)方法对输入数据非常挑剔,实际性能主要取决于调参技巧,虽然这个特殊问题仅存在于这个方面。

8.深度学习方法不容易理解未知实体,比如说当棒球击球手在视频中,深度学习不知道如何推断出屏幕外还有个投手。

9.实时训练深层网络几乎不可能,因此很难进行动态调整,上文已经提到网络训练缓慢的问题。

10.一般来说,网络需通过离线训练后才能进行智能辨识。

11.人们经常提出一些对深层网络的理论解释。但这可能不是一个大问题,人们才是一个真正的大问题。

12.目前很难确定深层网络学习到了什么。作为工程师的我们,怎样才能确保在网络训练过程中不存在偏见和种族歧视?

13.深度神经网络很难用来解决逻辑问题。3SAT求解器具有很强的能力,但是很难应用到深层网络。

14.深度神经网络在处理大维度的特征数据方面效果不佳。这种方法与强大的随机森林方法不同,在训练前需要大量的特征调整。

15.深度网络的超参数优化研究仍然处于起步阶段。研究者需要完成大量的计算或是手动调整许多网络结构。

以上这些并不是一个完整的列表,但是我觉得这些都是值得思考的问题。在这些问题的基础上,要思考:

这些问题是深层神经网络本身存在的问题,还是要被克服的工程挑战?

这些都很难说,其中的一些问题可能会得到解决,比如更多性能优秀的硬件被开发用于超参数自动搜索。有一些早期结构可以用来自动归一化和处理大维度的特征数据,因此处理特征的问题可能有所改善。

然而,逻辑、约束、隐藏结构和网络审查等问题可能会进行更深入地研究。我很愿意看到大家对这些问题提出质疑,深度学习的研究者通常都是很有才华和有想象力的。摩尔定律仍然适用于GPU性能曲线,TPU和定制硬件还需要多久才能上市?

所以我对这些挑战持乐观态度。尽管如此,我还是怀疑深度神经网络不足以实现通用人工智能,当然,这可能只是我的偏见,事件上的专家可能是预测上的菜鸟,我们花了太多时间钻研技术。

千万不要只知其然,而不知其所以然!

我不想把这个随笔写成一篇文章,不确定是否有未知的主题还未被列出。

最后,作者还说,把这篇随笔送给聪明的读者。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-06-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 为数据集自动生成神经网络:普林斯顿大学提出NeST

3325
来自专栏机器之心

学界 | 最大规模数据集、最优图像识别准确率!Facebook利用hashtag解决训练数据难题

2295
来自专栏人工智能

机器学习和深度学习概念入门(下)

目 录 1人工智能、机器学习、深度学习三者关系 2什么是人工智能 3什么是机器学习 4机器学习之监督学习 5机器学习之非监督学习 6机器学习之半监督学习 7机...

2108
来自专栏AI研习社

视频 | 谷歌新论文发现对抗样本也会骗人

Adversarial Examples that Fool both Human and Computer Vision

1004
来自专栏ATYUN订阅号

OpenAI:通过无监督学习提高语言理解能力

研究者通过一个可扩展的,与任务无关的系统获得了一系列不同语言任务的最新成果,这一系统也即将发布。此方法结合了两种现有的想法:Transformer和无监督的预训...

1294
来自专栏AI科技评论

干货 | 康奈尔博士后黄高:如何设计高效地卷积神经网络

AI 科技评论按:卷积神经网络则是深度学习最具代表性的模型,在计算机视觉和自然语言翻译等领域有着极其广泛的应用。随着精度以及复杂度的逐步提升,卷积网络的推理效率...

46611
来自专栏书山有路勤为径

机器学习策略(1)

假设你在做一个猫的分类器,训练准确度达到了90%,现在还想继续提高,你可能会有以下的想法:

922
来自专栏顶级程序员

【推荐】一文了解强化学习

摘要 转自:极客头条 强化学习非常重要,原因不只在于它可以用来玩游戏,更在于其在制造业、库存、电商、广告、推荐、金融、医疗等与我们生活息息相关的领域也有很好的...

3599
来自专栏原创

AI技术说:人工智能相关概念与发展简史

作为近几年的一大热词,人工智能一直是科技圈不可忽视的一大风口。随着智能硬件的迭代,智能家居产品逐步走进千家万户,语音识别、图像识别等AI相关技术也经历了阶梯式发...

4826
来自专栏AI科技评论

学界 | 发美照时打上「#」,还能帮Facebook提升图片识别率哟

AI 科技评论按:近日 Facebook 科学家团队发布基于主题标签的深度学习方法,使用已有的拥有主题标签的图片作为训练数据,从而大幅提升了训练数据集的大小。数...

1172

扫码关注云+社区

领取腾讯云代金券