存在比深度学习更好的技术吗?有人说脉冲神经网络和哥德尔机器

【新智元导读】 什么比深度学习更好?由此引出深度学习的三大局限性:缺乏解释性、缺乏迁移能力以及巨大的计算资源消耗。什么比深度学习更好?脉冲神经网络和哥德尔机器算吗?

本文选自Quora上的提问,“什么比深度学习更好?”(What is better than deep learning?)

以下是来自用户Sridhar Mahadevan的回答。

(Sridhar Mahadevan 1990年毕业于罗格斯大学,获得计算机科学博士学位;是AAAI Fellow;是SRI International的执行主任)

在回答这个问题之前,必须先搞清楚“更好”是什么意思。有以下几种解读“更好”的方式。

  1. “更好”=标签数据集的精确度。在这种情况下,目前来看没有优于机器学习的。例如,深度学习在Imagenet或者言语/语言翻译等领域的大型标签数据集上表现最好。但是,根据我在机器学习30多年的研究经验,世事无常。正如一切奥运纪录都将被打破,总会有更新更好的事物出现。但目前为止,深度学习仍然拔得头筹。
  2. “更好”=结果解读能力。在这种情况下,深度学习表现不佳。Imagenet上令人印象深刻的30多层网络主要是黑盒子。除了尝试逐层解码每个隐藏单元的计算,黑盒子能够提供的洞察不多。这很乏味,是广泛使用深度学习的最大障碍。如果你有一辆使用深度学习的无人驾驶汽车,或有一个使用深度学习的自动化医疗程序,那就需要依照法律对其决策进行解释。为什么这辆车在撞到其它车前不停下?为什么这个程序断定患者是否患乳腺癌?如果这个问题不解决,深度学习无法得到更广泛应用。
  3. “更好”=跨任务转移。在这种情况下,深度学习表现依旧不佳。大部分深度学习奏效的原因是适应于任务。如果测试集分布和训练分布差别太大,除非经过专门训练,通常情况下深度学习表现不好。有些深度学习的变体专门产生通用特征,但仍在初级阶段。在适应和转移学习问题方面,还有更好的解决措施。
  4. “更好”=“计算成本更低”。深度学习表现不佳。这是因为深度学习需要重复多次,并需要高性能GPU电脑。

简而言之,如果你只在乎准确性(而不关注结果解读),如果你的测试数据与培训数据高度匹配,如果你有数百万的标签数据,以及有很多高性能GPU电脑,那么深度学习是最好的选择。反之,则有很多比深度学习更好的选择。

以下是来自用户Chansa Kabwe的回答

(Chansa Kabwe是神经网络研究人员)

回答这个问题时,我将假设以下两点:“深度学习”是指第二代深层神经网络(dnn);“更好”是泛指机器学习和人工智能的表现。

除了理论太复杂或难以实现等因素,可能有很多系统比深度神经网络表现好,例如脉冲神经网络和哥德尔机器(spiking neural networks and the gödel machine)

脉冲神经网络 (snn)已被归为第三代神经网络,并利用Hodgkin-Huxley,izhikevich,Fitzhugh-Nagumo等神经元生物模型。在1996年的论文里,Wolfgang Maas表明 SNNs表现优于第二代神经网络。神经元芯片试图通过在IC上直接实施snn来利用这一理论。IBM的truenorth芯片是一个很好的例子。

哥德尔机器最初由Jürgen Schmidhuber设计,是一个在数学上完全自我参照、自我完善的问题解决者。理论上要比深度学习更好。深度学习是哥德尔机器的一个变体,缺少自我反思等重要部分。哥德尔机器并未完全实施,但Steunebrink和Schmidhuber的工作已取得了实际进展。

总而言之,我们还不完全了解智能,而深度学习只能利用其中一小部分。深度学习的确是一个很好的解决方案,但有一些缺点。如果解决这些缺点,将会有更好的系统。例如,DeepMind的可微分神经计算机(dnc)试图解决神经网络中的遗忘性问题。

原文地址:https://www.quora.com/What-is-better-than-deep-learning

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-10-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

学不学吴恩达deeplearning.ai课程,看完这篇你就知道了

AI 科技评论按:本文的作者是 Thomas Treml,是一名具有社会学背景的数据科学自由职业者。他在 Medium 上分享了自己学习 deeplearnin...

14530
来自专栏AI研习社

学不学吴恩达 deeplearning.ai 课程,看完这篇你就知道了

AI 研习社按:本文的作者是 Thomas Treml,是一名具有社会学背景的数据科学自由职业者。他在 Medium 上分享了自己学习 deeplearning...

11310
来自专栏机器之心

入门 | 学完了在线课程?如何开启深度学习论文的阅读模式

在一个 Quora 问答《I want to pursue machine learning as a career but not sure if I am ...

10810
来自专栏新智元

【深度】“信息瓶颈”理论揭示深度学习本质,Hinton说他要看1万遍

【新智元导读】在深度学习应用突飞猛进的现在,我们比任何时候都急需理论上的突破。日前,希伯来大学计算机科学家和神经学家Naftali Tishby等人提出了一种叫...

30240
来自专栏人工智能头条

CCAI 2017 | 香港科技大学计算机系主任杨强:论深度学习的迁移模型

9220
来自专栏人工智能头条

AI变身记:不光能有人的智能,还要像狗一样“思考”

15240
来自专栏AI科技大本营的专栏

CCAI 2017 | 香港科技大学计算机系主任杨强:论深度学习的迁移模型

作者 | 贾维娣 7月23日,由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办,CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会(CCAI 201...

378110
来自专栏算法channel

一文梳理NLP之机器翻译和自动摘要的发展现状

2 NLP入门:CNN,RNN应用文本分类,个性化搜索,苹果和乔布斯关系抽取(2)

81420
来自专栏算法channel

北大才女总结:机器学习的概念、历史和未来

提起机器学习,我们不得不给机器学习下一个准确的定义。在直观的层面,如果说计算机科学是研究关于算法的科学,那么机器学习就是研究关于“学习算法”的科学,或者说,不同...

13900
来自专栏新智元

掌握这些问题,成为 Facebook 机器学习工程师

【新智元导读】彭博社最近推出了一些列大公司面试指南,其中包括Facebook、Uber和高盛等大公司。那么,如果想进入Facebook做一名机器学习工程师,需要...

43560

扫码关注云+社区

领取腾讯云代金券