存在比深度学习更好的技术吗？有人说脉冲神经网络和哥德尔机器

本文选自Quora上的提问，“什么比深度学习更好？”(What is better than deep learning?)

以下是来自用户Sridhar Mahadevan的回答。

（Sridhar Mahadevan 1990年毕业于罗格斯大学，获得计算机科学博士学位；是AAAI Fellow；是SRI International的执行主任）

在回答这个问题之前，必须先搞清楚“更好”是什么意思。有以下几种解读“更好”的方式。

1. “更好”=标签数据集的精确度。在这种情况下，目前来看没有优于机器学习的。例如，深度学习在Imagenet或者言语／语言翻译等领域的大型标签数据集上表现最好。但是，根据我在机器学习30多年的研究经验，世事无常。正如一切奥运纪录都将被打破，总会有更新更好的事物出现。但目前为止，深度学习仍然拔得头筹。
2. “更好”=结果解读能力。在这种情况下，深度学习表现不佳。Imagenet上令人印象深刻的30多层网络主要是黑盒子。除了尝试逐层解码每个隐藏单元的计算，黑盒子能够提供的洞察不多。这很乏味，是广泛使用深度学习的最大障碍。如果你有一辆使用深度学习的无人驾驶汽车，或有一个使用深度学习的自动化医疗程序，那就需要依照法律对其决策进行解释。为什么这辆车在撞到其它车前不停下？为什么这个程序断定患者是否患乳腺癌？如果这个问题不解决，深度学习无法得到更广泛应用。
3. “更好”=跨任务转移。在这种情况下，深度学习表现依旧不佳。大部分深度学习奏效的原因是适应于任务。如果测试集分布和训练分布差别太大，除非经过专门训练，通常情况下深度学习表现不好。有些深度学习的变体专门产生通用特征，但仍在初级阶段。在适应和转移学习问题方面，还有更好的解决措施。
4. “更好”=“计算成本更低”。深度学习表现不佳。这是因为深度学习需要重复多次，并需要高性能GPU电脑。

简而言之，如果你只在乎准确性（而不关注结果解读），如果你的测试数据与培训数据高度匹配，如果你有数百万的标签数据，以及有很多高性能GPU电脑，那么深度学习是最好的选择。反之，则有很多比深度学习更好的选择。

以下是来自用户Chansa Kabwe的回答：

（Chansa Kabwe是神经网络研究人员）

回答这个问题时，我将假设以下两点：“深度学习”是指第二代深层神经网络(dnn)；“更好”是泛指机器学习和人工智能的表现。

除了理论太复杂或难以实现等因素，可能有很多系统比深度神经网络表现好，例如脉冲神经网络和哥德尔机器（spiking neural networks and the gödel machine）

脉冲神经网络 (snn)已被归为第三代神经网络，并利用Hodgkin-Huxley，izhikevich，Fitzhugh-Nagumo等神经元生物模型。在1996年的论文里，Wolfgang Maas表明 SNNs表现优于第二代神经网络。神经元芯片试图通过在IC上直接实施snn来利用这一理论。IBM的truenorth芯片是一个很好的例子。

哥德尔机器最初由Jürgen Schmidhuber设计，是一个在数学上完全自我参照、自我完善的问题解决者。理论上要比深度学习更好。深度学习是哥德尔机器的一个变体，缺少自我反思等重要部分。哥德尔机器并未完全实施，但Steunebrink和Schmidhuber的工作已取得了实际进展。

总而言之，我们还不完全了解智能，而深度学习只能利用其中一小部分。深度学习的确是一个很好的解决方案，但有一些缺点。如果解决这些缺点，将会有更好的系统。例如，DeepMind的可微分神经计算机（dnc）试图解决神经网络中的遗忘性问题。

原文地址：https://www.quora.com/What-is-better-than-deep-learning