人工智能如何发展意识？深度学习在哪些方面偏离了传统的统计学习理论？

问：人工智能如何发展意识？

答：没人知道。在我看来，这使得这个问题变得更加有趣。

这并不能阻止我们猜测并采取行动看看会发生什么。

我认为它至少需要一个可以学习的过程。这意味着一个使用简单的基本构建块来创建响应奖励系统的复杂心理结构的过程。

我还认为它需要一种以正确的方式奖励它的配置。把它想象成一颗长成大树的种子。如果没有配置，就没有动力去创建任何结构。如果配置错误，就会形成毫无意义的心理结构。我们也许能够从现有的配置（例如人类提供的配置）中复制它。我想我们是在一种特定的结构中进化而来的，这种结构产生了基本的心理结构，使我们能够变得如此通用和灵活。我很好奇这个配置是很小还是很大。我们自己想出一个可能非常困难。

然后，它将需要正确的投入和互动，我们可以将其视为教育。例如，婴儿需要某种互动。如果没有它，他们很可能会死亡。如果我们复制人类的配置，这个人工智能可能需要相同类型的输入才能蓬勃发展。想象一下人类可能面临的所有发育问题。我们必须了解这些复杂的行为并有效地处理它们。

也许我们还可以通过预装一些不必要的基础软件来启动它。换句话说，基本的心理结构。这可以提供一个基本方向，使其能够更有效地发展。

您可以看到每个步骤都很复杂，而且它们之间的交互非常复杂，几乎无法理解。

我认为最好的方法是我们创建脑机接口并使用计算机扩展我们自己的大脑，因为这会自动使它们具有意识，而无需我们弄清楚自己的配置。也许在那之后我们将能够理解并创造纯粹的人工意识。

另一种思考方式是，我们已经可以创造人工意识，因为我们能够通过学习改变我们自己的意识。你可以提高你的意识等等。不同的人有几乎相同的大脑，但他们记忆东西或学习新事物的方式却完全不同。

我们绝对有可能改善我们的教育体系，让孩子们发展出我们难以想象的令人难以置信的心理特征。我个人认为这个领域被低估了，我们应该加大投入。

另一种方法可能是按照我们想要的方式培养有机大脑。

另一种方法是对有机大脑进行建模并在计算机上运行该模型。是的，神经元很复杂，但我相信我们可以使用模型对其进行优化，我们只需要尝试许多不同的模型并发挥想象力。例如，欧盟的人脑项目就是这样做的。

当然，有人可能会说你无法测试人工意识是否真的有意识，但你也不能对除了你自己之外的任何人进行测试。也许即使是一个心灵也支持多个活跃的、独立的意识流相互作用，这是很自然的，我们不会去思考它。像这样的事情可能看起来应该是显而易见的、容易注意到和理解的，但这并不是一种有用的思考方式，因为人类通常看不到和理解“明显”的事情。

另外，要回答这个问题，我们首先必须就意识到底是什么达成一致，这是一个比其他任何问题都重要的哲学问题。

引用英国心理学家和动物学家斯图尔特·萨瑟兰的话：

意识是一种令人着迷但难以捉摸的现象：不可能具体说明它是什么、它做什么、或者它为何进化。上面没有写任何值得一读的内容。

根据一些非常宽松的定义，我们今天拥有的人工智能软件是有意识的。例如，计算机视觉系统可以感知图像并感知它们所代表的内容。

与人类对意识的直观理解相比，我们距离通过人工手段实现远程意识还很远。

我们怎么去那里？我们根本不知道。因为我们甚至不知道要寻找什么。

问：深度学习在哪些方面偏离了传统的统计学习理论？

答：在回答这个问题时，人们肯定会涉及大量的技术细节，谈论最小化平方和与梯度下降之类的事情。但是，这是看待这个问题的另一种方式。

考虑一个刚刚学习说话的幼儿。假设这个小孩从婴儿期起就接触过一只狗和一只猫作为她的宠物。如果你带了一只新的狗或猫并问她是小狗还是小猫，她几乎肯定能够告诉你该动物所属的物种（例如指着它说“那是一只小猫”） 。如果您在这里问她如何知道狗和猫之间的区别，她可能无法告诉您（例如，她可能只是说一些同义反复，例如“好吧，它看起来像一只小猫，愚蠢的”）。

深度学习就是这样。事实上，深度学习是基于神经网络的（辅以卷积等），孩子区分狗和猫的能力也是如此。所以，他们都非常擅长学习东西，但不太擅长解释为什么他们知道这些东西。（请注意，有一些方法可以尝试发现深度学习算法“真正看到”的内容，但它们非常尴尬）。

另一方面，传统的统计学习更多地关注事物的原因。这就是列出 beta 系数的目的 - 确定在解释您所看到的结果时真正重要的内容。也就是说，传统的统计学习在做出此类狗猫决定的实际能力方面通常不如深度学习。您需要指定大量变量并收集大量数据，然后逻辑回归才能像幼儿一样可靠地区分狗和猫，或者深度学习算法看起来毫不费力。

基本上，这涉及柏拉图对真实信仰和知识之间的区别（通过苏格拉底）。深度学习非常擅长给你真实的信念，但不如传统的统计学习那么擅长给你理解。但是，实际上，就像蹒跚学步的孩子一样，有时我们所需要的只是真正的信念。

问：深度学习之后下一步是什么？

答：关于深度学习，首先也是最重要的一点是，它不是一个“深”主题，这意味着它是一个非常“浅”的主题，几乎没有任何理论基础。无法保证收敛（因为我们毕竟讨论的是高维空间中的非线性优化），也没有任何类型的性能保证（例如，与机器学习的其他领域相比，例如核方法、稀疏方法）线性模型等）。这本质上就像没有物理的木工。如果将这种类型的抛光剂与那种木材混合，就会得到这种效果。

深度学习之外的未来之所以必然存在，是因为人们无法用干草搭建起坚实的机器学习工程科学。

正如弗拉基米尔·瓦普尼克曾经说过的那样，“世界上最实用的东西就是好的理论”，而这一点目前在深度学习中是不具备的。如果深度学习是机器学习社区能做到的最佳解决方案，那么作为这个研究社区 30 多年的持证成员，我不得不说我们遇到了严重的麻烦！

让我们举一个例子，当前人们对生成对抗模型（GAN）的愤怒。关于这个主题的论文有近 500 多篇，还有近 3 打的 GAN 变体，而且每周都会有更多变体出现。然而，几乎没有任何论文表明：1）GAN 在训练时是否会可靠地收敛（原始 GAN 不会！）2）GAN 的样本复杂性是多少（没有人知道）3）GAN 能做什么和不能做什么。

据我所知，有 1-2 篇论文试图给出 GAN 的理论，其中一篇由 Sanjeev Arora 及其同事撰写的特别好的论文，但在很大程度上是负面的结果。它表明原始 GAN 模型不收敛，但修改后的多生成器/多判别器模型可能会收敛，但程度非常弱。然而，这并没有削弱人们对这个模型的兴奋，远非如此。

当人们对 GAN 这样的模型感到兴奋时，还会有一种集体的现实感丧失感。这些模型需要成千上万次迭代才能收敛（有时会收敛，但通常不会），并且每次迭代都需要多次遍历数据。

在一天结束时，您消耗了数百万个 CPU 周期，并且在消耗所有能量后您必须想知道：这款游戏是否得不偿失？这些能量把我们带到哪里去了？它是否引导我们找到一个坚实的、基于科学的理论来构建无监督学习理论？绝大多数 GAN 论文很大程度上都是实证性的，展示了 GAN 变体可以做什么的可爱图片，但指标通常要么不存在，要么有些人为。

因此，我们这个领域的许多人确实期待着超越深度学习的生活，在那里我们不仅可以建立令人印象深刻的经经验证实的学习系统，而且还可以拥有坚实的理论作为基础。

如果您想要一个真正“深奥”科学的例子，今年的 LIGO 探测器设计诺贝尔奖就是您的最佳选择，该探测器为 100 年来根据爱因斯坦广义相对论探测引力波的努力画上了句号。

我们现在可以探测到 20 亿光年之外的黑洞之间的碰撞，一次碰撞释放的能量比可观测宇宙中所有恒星的总能量还要多。LIGO 探测器的构建和广义相对论的进步都涉及到大量重要的数学知识。

这就是真正的“深度”学习理论应该是什么样的。我相信有一天，机器学习将会实现这一目标，但这需要多年的努力，而物理学家为我们提供了可以实现的目标的灵感。

另外，深度学习并不是基于优雅的理论。它只涉及一系列一遍又一遍地进行梯度计算，直到达到令人满意的收敛点。仅仅是因为深度学习为我们提供了非常低的计算机视觉等问题的错误率，我们觉得它做得很好。仅仅满足于此是不行的。此外，饰演斯里达尔·马哈德万非常正确地指出，这是对机器资源的巨大消耗。

作为一名计算机科学专业的学生和一名在该行业工作的人，我知道编写执行相同任务但又不完全占用内存等资源的优化且高效的代码是多么重要。深度学习并没有完全实现这一点。在这种情况下，新的学习任务变得困难。

真正智能系统的典范不应使用数 TB 的数据进行训练。即使使用少量的训练示例，它也能够以高精度识别模式。一个真正的智能系统应该执行大量的资源优化，以高效地实现机器学习的目标。效率就是优雅。效率就是艺术。

老实说，有时我觉得我们已经开始生活在查尔斯·巴贝奇（Charles Babbage）的时代，当时他发明了差分引擎，过去训练机器更好地执行计算是一项笨重的任务，就像我们今天的深度学习模型一样。我们需要尽快度过这个阶段。我希望机器学习研究人员认识到这一点，并牢记这一点，朝着人工智能的目标努力。