【Bengio一人署名论文】提出“意识RNN”，用4页纸进军通用AI

【新智元导读】深度学习三巨头之一的Yoshua Bengio昨天在arXiv上传论文，署名只有他一人。Bengio在文中提出了一种“意识先验”，认为在现有模型和表征的基础上，还需要增加一个预测未来的因素，也即对“意识”的表征。Bengio认为这种全新的理论有很多展开方式，而且大幅偏离现有的数据建模方法和对未来的假设（即未来状态基于智能体的行动），或将为我们研究学习打开全新的局面。

关于自由意志是否存在，人类已经争论了几千年。越来越多的神经科学家通过实验，得出结论认为人类对于自由，或者说“自我掌控”的主观体验，可能只是一种错觉。

等等，为什么我们要在这里说自由意志？

深度学习三巨头之一的Yoshua Bengio，昨天在arXiv上传了一篇论文，不长，只有4页，而且署名只有他一人。作为伟大（出名）科学家的好处（往往也是坏处），可能就是你的一举一动都随时有人关注。所以，我们今天将介绍这篇论文。

Reddit网友评论称，谁没有过这样的体验——晚上喝高了狂书4页纸宣泄完一个让自己感觉好到爆的概念，然后上传到arXiv？还有人说，这篇论文有着很多上世纪80年代论文那样模糊、大胆和明晰的语言，那时候的人还无所畏惧，毫不担心自己会因为研究AGI（通用人工智能）而出丑。

总之，让我们来看这篇论文。但在此之前，还是先把自由意志的话题说完，因为这确实与Bengio的论文有关。

准备电位：潜意识引发自发行为

20世纪60年代中期，德国科学家Hans Helmut Kornhuber和Lüder Deecke发现，大脑在产生意识知觉前的瞬间会进入一种特殊的状态，他们将其称为“bereitschaftspotential”（BP），也即“准备电位”。

实验中，Kornhuber和Deecke要求参与者动一下手指（自发行为），但脑电图（EEG）扫描却显示，在这个动作发生前，大脑运动皮层出现了一个缓慢的负电位变化。这个观察结果完全出乎意料而且违反直觉。他们不得不得出结论认为，潜意识会引起自发行为。

后来的神经科学家使用更先进的方法和工具，设计更完备的实验，也得出了类似的结果。

总之，在人行动前，还有一个存在于意识的阶段，能够影响乃至决定这些行动；甚至在意识形成前，还有一个无意识的阶段，能够影响人类的决策。但，这就说得太远了。

意识先验：抽象空间的意识表征

Bengio的论文与意识和行动有关。他在论文中提出了一个“意识先验”（Consciousness Prior），认为在实际行动之前的抽象空间里，也应该有一个低维向量来表征意识，这对之后在像素空间发生的行为有预测作用。

Bengio在论文中对他的意识先验理论做了介绍。假设在时间 t 观察到的状态是 st，ht则是从 st 推演得到的高级表征，那么 ht 可能是某种RNN的输出：h_{t}=F(s_{t},h_{t-1}) 在这里函数F 被称为表征RNN（representation RNN），ht 为表征状态（representation state）。表征RNN可以被视为大脑在时间t的几乎全部内容，表征状态 ht 则是非常高维（并且稀疏）的向量，是智能体能够获取的所有信息的抽象表征。

然后，定义意识状态 ct，ct 是低维向量，使用注意力机制从 ht 推演而来， ct 与前一个时间点 ct-1 有关。这时，c_{t}=C(h_{t},c_{t-1},z_{t}) zt 是随机噪音源。

ct 的值对应思维的内容，也是我们在无意识中获取的信息的一个很小的子集，但在注意力机制的影响下被带入了意识中。函数C 是意识RNN（consciousness RNN），在随机噪音输入的影响下，随机在注意力作用下的几个要素中进行选择。意识RNN可用于探究对未来的规划或预测，还可以用来隔离出个别高级抽象，并从中抽取信息。

为了确保假设成立，即有意识的思想能够完整地包含对未来状态的陈述，论文引入了验证网络（verifier network），将过往意识状态 ct-k 与当前表征状态 ht 匹配：

V(ht, ct-k) 表明在给定 ht 估计对应状态概率为真。

最后，鉴于语言是意识最佳也是最方便的一种载体，Bengio还用另一个RNN来描述意识状态到言语的映射：u_{t}=U(c_{t},u_{t-1}) 这样，使用语言的学习智能体就有了额外的信息。Bengio还写道，这项研究打开了将深度学习与经典符号AI和认知科学联系起来的大门，并将深度学习从感知转移到更高层次的认知和知识表征。

当然，这并不是说我们要回归到符号主义，而是“去考虑由深度学习智能体所捕获的那些表征的一种正则化形式，可以具有许多经典AI事实和规则的属性，同时也为在这个拥有各种不确定和非离散方面的世界中进行推理和规划提供更加丰富的表征”。

好，讲到这里，借用一位Reddit用户说的，我们缺的就是Pytorch的实现啦:-D

Bengio在论文中讨论了如何针对意识先验设计实验，像他常说的那样，要从toy experiment开始。但更多内容，你还是直接看论文吧~

论文：意识先验

摘要

本文提出了一种表征学习的新先验，可以与其他先验结合，相互辅助解开抽象因子。这种先验受意识现象的启发而来，意识被视为构成一种意识思维的几个概念形成低维组合的过程，即在特定时刻感知到的意识。这为表征（representation）提供了强大的约束，因为这样低维的思维向量可以对应于关于现实的陈述，这些陈述可以是真实的，也可以是极有可能的，还可以是对作出决定非常有用的。当前状态的几个要素可以组合成这样一个具有预测性或有用的陈述，无疑是一个强有力的约束，并在很大程度上偏离了数据建模的最大似然法以及未来状态基于智能体行动的认知。意识先验让智能体在抽象空间而不是在知觉（例如像素）空间中进行预测，每次预测时都只涉及抽象空间的几个维度。在将意识状态映射为自然语言表述，或用事实和规则的形式表达经典AI知识的时候，使用意识先验也让整个过程更加自然，尽管意识状态可能比那些能够用句子、事实或规则的形式表达出来的内容更加丰富。

论文地址：https://arxiv.org/pdf/1709.08568.pdf