【NIPS'16 】Bengio 报告 | 大脑与比特：当神经科学遇上深度学习

【新智元导读】本年度的 NIPS 接近尾声，Yoshua Bengio 的报告终于出炉。Bengio这次报告主要介绍神经科学与深度学习之间的关系，逐一介绍了在神经科学上可行的深度学习概念，比如反向传播、玻尔兹曼机中的随机松弛、强化学习等。他认为，深度学习的中心议题是信度分配问题，所以，在一个大型网络中，联合的协作式学习是必须的。

大脑与比特：当神经科学遇上深度学习

蒙特利尔在深度学习上的优势：教员、研究院、学生等方面优势的介绍。

深度学习的中心议题：信度分配

在一个大型网络中，联合的协作式学习是必须的

例子：要想让某些隐藏的层对其他层和网络中更大的对象有用，它们应该做些什么？

已有的一些解决方案：

• 反向传播
• 玻尔兹曼机中的随机松弛

但是，仅有强化（学习）并不能解决这一问题，因为随着大量的神经元得到可信度，变量会呈线性扩展。

那么，大脑是如何处理这一问题的？

生物学上可行的反向传播

推荐了6篇论文

连续霍普菲尔德网络中能量函数的变化

作为推理的神经计算机：Langevin MCMC （以及其他大部分的MCMC）=降低能量的一些小步骤，加上输入的不可预测性。

对称（symmetry）的必要性

巧合

没有强制对称性的自动编码器最终是有对称权重的

对于反向传播来说，精确的对称性并不是必须的。

如何在负相位（negative phase）中执行快速的推理（比如，从后部进行抽样）。

前馈计算与循环relaxation 中的固定的互相起作用的有效条件是：

每一对连续的层组成一个好的自动编码器

深度生成网络中快速推理中使用前馈的概念，在生物学上是可行的。

从下至上的输入=基树突；从上至下的输入=顶端树突

相互预测标准=自动编码重构标准

错误传播=惊喜传播=以和谐的方式反馈

错误传播=增量目标传播

如果临时派生=错误梯度

反馈通道会计算用于反馈通道的“增量目标”，在正确的方向上移动隐藏激活因子。

被传播的、自上而下的小变化代表着“意外”信号，与此同时，反馈通道计算目标的方向，也就是反馈激活因子的移动方向。

前馈和反向传播在结构上没有任何的不同。

均衡传播

填补基于能量的模型和反向传播之间的差异

我们如何训练一个能执行计算任务的实体系统？

考虑一个通过其确定性或随机动态执行计算的物理系统

该系统有一个可以调整的参数θ

成本函数C可以衡量答案的好坏

参数和目标 J （动态的平衡成本）间的关系是隐式的

怎样评估损失wrt参数的梯度？

动态平衡

两个阶段：前人研究平衡传播能解决以上所有问题（起码在理论上能）。

影响参数CHL 和玻尔兹曼机学习有两个模式：①钳位输出模式；②自由输出模式影响参数β控制外部世界对输入和输出单元的影响程度。

示例：监督连续 Hopfield 网络

解决对比Hebbian学习的问题

更多通用设置：平衡传播在任何架构中都可以工作，甚至是在一个完全连接的网络，或者一个侧向连接的网络。反向传播中的连接在网络拥有层次架构时会更加明显。

主定理目标函数（平衡成本）的梯度可以通过一维有限差分来估计

STDP连接：从Hinton在2007年的研究中获得灵感。

平衡传播与STDP：一个差异化的对比Hebbian更新。

实验结果

峰值结果（Mesnard, Gerstner, Brea 2016）

继承反向传播属性

误差传播 = 增量目标传播前向传播和反向传播之间没有结构性的差异

平衡传播包括了普通反向传播，以前馈传播网络作为一个具体的例子。

平衡传播包括前馈网络的一般反向传播的特殊情况

开放问题：

消除能量公式的局部最小值，推广到由其动态定义的系统，学习跃迁算子，从而避免权重对称约束。

将这些想法推广到无监督学习？

推广到沿时间反向传播？

STDP vs 反向-STDP：做梦的原理？

变分回溯

GANs 和 Actor-Critic 的大脑实现：质疑单目标优化教条。

使用平衡传播，类似 GAN 的判别目标或 actor-critic 设置中的 critic 可以用于训练 predictor 或 actor resp.。