慢特征分析
慢特征分析 (slow feature analysis, SFA) 是使用来自时间信号的信息来学习不
变特征的线性因子模型(Wiskott and Sejnowski, 2002)。
SFA的想法源于所谓的慢原则 (slowness principle)。其基本思想是,与场景中 的描述作用的物体相比,场景的重要特性通常变化得非常缓慢。例如,在计算机视 觉中,单个像素值可以非常快速地改变。如果斑马从左到右移动穿过图像并且它的 条纹穿过对应的像素时,该像素将迅速从黑色变为白色,并再次恢复。通过比较,指 示斑马是否在图像中的特征将根本不改变,并且描述斑马的位置的特征将缓慢地改 变。因此,我们可能希望规范我们的模型,从而能够学习到随时间变化缓慢的特征。
慢原则早于SFA,并已被应用于各种模型 (Hinton, 1989; Földiák, 1989; Mobahiet al., 2009; Bergstra and Bengio, 2009)。一般来说,我们可以将慢原则应用于可以 使用梯度下降训练的任何可微分模型。为了引入慢原则,我们可以通过向代价函数添 加以下项
其中 λ 是确定慢度正则化的强度的超参数项,t 是样本时间序列的索引,f 是需要正 则化的特征提取器,L 是测量 f(x(t)) 和 f(x(t+1)) 之间的距离的损失函数。L 的一 个常见选择是平均误差平方。
SFA是慢原则中特别有效的应用。由于它被应用于线性特征提取器,并且可以通 过闭式解训练,所以它是高效的。像ICA的一些变体一样,SFA本身不是生成模型, 只是在输入空间和特征空间之间定义了线性映射,但是没有定义特征空间的先验, 因此输入空间中不存在 p(x) 分布。
SFA算法 (Wiskott and Sejnowski, 2002) 包括将 f(x;θ) 定义为线性变换,并求 解满足如下约束
学习特征具有零均值的约束对于使问题具有唯一解是必要的; 否则我们可以向所 有特征值添加一个常数,并获得具有慢度目标的相等值的不同解。特征具有单位方 差的约束对于防止所有特征趋近于 0 的病态问题是必要的。与PCA类似,SFA特征 是有序的,其中学习第一特征是最慢的。要学习多个特征,我们还必须添加约束
这要求学习的特征必须彼此线性去相关。没有这个约束,所有学习的特征将简单地 捕获一个最慢的信号。可以想象使用其他机制,如最小化重构误差,迫使特征多样 化。但是由于SFA特征的线性,这种去相关机制只能得到一种简单的解。SFA问题可 以通过线性代数软件获得闭式解。
在运行SFA之前,SFA通常通过对 x 使用非线性的基扩充来学习非线性特征。例 如,通常用 x 的二次基扩充来代替原来的 x,得到一个包含所有 xi xj 的向量。然后 可以通过重复学习线性SFA特征提取器,对其输出应用非线性基扩展,然后在该扩 展之上学习另一个线性SFA特征提取器,来组合线性SFA模块以学习深非线性慢特 征提取器。Linear SFA modules may then be composed to learn deep nonlinear slow feature extractors by repeatedly learning a linear SFA feature extractor, applying a nonlinear basis expansion to its output, and then learning another linear SFA feature extractor on top of that expansion.
当训练在自然场景的视频的小空间补丁的时候,使用二次基扩展的SFA能够学 习到与 V1 皮层中那些复杂细胞类似的许多特征 (Berkes and Wiskott, 2005)。当训 练在 3-D 计算机呈现环境内的随机运动的视频时,深度SFA模型能够学习到与大鼠 脑中用于导航的神经元学到的类似的特征 (Franzius et al., 2007)。因此从生物学角 度上说SFA是一个合理的有依据的模型。
SFA的一个主要优点是,即使在深度非线性条件下,它依然能够在理论上预 测SFA能够学习哪些特征。为了做出这样的理论预测,必须知道关于配置空间的环境 的动态(例如,在 3D 渲染环境中的随机运动的情况下,理论分析出位置,相机的速 度的概率分布)。已知潜在因子如何改变的情况下,我们能够理论分析解决表达这些 因子的最佳函数。在实践中,基于模拟数据的实验上,使用深度SFA似乎能够恢复了 理论预测的函数。相比之下其他学习算法中的代价函数高度依赖于特定像素值,使 得更难以确定模型将学习什么特征。
深度SFA也已经被用于学习用在对象识别和姿态估计的特征 (Franzius et al.,2008)。到目前为止,慢原则尚未成为任何最先进的技术应用的基础。究竟是什么因 素限制了其性能也有待研究。我们推测,或许慢度先验是太过强势,并且,最好添 加这样一个先验使得当前步骤到下一步的预测更加容易,而不是加一个先验使得特 征应该近似为一个常数。对象的位置是一个有用的特征,无论对象的速度是高还是 低。但慢原则鼓励模型忽略具有高速度的对象的位置。
内容摘自：https://github.com/exacity/deeplearningbook-chinese/releases/ 13.3