慢特征分析

慢特征分析 (slow feature analysis, SFA) 是使用来自时间信号的信息来学习不

变特征的线性因子模型(Wiskott and Sejnowski, 2002)。

SFA的想法源于所谓的慢原则 (slowness principle)。其基本思想是,与场景中 的描述作用的物体相比,场景的重要特性通常变化得非常缓慢。例如,在计算机视 觉中,单个像素值可以非常快速地改变。如果斑马从左到右移动穿过图像并且它的 条纹穿过对应的像素时,该像素将迅速从黑色变为白色,并再次恢复。通过比较,指 示斑马是否在图像中的特征将根本不改变,并且描述斑马的位置的特征将缓慢地改 变。因此,我们可能希望规范我们的模型,从而能够学习到随时间变化缓慢的特征。

慢原则早于SFA,并已被应用于各种模型 (Hinton, 1989; Földiák, 1989; Mobahiet al., 2009; Bergstra and Bengio, 2009)。一般来说,我们可以将慢原则应用于可以 使用梯度下降训练的任何可微分模型。为了引入慢原则,我们可以通过向代价函数添 加以下项

其中 λ 是确定慢度正则化的强度的超参数项,t 是样本时间序列的索引,f 是需要正 则化的特征提取器,L 是测量 f(x(t)) 和 f(x(t+1)) 之间的距离的损失函数。L 的一 个常见选择是平均误差平方。

SFA是慢原则中特别有效的应用。由于它被应用于线性特征提取器,并且可以通 过闭式解训练,所以它是高效的。像ICA的一些变体一样,SFA本身不是生成模型, 只是在输入空间和特征空间之间定义了线性映射,但是没有定义特征空间的先验, 因此输入空间中不存在 p(x) 分布。

SFA算法 (Wiskott and Sejnowski, 2002) 包括将 f(x;θ) 定义为线性变换,并求 解满足如下约束

学习特征具有零均值的约束对于使问题具有唯一解是必要的; 否则我们可以向所 有特征值添加一个常数,并获得具有慢度目标的相等值的不同解。特征具有单位方 差的约束对于防止所有特征趋近于 0 的病态问题是必要的。与PCA类似,SFA特征 是有序的,其中学习第一特征是最慢的。要学习多个特征,我们还必须添加约束

这要求学习的特征必须彼此线性去相关。没有这个约束,所有学习的特征将简单地 捕获一个最慢的信号。可以想象使用其他机制,如最小化重构误差,迫使特征多样 化。但是由于SFA特征的线性,这种去相关机制只能得到一种简单的解。SFA问题可 以通过线性代数软件获得闭式解。

在运行SFA之前,SFA通常通过对 x 使用非线性的基扩充来学习非线性特征。例 如,通常用 x 的二次基扩充来代替原来的 x,得到一个包含所有 xi xj 的向量。然后 可以通过重复学习线性SFA特征提取器,对其输出应用非线性基扩展,然后在该扩 展之上学习另一个线性SFA特征提取器,来组合线性SFA模块以学习深非线性慢特 征提取器。Linear SFA modules may then be composed to learn deep nonlinear slow feature extractors by repeatedly learning a linear SFA feature extractor, applying a nonlinear basis expansion to its output, and then learning another linear SFA feature extractor on top of that expansion.

当训练在自然场景的视频的小空间补丁的时候,使用二次基扩展的SFA能够学 习到与 V1 皮层中那些复杂细胞类似的许多特征 (Berkes and Wiskott, 2005)。当训 练在 3-D 计算机呈现环境内的随机运动的视频时,深度SFA模型能够学习到与大鼠 脑中用于导航的神经元学到的类似的特征 (Franzius et al., 2007)。因此从生物学角 度上说SFA是一个合理的有依据的模型。

SFA的一个主要优点是,即使在深度非线性条件下,它依然能够在理论上预 测SFA能够学习哪些特征。为了做出这样的理论预测,必须知道关于配置空间的环境 的动态(例如,在 3D 渲染环境中的随机运动的情况下,理论分析出位置,相机的速 度的概率分布)。已知潜在因子如何改变的情况下,我们能够理论分析解决表达这些 因子的最佳函数。在实践中,基于模拟数据的实验上,使用深度SFA似乎能够恢复了 理论预测的函数。相比之下其他学习算法中的代价函数高度依赖于特定像素值,使 得更难以确定模型将学习什么特征。

深度SFA也已经被用于学习用在对象识别和姿态估计的特征 (Franzius et al.,2008)。到目前为止,慢原则尚未成为任何最先进的技术应用的基础。究竟是什么因 素限制了其性能也有待研究。我们推测,或许慢度先验是太过强势,并且,最好添 加这样一个先验使得当前步骤到下一步的预测更加容易,而不是加一个先验使得特 征应该近似为一个常数。对象的位置是一个有用的特征,无论对象的速度是高还是 低。但慢原则鼓励模型忽略具有高速度的对象的位置。

内容摘自:https://github.com/exacity/deeplearningbook-chinese/releases/ 13.3

原文发布于微信公众号 - CreateAMind(createamind)

原文发表时间:2017-01-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏UAI人工智能

深度学习入门教程 第三讲

1164
来自专栏磐创AI技术团队的专栏

论文 | 半监督学习下的高维图构建

1692
来自专栏计算机视觉战队

稀疏&集成的卷积神经网络学习

今天主要和大家说的是分类检测过程中,一些稀疏和集成学习的相关知识,首先和大家说下图像目标定位与检测的方法分类。 众所周知,当前是信息时代,信息的获得、加工、处理...

3795
来自专栏AI科技大本营的专栏

一文带你了解深度神经网络架构发展史

作者 | Eugenio Culurciello 译者 |叶俊贤 深度神经网络和深度学习算法因为在科研工作与工程任务中都取得了显著的效果从而大受欢迎。而其中取...

37612
来自专栏悦思悦读

「机器学习」学到多深够用?

机器学习现在热得一塌糊涂,码农要是不会点机器学习,都不好意在IT界混了。 机器学习难吗?一大堆公式,好像很难的样子。不过,看人家用起来,也不过就是下载几个软件...

3056
来自专栏奇点大数据

AI从业者需要应用的10种深度学习方法

深度学习是作为这个领域的一个重要竞争者,在这个十年的爆炸式的计算增长中出现的,赢得了许多重要的机器学习竞赛。利息至2017年尚未降温; 今天,我们看到在机器学习...

3594
来自专栏深度学习与数据挖掘实战

干货|Hinton、LeCun、Bengio三巨头权威科普深度学习

借助深度学习,多处理层组成的计算模型可通过多层抽象来学习数据表征( representations)。这些方法显著推动了语音识别、视觉识别、目标检测以及许多其他...

1352
来自专栏机器之心

CVPR 2018 | 腾讯AI Lab、MIT等机构提出TVNet:可端到端学习视频的运动表征

选自arXiv 作者:Lijie Fan、Wenbing Huang、Chuang Gan、Stefano Ermon、Boqing Gong、Junzhou ...

5307
来自专栏目标检测和深度学习

教程 | 可视化CapsNet,详解Hinton等人提出的胶囊概念与原理

选自freecodecamp 作者:Nick Bourdakos 机器之心编译 参与:Pedro、思源 CapsNet 将神经元的标量输出转换为向量输出提高了表...

3577
来自专栏华章科技

揭秘深度学习成功的数学原因:从全局最优性到学习表征不变性

近年来,深度学习大获成功,尤其是卷积神经网络(CNN)在图像识别任务上的突出表现。然而,由于黑箱的存在,这种成功一度让机器学习理论学家颇感不解。本文的目的正是要...

792

扫码关注云+社区

领取腾讯云代金券