一般来说,我们可以将慢原则应用于可以 使用梯度下降训练的任何可微分模型。为了引入慢原则,我们可以通过向代价函数添 加以下项
?...这要求学习的特征必须彼此线性去相关。没有这个约束,所有学习的特征将简单地 捕获一个最慢的信号。可以想象使用其他机制,如最小化重构误差,迫使特征多样 化。...例 如,通常用 x 的二次基扩充来代替原来的 x,得到一个包含所有 xi xj 的向量。...为了做出这样的理论预测,必须知道关于配置空间的环境 的动态(例如,在 3D 渲染环境中的随机运动的情况下,理论分析出位置,相机的速 度的概率分布)。...已知潜在因子如何改变的情况下,我们能够理论分析解决表达这些 因子的最佳函数。在实践中,基于模拟数据的实验上,使用深度SFA似乎能够恢复了 理论预测的函数。