一般来说,我们可以将慢原则应用于可以 使用梯度下降训练的任何可微分模型。为了引入慢原则,我们可以通过向代价函数添 加以下项
?...学习特征具有零均值的约束对于使问题具有唯一解是必要的; 否则我们可以向所 有特征值添加一个常数,并获得具有慢度目标的相等值的不同解。...特征具有单位方 差的约束对于防止所有特征趋近于 0 的病态问题是必要的。与PCA类似,SFA特征 是有序的,其中学习第一特征是最慢的。要学习多个特征,我们还必须添加约束
?...但是由于SFA特征的线性,这种去相关机制只能得到一种简单的解。SFA问题可 以通过线性代数软件获得闭式解。
在运行SFA之前,SFA通常通过对 x 使用非线性的基扩充来学习非线性特征。...已知潜在因子如何改变的情况下,我们能够理论分析解决表达这些 因子的最佳函数。在实践中,基于模拟数据的实验上,使用深度SFA似乎能够恢复了 理论预测的函数。