Understanding Convolution in Deep Learning（五）

Insights from statistics

统计模型和机器学习模型有什么区别？ 统计模型通常集中在很容易解释的很少的变量。 可以建立统计模型来回答这些问题：药物A是否比药物B好？机器学习模型关于预测性能：对于年龄为X的人，药物A将成功的概率提高了17.83％，而对于年龄为Y的人则为22.34％。机器学习模型通常比统计模型具有更强大的预测，但它们并不可靠。统计模型对于获得准确和可靠的结论是重要的：即使药物A比药物B好17.83％，我们不知道这是否可能是因为偶然性; 我们需要统计模型来确定这一点。

时间序列数据的两个重要的统计模型是加权移动平均和自回归模型，它们可以组合成ARIMA模型（autoregressive integrated moving average model）。 ARIMA模型相对于long short-term recurrent neuralnetworks这些模型相当弱，但ARIMA模型是非常鲁棒的，特别是在低维数据（1-5维度）时。 虽然他们的解释往往是有效的，ARIMA模型并不是像深度学习算法那样的黑箱，如果你需要非常可靠的模型，这是一个很大的优势。事实证明，我们可以将这些模型重写为卷积，因此我们可以表明深层学习中的卷积可以解释为产生局部ARIMA特征的函数，然后将其传递到下一层。 然而，这两个想法并不完全重叠，所以我们必须谨慎，看看什么时候我们真的可以应用这个想法。

Here is a constantfunction which takes the kernel as parameter; white noise is data with meanzero, a standard deviation of one, and each variable is uncorrelated withrespect to the other variables.

当我们预处理数据时，我们经常使它类似于白噪声：将它居中在零附近，并将方差/标准差设置为1。 在创建不相关的变量时不太常用，因为它是计算密集型的，然而，在概念上是直观的：我们重新定向沿着数据的本征向量的轴。

Decorrelation by reorientation along eigenvectors: The eigenvectors of this data are represented by thearrows. If we want to decorrelate the data, we reorient the axes to have thesame direction as the eigenvectors. This technique is also used in PCA, wherethe dimensions with the least variance (shortest eigenvectors) are droppedafter reorientation.

现在，如果我们这样做了，那么我们就有了一个非常类似于深层学习卷积的表达式。 因此，如果我们将数据预处理为白噪声，来自卷积层的输出可以被解释为来自自回归模型的输出。加权移动平均值的解释很简单：它只是对具有一定权重（内核）的某些数据（输入）的标准卷积。当我们看看页面末尾的高斯平滑核时，这种解释变得更清楚。 高斯平滑核可以被解释为每个像素的邻域中的像素的加权平均，或者换句话说，像素在它们的邻域中被平均化（像素“融合”，边缘被平滑）。

虽然单个内核不能创建自回归和加权移动平均特征，但是我们通常具有多个内核，并且所有这些内核可能包含一些像加权移动平均模型的特征，和一些类似于自回归模型的特征。

Conclusion

在这篇博客中，我们已经看到了卷积是什么，为什么它在深度学习中如此强大。 图像补丁的解释易于理解和易于计算，但它有很多概念上的限制。我们通过傅立叶变换开发了卷积，并且看到傅里叶变换包含了关于图像的定向的大量信息。 使用强大的卷积定理，然后开发了卷积作为信息跨像素的扩散的解释。 然后，我们在量子力学的观点下扩展传播函数的概念，以接受通常确定性过程的随机解释。我们表明互相关非常类似于卷积，并且卷积网络的性能可能取决于通过卷积诱导的特征图之间的相关性。 最后，我们完成了卷积到自回归和移动平均模型。