Understanding Convolution in Deep Learning(五)

Insights from statistics

统计模型和机器学习模型有什么区别? 统计模型通常集中在很容易解释的很少的变量。 可以建立统计模型来回答这些问题:药物A是否比药物B好?机器学习模型关于预测性能:对于年龄为X的人,药物A将成功的概率提高了17.83%,而对于年龄为Y的人则为22.34%。机器学习模型通常比统计模型具有更强大的预测,但它们并不可靠。统计模型对于获得准确和可靠的结论是重要的:即使药物A比药物B好17.83%,我们不知道这是否可能是因为偶然性; 我们需要统计模型来确定这一点。

时间序列数据的两个重要的统计模型是加权移动平均和自回归模型,它们可以组合成ARIMA模型(autoregressive integrated moving average model)。 ARIMA模型相对于long short-term recurrent neuralnetworks这些模型相当弱,但ARIMA模型是非常鲁棒的,特别是在低维数据(1-5维度)时。 虽然他们的解释往往是有效的,ARIMA模型并不是像深度学习算法那样的黑箱,如果你需要非常可靠的模型,这是一个很大的优势。事实证明,我们可以将这些模型重写为卷积,因此我们可以表明深层学习中的卷积可以解释为产生局部ARIMA特征的函数,然后将其传递到下一层。 然而,这两个想法并不完全重叠,所以我们必须谨慎,看看什么时候我们真的可以应用这个想法。

Here is a constantfunction which takes the kernel as parameter; white noise is data with meanzero, a standard deviation of one, and each variable is uncorrelated withrespect to the other variables.

当我们预处理数据时,我们经常使它类似于白噪声:将它居中在零附近,并将方差/标准差设置为1。 在创建不相关的变量时不太常用,因为它是计算密集型的,然而,在概念上是直观的:我们重新定向沿着数据的本征向量的轴。

Decorrelation by reorientation along eigenvectors: The eigenvectors of this data are represented by thearrows. If we want to decorrelate the data, we reorient the axes to have thesame direction as the eigenvectors. This technique is also used in PCA, wherethe dimensions with the least variance (shortest eigenvectors) are droppedafter reorientation.

现在,如果我们这样做了,那么我们就有了一个非常类似于深层学习卷积的表达式。 因此,如果我们将数据预处理为白噪声,来自卷积层的输出可以被解释为来自自回归模型的输出。加权移动平均值的解释很简单:它只是对具有一定权重(内核)的某些数据(输入)的标准卷积。当我们看看页面末尾的高斯平滑核时,这种解释变得更清楚。 高斯平滑核可以被解释为每个像素的邻域中的像素的加权平均,或者换句话说,像素在它们的邻域中被平均化(像素“融合”,边缘被平滑)。

虽然单个内核不能创建自回归和加权移动平均特征,但是我们通常具有多个内核,并且所有这些内核可能包含一些像加权移动平均模型的特征,和一些类似于自回归模型的特征。

Conclusion

在这篇博客中,我们已经看到了卷积是什么,为什么它在深度学习中如此强大。 图像补丁的解释易于理解和易于计算,但它有很多概念上的限制。我们通过傅立叶变换开发了卷积,并且看到傅里叶变换包含了关于图像的定向的大量信息。 使用强大的卷积定理,然后开发了卷积作为信息跨像素的扩散的解释。 然后,我们在量子力学的观点下扩展传播函数的概念,以接受通常确定性过程的随机解释。我们表明互相关非常类似于卷积,并且卷积网络的性能可能取决于通过卷积诱导的特征图之间的相关性。 最后,我们完成了卷积到自回归和移动平均模型。

原文发布于微信公众号 - 鸿的学习笔记(shujuxuexizhilu)

原文发表时间:2016-11-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏目标检测和深度学习

Kaggle 植物幼苗分类大赛优胜者心得

在本文中,作者将向大家介绍其在 Kaggle 植物幼苗分类大赛(https://www.kaggle.com/c/plant-seedlings-classif...

32130
来自专栏新智元

UCL等三强联手提出完全可微自适应神经树:神经网络与决策树完美结合

【新智元导读】UCL、帝国理工和微软的研究人员合作,将神经网络与决策树结合在一起,提出了一种新的自适应神经树模型ANT,打破往局限,可以基于BP算法做训练,在M...

15220
来自专栏机器之心

回归、分类与聚类:三大方向剖解机器学习算法的优缺点(附Python和R实现)

选自EliteDataScience 机器之心编译 参与:蒋思源、晏奇 在本教程中,作者对现代机器学习算法进行一次简要的实战梳理。虽然类似的总结有很多,但是它们...

45550
来自专栏人工智能

通过协同绘制用GAN合成高分辨率无尽道路

来源:arXiv 编译:Bing 生成对抗网络一直是深度学习的重要工具,经过近几年的发展,GANs也衍生出了许多不同的模式,例如DCGANs、Wasserste...

22770
来自专栏AI研习社

你必须知道的CNN在图像分割领域的技术变革史!

CNN 远远不止于处理分类问题。 这篇文章中,我们会一起来看在图像实例分割领域,CNN 的发展简史:它可被如何使用,以得到惊人的结果。 在 2012 年,Ale...

44170
来自专栏专知

【360人工智能研究院与NUS颜水成团队】HashGAN:基于注意力机制的深度对抗哈希模型提升跨模态检索效果

【导读】近日,中山大学、新加坡国立大学和奇虎360人工智能研究院团队提出了一种具有注意机制的对抗哈希网络(adversarial hashing network...

50950
来自专栏量子位

谷歌推出理解神经网络的新方法SVCCA | NIPS论文+代码

夏乙 编译自 Google Research Blog 量子位 出品 | 公众号 QbitAI Google Research官方博客今天发文介绍了他们的一篇N...

29140
来自专栏CVer

[计算机视觉论文速递] 2018-03-30

通知:这篇文章有9篇论文速递信息,涉及目标检测、图像分割、目标跟踪、三维重建和立体匹配等方向 PS:由于时间问题,本文没有附上相应图示,还请见谅 前文回顾 Te...

401140
来自专栏AI研习社

图像分类比赛中,你可以用如下方案举一反三

雷锋网 AI 研习社按,在本文中,作者将向大家介绍其在 Kaggle 植物幼苗分类大赛(https://www.kaggle.com/c/plant-seedl...

18430
来自专栏人工智能头条

CMU最新视觉特征自监督学习模型——TextTopicNet

作者 | Yash Patel,Lluis Gomez,Raul Gomez,Marcal Rusinol,Dimosthenis Karatzas, C.V....

19710

扫码关注云+社区

领取腾讯云代金券