达观数据深度学习资料之卷积神经网络（上篇）
达观数据深度学习资料之卷积神经网络
（上篇）
1深度学习背景
深度学习是近十年来人工智能领域取得的最重要的突破之一，通过建立类似于人脑的分层模型结构对输入数据逐级提取从底层到高层的特征从而能很好地建立从底层信号到高层语义的映射关系。
近年来谷歌微软IBM百度等拥有大数据的高科技公司相继投入大量资源进行深度学习技术研发，在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域都取得了巨大成功。从对实际应用的贡献来说，深度学习可能是机器学习领域最近这十年来最成功的研究方向。卷积神经网络是深度学习中重要的发展分支，达观数据整理了相关资料并给出了深入浅出的介绍。（达观数据符汉杰）
2深度学习基础知识：神经网络
了解深度学习的原理之前，首先要对神经网络有一定的了解。神经网络是对生物上大脑学习方式进行建模。当你尝试进行一个新任务时，一系列特定的神经元集合会被激活。你观察到结果，接下来利用反馈来调整哪些神经元应该被激活，以此来训练大脑。多次之后，一些神经元之间的联系将变强而另外一些则变弱，这就形成了记忆的基础。
最简单的神经网络是仅由一个神经元组成，一个神经元由输入、截距和激活函数组成，当输入进入神经元可以得到唯一的输出
单一的神经元实际上是对输入的线性组合，在很多问题上不能够得到很好的拟合能力。所谓的神经网络是对许多的神经元联结起来，一个神经元的输出是另一个神经元的输入，通过对神经元多次线性组合，得到了对原始特征的非线性组合，可以得到更好的泛化能力。一般神经网络由一个输入层、多个隐藏层和一个输出层组成。
通过前向传播算法，可以得到隐藏层以及输出层的输出：
用z表示层的输出值，a表示层的激活值。
通过后向传播算法，可以用批量梯度下降的方法求解神经网络：
单个样本的代价函数
整体代价函数为
梯度下降
3深度学习和卷积神经网络
传统的神经网络具有很强的非线性能力，但是非常明显的缺点是参数数量多、收敛速度慢、容易过拟合等问题，20世纪计算机的计算能力比较薄弱，而且支持向量机等机器学习方法的兴起，导致神经网络（Artificial Neural Network）并没有得到重视。
转机在2006年出现！加拿大多伦多大学教授机器学习领域的泰斗Hinton和他的学生Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。深度学习相比传统神经网络层数更深，参数更少，且网络能够自主的学习特征，在图像视频识别、自然语言处理领域上取得了很好的成绩。而卷积神经网络（ConvolutionalNeural Networks，简称CNN）是其中比较有代表性的网络之一。
4 Convolutional Neural Networks卷积神经网络
卷积神经网络CNNs是第一个真正成功训练多层网络结构的学习算法。它利用空间关系减少需要学习的参数数目以提高一般前向（BackPropagation）BP算法的训练性能。CNNs作为一个深度学习架构提出是为了最小化数据的预处理要求。CNNs中图像的局部区域作为下一层的输入，每一层通过数字滤波器来提取图像局部显著特征，同时可以采样保留局部区域的重要信息
4.1卷积的概念
卷积神经网络（Convolutional Neural Networks）的卷积操作是通过可训练的滤波器对上一层的输出进行卷积求和，然后添加上偏移量经过激活函数，得到了特征映射图作为下一层的输入。卷积操作相对于传统神经网络主要有稀疏链接、权值共享和等变表达的特性。
4.1.1稀疏链接
卷积神经网络和传统神经网络相比的一个特点是稀疏链接，与神经网络的全链接相比极大的减少参数的数量。参数数量的减少，可以防止过拟合，同样运算的效率也能得到提升。
上图所示作图是神经网络的全链接，右图是稀疏链接。右图中每个神经元之和10×10个元素链接，减少为原来的万分之一。（达观数据复旦大学符汉杰/陈运文）
一般认为人对外界的认知是从局部到全局的，从图像上看空间的联系是局部的像素联系比较紧密，而较远的像素的联系比较弱。所以神经网络中的权值链接只需要对上一层的局部感知即可获得对整个图像的全局感知。
如上图，神经元g3只和隐含层h的3个神经元直接相连，但是和层x是间接的全链接，所以层g对层x有间接的全局感知。
4.1.2权值共享：
当所有参数选择不同的数值时，层与层之间的参数数量依然是非常巨大的。权值共享后对于每一个神经元的输入使用相同的卷积操作，使得参数的数量减少为卷积核的大小。权值共享可以看作是对不同位置的共同特征提取方式，这样的有益效果除了参数数量的减少，还具有一定的平移不变性，当物体在图像中有一定的平移时依然可以用相同的卷积核提取出对应的特征。达观数据（http://datagrand.com）
上图是对原图使用卷积核提取特征，每个像素减去周围邻近的像素值的效果，可以看出提取特征得到了原图的大概边缘。
4.1.3等变表达：
在卷积操作中，函数f(x)和函数g(x)是等价的，当且仅当f(g(x))=g(f(x))，这意味着相邻两个卷积操作的顺序对于结果是没有影响的。
4.1.4卷积的前向传播公式：
，
Mj是上一层的特征map，*是卷积操作，k是卷积函数。
4.1.5卷积的后向传播公式：
，
δ是误差敏感项
，
up操作是上采样
