达观数据深度学习资料之卷积神经网络(上篇)

达观数据深度学习资料之卷积神经网络

(上篇)

1深度学习背景

深度学习是近十年来人工智能领域取得的最重要的突破之一,通过建立类似于人脑的分层模型结构对输入数据逐级提取从底层到高层的特征从而能很好地建立从底层信号到高层语义的映射关系。

近年来谷歌微软IBM百度等拥有大数据的高科技公司相继投入大量资源进行深度学习技术研发,在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域都取得了巨大成功。从对实际应用的贡献来说,深度学习可能是机器学习领域最近这十年来最成功的研究方向。卷积神经网络是深度学习中重要的发展分支,达观数据整理了相关资料并给出了深入浅出的介绍。(达观数据符汉杰)

2深度学习基础知识:神经网络

了解深度学习的原理之前,首先要对神经网络有一定的了解。神经网络是对生物上大脑学习方式进行建模。当你尝试进行一个新任务时,一系列特定的神经元集合会被激活。你观察到结果,接下来利用反馈来调整哪些神经元应该被激活,以此来训练大脑。多次之后,一些神经元之间的联系将变强而另外一些则变弱,这就形成了记忆的基础。

最简单的神经网络是仅由一个神经元组成,一个神经元由输入、截距和激活函数组成,当输入进入神经元可以得到唯一的输出

单一的神经元实际上是对输入的线性组合,在很多问题上不能够得到很好的拟合能力。所谓的神经网络是对许多的神经元联结起来,一个神经元的输出是另一个神经元的输入,通过对神经元多次线性组合,得到了对原始特征的非线性组合,可以得到更好的泛化能力。一般神经网络由一个输入层、多个隐藏层和一个输出层组成。

通过前向传播算法,可以得到隐藏层以及输出层的输出:

用z表示层的输出值,a表示层的激活值。

通过后向传播算法,可以用批量梯度下降的方法求解神经网络:

单个样本的代价函数

整体代价函数为

梯度下降

3深度学习和卷积神经网络

传统的神经网络具有很强的非线性能力,但是非常明显的缺点是参数数量多、收敛速度慢、容易过拟合等问题,20世纪计算机的计算能力比较薄弱,而且支持向量机等机器学习方法的兴起,导致神经网络(Artificial Neural Network)并没有得到重视。

转机在2006年出现!加拿大多伦多大学教授机器学习领域的泰斗Hinton和他的学生Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章,开启了深度学习在学术界和工业界的浪潮。深度学习相比传统神经网络层数更深,参数更少,且网络能够自主的学习特征,在图像视频识别、自然语言处理领域上取得了很好的成绩。而卷积神经网络(ConvolutionalNeural Networks,简称CNN)是其中比较有代表性的网络之一。

4 Convolutional Neural Networks卷积神经网络

卷积神经网络CNNs是第一个真正成功训练多层网络结构的学习算法。它利用空间关系减少需要学习的参数数目以提高一般前向(BackPropagation)BP算法的训练性能。CNNs作为一个深度学习架构提出是为了最小化数据的预处理要求。CNNs中图像的局部区域作为下一层的输入,每一层通过数字滤波器来提取图像局部显著特征,同时可以采样保留局部区域的重要信息

4.1卷积的概念

卷积神经网络(Convolutional Neural Networks)的卷积操作是通过可训练的滤波器对上一层的输出进行卷积求和,然后添加上偏移量经过激活函数,得到了特征映射图作为下一层的输入。卷积操作相对于传统神经网络主要有稀疏链接、权值共享和等变表达的特性。

4.1.1稀疏链接

卷积神经网络和传统神经网络相比的一个特点是稀疏链接,与神经网络的全链接相比极大的减少参数的数量。参数数量的减少,可以防止过拟合,同样运算的效率也能得到提升。

上图所示作图是神经网络的全链接,右图是稀疏链接。右图中每个神经元之和10×10个元素链接,减少为原来的万分之一。(达观数据复旦大学符汉杰/陈运文)

一般认为人对外界的认知是从局部到全局的,从图像上看空间的联系是局部的像素联系比较紧密,而较远的像素的联系比较弱。所以神经网络中的权值链接只需要对上一层的局部感知即可获得对整个图像的全局感知。

如上图,神经元g3只和隐含层h的3个神经元直接相连,但是和层x是间接的全链接,所以层g对层x有间接的全局感知。

4.1.2权值共享:

当所有参数选择不同的数值时,层与层之间的参数数量依然是非常巨大的。权值共享后对于每一个神经元的输入使用相同的卷积操作,使得参数的数量减少为卷积核的大小。权值共享可以看作是对不同位置的共同特征提取方式,这样的有益效果除了参数数量的减少,还具有一定的平移不变性,当物体在图像中有一定的平移时依然可以用相同的卷积核提取出对应的特征。达观数据(http://datagrand.com)

上图是对原图使用卷积核提取特征,每个像素减去周围邻近的像素值的效果,可以看出提取特征得到了原图的大概边缘。

4.1.3等变表达:

在卷积操作中,函数f(x)和函数g(x)是等价的,当且仅当f(g(x))=g(f(x)),这意味着相邻两个卷积操作的顺序对于结果是没有影响的。

4.1.4卷积的前向传播公式:

Mj是上一层的特征map,*是卷积操作,k是卷积函数。

4.1.5卷积的后向传播公式:

δ是误差敏感项

up操作是上采样

原文发布于微信公众号 - 达观数据(Datagrand_)

原文发表时间:2016-04-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

CVPR 2018 | 中国科学院大学Oral论文:使用鉴别性特征实现零样本识别

选自arXiv 机器之心编译 参与:Panda 在将于今年六月举办的 CVPR 2018 会议上,中国科学院大学、英国邓迪大学和中国科学院脑科学与智能技术卓越创...

3879
来自专栏AI研习社

用 CNN 分 100,000 类图像

[Title]:Dual-Path Convolutional Image-Text Embedding

1141
来自专栏AI派

一份机器学习模型离线评估方法的详细手册

读完分类与回归算法的评估指标以及排序算法的评估指标之后,你已经知道了机器学习中分类、回归以及排序算法相关的评估指标。在这篇给大家介绍一些机器学习中离线评估模型性...

1592
来自专栏机器之心

学界 | 金字塔注意力网络:一种利用底层像素与高级特征的语义分割网络

在卷积神经网络的近期发展中,根据其丰富的层级特征和端到端的可训练框架,像素级语义分割方面有了可观的进步。但是在编程高维度代表的过程中,原本像素级的环境背景中的空...

1860
来自专栏AI科技大本营的专栏

深度概览卷积神经网络全景图,没有比这更全的了

【AI科技大本营导读】深度卷积神经网络是这一波 AI 浪潮背后的大功臣。虽然很多人可能都已经听说过这个名词,但是对于这个领域的相关从业者或者科研学者来说,浅显的...

1432
来自专栏机器之心

学界 | 机遇与挑战:用强化学习自动搜索优化算法

选自 BAIR 机器之心编译 参与:路雪、李泽南、蒋思源 自从去年 UC Berkeley 论文《Learning to Optimize》发表以来,有关优化器...

5099
来自专栏数据科学学习手札

(数据科学学习手札30)朴素贝叶斯分类器的原理详解&Python与R实现

  要介绍朴素贝叶斯(naive bayes)分类器,就不得不先介绍贝叶斯决策论的相关理论:

50813
来自专栏机器之心

学界 | 中科院自动化所提出不规则卷积神经网络:可动态提升效率

选自arXiv 作者:马佳彬等 机器之心编译 参与:李泽南 近日,中国科学院自动化研究所马佳彬、王威、王亮等人发表的研究提出了一种新形式的卷积神经网络——不规则...

3087
来自专栏CreateAMind

容量、过拟合和欠拟合

机器学习的主要挑战是我们的算法必须能够在先前未观测的新输入上表现良好, 而不只是在训练集上效果好。在先前未观测到的输入上表现良好的能力被称为泛 化 (gener...

1871
来自专栏郭耀华‘s Blog

数据特征选择法

最近一直在做车辆驾驶行为分析方面的研究,今天看到一篇论文,里面原始数据特者提取的方法可以收藏一下。 备选特征值 ? ? 特征选择算法 在现有的特征选择方法研究中...

3096

扫码关注云+社区

领取腾讯云代金券