抱歉,你查看的文章不存在

11- 深度学习之神经网络核心原理与算法-卷积核典型的CNN网络

典型的CNN网络

VGG16

mark

卷积核,池化层,卷积网络使用的激励函数。

目前市面上比较新的网络,由于计算能力的提升变得越来越复杂。

不再出现典型的纯粹的全连接网络,卷积网络的独有特点,而是把他们进行了混搭。

16指其中有16个带有参数的网络层。

VGG16是一个完整的带有卷积层池化层和全连接层的网络。

VGG16是一个公开的模型,只描述数据进行处理的逻辑关系,与代码和语言没有关系。

一张图片从左侧进入模型,然后经过64个不同的(3,3)的卷积核,每次stride的步长是1. 生成64个小尺寸的图片。或者说64个feature map。然后再把这64个图片拼接在一起。 通过64个(3,3)的卷积核,生成后一层的feature map。然后经过maxpooling层来做池化。

最后这个maxpooling层的又被当做一张图片向后输入,通过128个(3,3)的卷积核进一步提取特征。

这个过程中卷积核的数量在逐步的上升,从64-128-256-512。每个卷积核提取过后的信息所占用空间也越来越小。这就是一个特征提取的过程。

还有一个一千个节点的softmax来做分类使用。分类中同样是把损失函数描述成各个卷积核中w的函数,然后进行凸优化,找到极值点。

这个过程与BP网络的训练过程大同小异。

VGG19 含有19个有参数的网络层。近年,越来越多的模型放入了多个卷积层, 能够在模型深度增加的过程中加快收敛速度,并且可以让网络有更好的泛化特征。

AlexNet网络结构

mark

三个卷积层,两个池化层,两个全连接层,还有个1000个节点的softmax

GoogleNet

mark

深度已经达到了22层。和以前众多网络不一样的地方在于它里面引入了一个全新的结构叫做Inception(中文翻译,盗梦空间)

mark

前面输入过来的向量在这一层展开成了三个不同卷积核处理的并列结构。

这样可以在一定程度上加大下一层的输入信息量。其中(3,3)(5,5)的卷积层可以大大增加抽象能力.

Inception的引入大大的增加了网络的深度与宽度。使得网络的信息容纳能力变得更强。

使用inception结构的网络,往往比没有使用该结构的网络性能提高两到三倍。

mark

分类比赛中的成绩单。

图片识别

mark

卷积神经网络在大样本下的分类体现出越来越好的效果。图片,音频,视频和大段的文字这些场景使用传统机器学习处理都不是很理想,而卷积神经网络就有得天独厚的能力。

因为卷积神经网络有卷积核这一法宝。人对于图片的认知,不会因为这张图片进行了缩放,而判断出该图片表示的是不同的事物,也不会因为一个人的肤色有了深浅的变化,或戴不戴眼镜,发型的变化而认不出来。

一个事物只要被我们认识了之后,只要它发生变化的程度不足以改变我们对它认知的判断。我们人就认为它是同一个事物。对于细微变化的免疫能力或者说不敏感性。

卷积网络在对输入特征进行提取的过程中,就是一个把高维向量映射成低维向量的过程。 也是一种有损压缩,这种压缩特点,就是卷积核在工作的过程中,会提供一种前一层输入向量(有可能是样本,有可能是前一层输出的feature map)到后一输出向量feature map的刺激能力。

而在卷积核滑动的过程中,我们发现有一个特性:

个别向量值的变化对于刺激结果的影响是极为有限的。

这是一种用科学的方法通过量化的手段去表示敏感程度的过程。而且这个量化的程度是通过训练得到的。

mark

当一张图像被卷积核之后的feature map 我们改变这张图的少量像素,无论改变颜色,线条,涂鸦等产生的feature mapB

在多层卷积核的扫描之后,这种差异已经非常的不敏感了。就像是被打了马赛克的图片,之前也许会有差异,但是被打了马赛克之后这些都会被抹去。

进而对后面层的网络产生近似的刺激。

两个观点:

  • 少量的噪声,错误对于深度卷积神经网络的分类影响是很有限的。

具有更强的容忍力。

  • 由于卷积神经网络的这一特性,也使得它的泛化性更好。因为即使对象与训练样本库有一定差异,这种模糊化处理使得他们在较深的网络层有相似的刺激结果。

从原理上来看: 神经网络的工作原理实际是记忆一个大概的印象。而不像是在思考或者是推理。 你在训练样本中直白的告诉网络的样例,网络会很好的记下来,并且让它有一定的泛化性。

但是带有一些复杂的分析和判断能力,神经网络自身是不会有的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

有趣的Python

0 篇文章106 人订阅

相关文章

来自专栏数据派THU

一文读懂神经网络(附PPT、视频)

本文共6500字,建议阅读10分钟。 本文从神经网络的发展历史出发,为你介绍感知器模型、前馈神经网络及BP算法。 [导读] 提起神经网络,你会想到什么?关于深度...

5389
来自专栏计算机视觉战队

哇~这么Deep且又轻量的Network,实时目标检测

最近挺对不住关注“计算机视觉战队”平台的小伙伴,有段时间没有给大家分享比较硬比较充实的“干货”了,在此向大家表示抱歉,今天抽空之余,想和大家说说目标的实时检测。

6173
来自专栏机器之心

CVPR 2018 | 新型语义分割模型:动态结构化语义传播网络DSSPN

选自arXiv 作者:Xiaodan Liang、Hongfei Zhou、Eric Xing 机器之心编译 参与:乾树、路雪 近日,来自 CMU、Petuum...

4306
来自专栏AI科技评论

从模糊到清晰,AI对图片的识别越来越精准| Facebook CVPR2016最新论文

图像边缘的无监督学习 摘要 数据驱动方法在边缘检测领域已被证明是有效的,且在最近的基准测试中取得了顶尖的成绩。然而,目前所有数据驱动的边缘检测都要求以手工标注区...

47010
来自专栏人工智能头条

深度学习-LeCun、Bengio和Hinton的联合综述(上)

1162
来自专栏机器学习算法工程师

AI从业者搞懂---这10种深度学习方法---老婆孩子热炕头

作者:王抒伟 编辑:王抒伟 首先,让我们来看看主要有啥 1 1.机器学习 过去的十年里已经爆炸了。 大伙几乎每天都会在计算机科学计划,行业会议和各大公众号看到...

4788
来自专栏鸿的学习笔记

精确控制模型预测误差(上)

当评估模型的质量时,能够准确测量其预测误差至关重要。然而,测量误差的技术常常会给出严重误导的结果。因为可能导致会过拟合,就是模型可以非常好地拟合训练数据,但是对...

891
来自专栏大数据文摘

机器学习算法在自动驾驶汽车中扮演怎样的角色

1583
来自专栏机器学习算法工程师

LSTM文本分类实战

作者:王千发 编辑:龚 赛 什么是文本分类 1 文本分类在文本处理中是很重要的一个模块,它的应用也非常广泛,比如:垃圾过滤,新闻分类,等等...

1.4K4
来自专栏专知

【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专...

3688

扫码关注云+社区

领取腾讯云代金券