11- 深度学习之神经网络核心原理与算法-卷积核典型的CNN网络

典型的CNN网络

VGG16

mark

卷积核,池化层,卷积网络使用的激励函数。

目前市面上比较新的网络,由于计算能力的提升变得越来越复杂。

不再出现典型的纯粹的全连接网络,卷积网络的独有特点,而是把他们进行了混搭。

16指其中有16个带有参数的网络层。

VGG16是一个完整的带有卷积层池化层和全连接层的网络。

VGG16是一个公开的模型,只描述数据进行处理的逻辑关系,与代码和语言没有关系。

一张图片从左侧进入模型,然后经过64个不同的(3,3)的卷积核,每次stride的步长是1. 生成64个小尺寸的图片。或者说64个feature map。然后再把这64个图片拼接在一起。 通过64个(3,3)的卷积核,生成后一层的feature map。然后经过maxpooling层来做池化。

最后这个maxpooling层的又被当做一张图片向后输入,通过128个(3,3)的卷积核进一步提取特征。

这个过程中卷积核的数量在逐步的上升,从64-128-256-512。每个卷积核提取过后的信息所占用空间也越来越小。这就是一个特征提取的过程。

还有一个一千个节点的softmax来做分类使用。分类中同样是把损失函数描述成各个卷积核中w的函数,然后进行凸优化,找到极值点。

这个过程与BP网络的训练过程大同小异。

VGG19 含有19个有参数的网络层。近年,越来越多的模型放入了多个卷积层, 能够在模型深度增加的过程中加快收敛速度,并且可以让网络有更好的泛化特征。

AlexNet网络结构

mark

三个卷积层,两个池化层,两个全连接层,还有个1000个节点的softmax

GoogleNet

mark

深度已经达到了22层。和以前众多网络不一样的地方在于它里面引入了一个全新的结构叫做Inception(中文翻译,盗梦空间)

mark

前面输入过来的向量在这一层展开成了三个不同卷积核处理的并列结构。

这样可以在一定程度上加大下一层的输入信息量。其中(3,3)(5,5)的卷积层可以大大增加抽象能力.

Inception的引入大大的增加了网络的深度与宽度。使得网络的信息容纳能力变得更强。

使用inception结构的网络,往往比没有使用该结构的网络性能提高两到三倍。

mark

分类比赛中的成绩单。

图片识别

mark

卷积神经网络在大样本下的分类体现出越来越好的效果。图片,音频,视频和大段的文字这些场景使用传统机器学习处理都不是很理想,而卷积神经网络就有得天独厚的能力。

因为卷积神经网络有卷积核这一法宝。人对于图片的认知,不会因为这张图片进行了缩放,而判断出该图片表示的是不同的事物,也不会因为一个人的肤色有了深浅的变化,或戴不戴眼镜,发型的变化而认不出来。

一个事物只要被我们认识了之后,只要它发生变化的程度不足以改变我们对它认知的判断。我们人就认为它是同一个事物。对于细微变化的免疫能力或者说不敏感性。

卷积网络在对输入特征进行提取的过程中,就是一个把高维向量映射成低维向量的过程。 也是一种有损压缩,这种压缩特点,就是卷积核在工作的过程中,会提供一种前一层输入向量(有可能是样本,有可能是前一层输出的feature map)到后一输出向量feature map的刺激能力。

而在卷积核滑动的过程中,我们发现有一个特性:

个别向量值的变化对于刺激结果的影响是极为有限的。

这是一种用科学的方法通过量化的手段去表示敏感程度的过程。而且这个量化的程度是通过训练得到的。

mark

当一张图像被卷积核之后的feature map 我们改变这张图的少量像素,无论改变颜色,线条,涂鸦等产生的feature mapB

在多层卷积核的扫描之后,这种差异已经非常的不敏感了。就像是被打了马赛克的图片,之前也许会有差异,但是被打了马赛克之后这些都会被抹去。

进而对后面层的网络产生近似的刺激。

两个观点:

  • 少量的噪声,错误对于深度卷积神经网络的分类影响是很有限的。

具有更强的容忍力。

  • 由于卷积神经网络的这一特性,也使得它的泛化性更好。因为即使对象与训练样本库有一定差异,这种模糊化处理使得他们在较深的网络层有相似的刺激结果。

从原理上来看: 神经网络的工作原理实际是记忆一个大概的印象。而不像是在思考或者是推理。 你在训练样本中直白的告诉网络的样例,网络会很好的记下来,并且让它有一定的泛化性。

但是带有一些复杂的分析和判断能力,神经网络自身是不会有的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏智能算法

深度学习综述

本文是《Nature》杂志为纪念人工智能60周年而专门推出的深度学习综述,也是Hinton、LeCun和Bengio三位大神首次合写同一篇文章。该综述在深度学习...

772
来自专栏云时之间

通过BP神经网络对于图像压缩的实现

BP神经网络现在来说是一种比较成熟的网络模型了,因为神经网络对于数字图像处理的先天优势,特别是在图像压缩方面更具有先天的优势,因此,我这一段时间在研究神经网络的...

33610
来自专栏媒矿工厂

大规模图像检索的深度哈希方法简介

传统的图像检索过程,先通过人工对图像进行文字标注,再利用关键字来检索图像,这种依据图像描述的字符匹配程度提供检索结果的方法,称为“以字找图”(text-base...

6139
来自专栏AI科技评论

干货 | 做AI必须要知道的十种深度学习方法

AI科技评论按:不管是AI也好,其他学科也好,学习、研究的过程中不断反思学科的历史,总结学科的发展现状,找出最重要的理念,总能让人能“吾道一以贯之”。软件工程师...

2627
来自专栏智能算法

直观理解深度学习的卷积操作,超赞!

近几年随着功能强大的深度学习框架的出现,在深度学习模型中搭建卷积神经网络变得十分容易,甚至只需要一行代码就可以完成。

802
来自专栏老秦求学

Deep Learning综述[上]

1627
来自专栏机器之心

AAAI 2018 | 港中文-商汤联合论文:自监督语义分割的混合与匹配调节

3997
来自专栏新智元

【图像分割里程碑】南开提出首个人眼模拟分割指标,性能当前最优

【新智元导读】图像分割是以人眼识别为基础,而人眼识别是从整体到局部的分割方式。本文首次提出了一种模拟人眼判别的新指标,结果远优于现有方法,并证明其与人眼判别结果...

683
来自专栏架构师之路

3分钟懂线性回归预测算法瞅一眼,懂个概念也值得

线性回归(linear-regression)预测算法C++实现 上一期,和大家分享了K-means聚类算法的基本概念和实现要点(漏了的同学欢迎加公众号回顾),...

3347
来自专栏AI研习社

做AI必须要知道的十种深度学习方法

不管是AI也好,其他学科也好,学习、研究的过程中不断反思学科的历史,总结学科的发展现状,找出最重要的理念,总能让人能“吾道一以贯之”。软件工程师James Le...

3415

扫码关注云+社区