11- 深度学习之神经网络核心原理与算法-卷积核典型的CNN网络

典型的CNN网络

VGG16

mark

卷积核,池化层,卷积网络使用的激励函数。

目前市面上比较新的网络,由于计算能力的提升变得越来越复杂。

不再出现典型的纯粹的全连接网络,卷积网络的独有特点,而是把他们进行了混搭。

16指其中有16个带有参数的网络层。

VGG16是一个完整的带有卷积层池化层和全连接层的网络。

VGG16是一个公开的模型,只描述数据进行处理的逻辑关系,与代码和语言没有关系。

一张图片从左侧进入模型,然后经过64个不同的(3,3)的卷积核,每次stride的步长是1. 生成64个小尺寸的图片。或者说64个feature map。然后再把这64个图片拼接在一起。 通过64个(3,3)的卷积核,生成后一层的feature map。然后经过maxpooling层来做池化。

最后这个maxpooling层的又被当做一张图片向后输入,通过128个(3,3)的卷积核进一步提取特征。

这个过程中卷积核的数量在逐步的上升,从64-128-256-512。每个卷积核提取过后的信息所占用空间也越来越小。这就是一个特征提取的过程。

还有一个一千个节点的softmax来做分类使用。分类中同样是把损失函数描述成各个卷积核中w的函数,然后进行凸优化,找到极值点。

这个过程与BP网络的训练过程大同小异。

VGG19 含有19个有参数的网络层。近年,越来越多的模型放入了多个卷积层, 能够在模型深度增加的过程中加快收敛速度,并且可以让网络有更好的泛化特征。

AlexNet网络结构

mark

三个卷积层,两个池化层,两个全连接层,还有个1000个节点的softmax

GoogleNet

mark

深度已经达到了22层。和以前众多网络不一样的地方在于它里面引入了一个全新的结构叫做Inception(中文翻译,盗梦空间)

mark

前面输入过来的向量在这一层展开成了三个不同卷积核处理的并列结构。

这样可以在一定程度上加大下一层的输入信息量。其中(3,3)(5,5)的卷积层可以大大增加抽象能力.

Inception的引入大大的增加了网络的深度与宽度。使得网络的信息容纳能力变得更强。

使用inception结构的网络,往往比没有使用该结构的网络性能提高两到三倍。

mark

分类比赛中的成绩单。

图片识别

mark

卷积神经网络在大样本下的分类体现出越来越好的效果。图片,音频,视频和大段的文字这些场景使用传统机器学习处理都不是很理想,而卷积神经网络就有得天独厚的能力。

因为卷积神经网络有卷积核这一法宝。人对于图片的认知,不会因为这张图片进行了缩放,而判断出该图片表示的是不同的事物,也不会因为一个人的肤色有了深浅的变化,或戴不戴眼镜,发型的变化而认不出来。

一个事物只要被我们认识了之后,只要它发生变化的程度不足以改变我们对它认知的判断。我们人就认为它是同一个事物。对于细微变化的免疫能力或者说不敏感性。

卷积网络在对输入特征进行提取的过程中,就是一个把高维向量映射成低维向量的过程。 也是一种有损压缩,这种压缩特点,就是卷积核在工作的过程中,会提供一种前一层输入向量(有可能是样本,有可能是前一层输出的feature map)到后一输出向量feature map的刺激能力。

而在卷积核滑动的过程中,我们发现有一个特性:

个别向量值的变化对于刺激结果的影响是极为有限的。

这是一种用科学的方法通过量化的手段去表示敏感程度的过程。而且这个量化的程度是通过训练得到的。

mark

当一张图像被卷积核之后的feature map 我们改变这张图的少量像素,无论改变颜色,线条,涂鸦等产生的feature mapB

在多层卷积核的扫描之后,这种差异已经非常的不敏感了。就像是被打了马赛克的图片,之前也许会有差异,但是被打了马赛克之后这些都会被抹去。

进而对后面层的网络产生近似的刺激。

两个观点:

  • 少量的噪声,错误对于深度卷积神经网络的分类影响是很有限的。

具有更强的容忍力。

  • 由于卷积神经网络的这一特性,也使得它的泛化性更好。因为即使对象与训练样本库有一定差异,这种模糊化处理使得他们在较深的网络层有相似的刺激结果。

从原理上来看: 神经网络的工作原理实际是记忆一个大概的印象。而不像是在思考或者是推理。 你在训练样本中直白的告诉网络的样例,网络会很好的记下来,并且让它有一定的泛化性。

但是带有一些复杂的分析和判断能力,神经网络自身是不会有的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

前沿 | CNN取代RNN?当序列建模不再需要循环网络

在这篇博文中,我们来探讨循环网络模型和前馈模型之间的取舍。前馈模型可以提高训练稳定性和速度,而循环模型表达能力更胜一筹。有趣的是,额外的表现力似乎并没有提高循环...

1111
来自专栏人工智能头条

深度学习-LeCun、Bengio和Hinton的联合综述(上)

972
来自专栏数据派THU

一文读懂神经网络(附PPT、视频)

本文共6500字,建议阅读10分钟。 本文从神经网络的发展历史出发,为你介绍感知器模型、前馈神经网络及BP算法。 [导读] 提起神经网络,你会想到什么?关于深度...

4319
来自专栏奇点大数据

神经网络:问题与解决方案

尽管人工神经网络的概念从20世纪50年代就已经存在,但是直到最近我们才有能力将理论转化为实践。神经网络应该能够模仿任何连续的功能。但是,很多时候,我们都陷入了网...

3146
来自专栏机器学习算法全栈工程师

LSTM文本分类实战

作者:王千发 编辑:龚 赛 什么是文本分类 1 文本分类在文本处理中是很重要的一个模块,它的应用也非常广泛,比如:垃圾过滤,新闻分类,等等...

9494
来自专栏新智元

一种端到端可训练周期CNN模型:根据自然语言陈述进行图像分割

【新智元导读】基于自然语言陈述进行语义图像分割是图像分割领域里的一个重要议题。本论文提出了一种端到端可训练周期卷积网络模型,这一模型可同时学习处理视觉与语言信息...

2403
来自专栏数据派THU

独家 | 25道SVM题目,测一测你的基础如何?(附资源)

在某种意义上,你可以把机器学习算法看作有很多刀剑的军械库。里边有各种各样的工具,你要做的,就是得学会在对的时间使用对的工具。举个例子,如果把“回归”看作是一把剑...

1422
来自专栏marsggbo

DeepLearning.ai学习笔记(一)神经网络和深度学习--Week4深层神经网络

一、深层神经网络 深层神经网络的符号与浅层的不同,记录如下: ? 用\(L\)表示层数,该神经网络\(L=4\) \(n^{[l]}\)表示第\(l\)层的神经...

2106
来自专栏大数据文摘

机器学习算法在自动驾驶汽车中扮演怎样的角色

1373
来自专栏AI科技评论

从模糊到清晰,AI对图片的识别越来越精准| Facebook CVPR2016最新论文

图像边缘的无监督学习 摘要 数据驱动方法在边缘检测领域已被证明是有效的,且在最近的基准测试中取得了顶尖的成绩。然而,目前所有数据驱动的边缘检测都要求以手工标注区...

32310

扫码关注云+社区