CNN入门讲解:什么是采样层

各位看官老爷们

好久不见

这里是波波给大家带来的CNN卷积神经网络入门讲解

每周我将给大家带来绝对原创,脑洞大开,幽默风趣的深度学习知识点入门讲解

希望大家多多支持,多多关注

知乎:蒋竺波

今年第一次圣诞节在新加坡过

先让我们来看看新加坡的圣诞

看看就好了

上一次我们讲到哪了

嗯,对了,讲到卷积输出了,输出的特征图(feature map)到了采样(pooling,有些也叫subsample)层手上,

采样层实际上就是一个特征选择的过程

假设我们用边缘滤波器去卷积输入图片,得到的特征值矩阵如下:

其实采样层(pooling)非常好理解,我们这里特指maxpooling

什么是maxpooling 呢

实际操作就是在四个方格里选最大的那个,对,就是9

这个矩阵就是特征图

数字的含义,你可以理解为能代表这个特征的程度

比如上一层卷积层的卷积核或者说过滤器是边缘过滤器

9的意思就代表在这个区域,这一块部位最符合边缘特征

Maxpooling 就是在这个区域内选出最能代表边缘的值,也就是9,然后丢掉那些没多大用的信息

为什么要这么做

举个例子

下面四个美女,如果非要你选,你娶谁

你肯定会选最漂亮的(最符合的特征)

其他的你会想要吗?

不想了吧

我相信这个选择应该有标准答案了,如果你选的不是标准答案

不好意思

这位同学,我教不了你,你不用往下看了

‘那个,我要是想把4个都娶了呢’(不做maxpooling)

这位同学,要求挺多啊

首先你娶回4个,她们会各种勾心斗角,让你崩溃(overfitting)

然后你会有巨大的经济压力,身体也吃不消(参数过多导致运算量大)

最后可能还会难以平衡婆(上一次卷积层)媳或者母子(下一层卷积层)关系(无法满足模型结构需求)

现在,你还想娶4个吗

池化是怎么进行的呢

非常类似卷积层的卷积核

你就可以理解为卷积核每空两格做一次卷积,卷积核的大小是2x2, 但是卷积核的作用是取这个核里面最大的值(即特征最明显的值),而不是做卷积运算

池化层还有什么性质

它可以一定程度提高空间不变性,比如说平移不变性,尺度不变性,形变不变性

对,一定程度上

为什么会有空间不变性呢

因为上一层卷积本身就是对图像一个区域一个区域去卷积

因此对于CNN来说

重要是单独区域的特征,以及特征之间的相对位置(而不是绝对位置)

图像细微的变换

经过卷积,maxpooling之后,输出结果和原来差别可能不算大,或者没有差别

比如平移不变性(translation invariant)

意思就是图像经过一个小小的平移之后,依然产生相同的池化特征

这个小小的平移要注意了

这个平移是在你的池化矩阵的范围

对于单个像素,有8个变换的方向(上、下、左、右、左上、左下、右上、右下),如果最大层是在2*2的窗口上面实现,这8个可能的配置中,有3个可以准确的产生和平移前相同的结果(filter size 2x2)

说明鲁棒性还行

为什么我们想要平移不变性

举个例子:

‘2’的位置发生了变化,我们仍然希望分类器能正确分别出他们

Pooling 层说到底还是一个特征选择,信息过滤的过程,也就是说我们损失了一部分信息,这是一个和计算性能的一个妥协,随着运算速度的不断提高,我觉得这个妥协会越来越小。

CNN入门讲解:如何理解卷积神经网络的解构现在有些网络都开始少用或者不用pooling层了

关于,average pooling

实际上就是把filter 里面的所以值求一个平均值

特征提取的误差主要来自两个方面:

(1)邻域大小受限;

(2)卷积层权值参数误差。

目前主流上对于average pooling 和max-pooling 的主要区别在于

average -pooling能减小第一种误差,更多的保留图像的背景信

max-pooling能减小第二种误差,更多的保留纹理信息

平安夜还看我的教程的

多半是单身狗

当然,平安夜写教程的,多半也是

那么

祝点赞的各位,女朋友长得和里面最漂亮的一样

「hahahahhahahah,赞赏有女朋友」

本文来自企鹅号 - 全球大搜罗媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

CS231n课程笔记翻译:图像分类笔记(下)

用于超参数调优的验证集 k-NN分类器需要设定k值,那么选择哪个k值最合适的呢?我们可以选择不同的距离函数,比如L1范数和L2范数等,那么选哪个好?还有不少选择...

3618
来自专栏ATYUN订阅号

如何通过热图发现图片分类任务的数据渗出

文末GitHub链接提供了生成以下图片所需的数据集和源代码。本文的所有内容都可以在具有1G内存GPU的笔记本电脑上复现。

1101
来自专栏机器学习算法工程师

【TPAMI重磅综述】 SIFT与CNN的碰撞:万字长文回顾图像检索任务十年探索历程(下篇)

本文是《SIFT Meets CNN: A Decade Survey of Instance Retrieval》的下篇。在上 篇中概述了图像检索任务极其发...

1613
来自专栏专知

对抗样本再下一城,攻陷目标检测!自动驾驶或受攻击?UIUC学者构建欺骗检测器的对抗样本!

【导读】近日,针对深度学习系统的对抗样本攻击问题,来自伊利诺伊大学香槟分校(UIUC)的学者在 arXiv 上发表论文提出对于神经网络图像目标检测(Object...

6625
来自专栏视觉求索无尽也

【调参经验】图像分类模型的调参经验前言调参经验与我交流

用深度学习做图像分类任务也有近一年时间了,从最初模型的准确率只有60%到后来调到有80%,再到最后的90%+的准确率,摸索中踩了很多坑,也总结出了一些经验。现在...

1622
来自专栏量子位

Kaggle优胜者详解:如何用深度学习实现卫星图像分割与识别

王新民 编译 量子位 出品 | 公众号 QbitAI 最近,Kaggle网站举办了一场在卫星图像上进行场景特征检测的比赛,数据集由英国国防科学与技术实验室(DS...

49712
来自专栏量子位

怎样构建深度学习模型?六步走,时刻小心过拟合 | 入门指南

1002
来自专栏ATYUN订阅号

Python机器学习的练习一:简单线性回归

检查数据 在练习的第一部分,我们的任务是利用简单的线性回归去预测食品交易的利润。假设你是一个餐厅的CEO,最近考虑在其他城市开一家新的分店。连锁店已经在各个城市...

3996
来自专栏小詹同学

深度学习神经网络第①篇——感知器及其Python实现

感知器是由美国计算机科学家罗森布拉特(F.Roseblatt)于1957年提出的。感知器可谓是最早的人工神经网络。单层感知器是一个具有一层神经元、采用阈值激活函...

1564
来自专栏marsggbo

DeepLearning.ai学习笔记(三)结构化机器学习项目--week2机器学习策略(2)

一、进行误差分析 很多时候我们发现训练出来的模型有误差后,就会一股脑的想着法子去减少误差。想法固然好,但是有点headlong~ 这节视频中吴大大介绍了一个...

2036

扫码关注云+社区

领取腾讯云代金券