卷积神经网络(CNN)概念解释

卷积神经网络(CNN)概念解释

传统对象识别-模式识别

传统的模式识别神经网络(NN)算法基于梯度下降,基于输入的大量样本特征数据学习有能力识别与分类不同的目标样本。这些传统模式识别方法包括KNN、SVM、NN等方法、他们有一个无法避免的问题,就是必须手工设计算法实现从输入图像到提取特征,而在特征提取过程中要考虑各种不变性问题、最常见的需要考虑旋转不变性、光照不变性、尺度不变性、通过计算图像梯度与角度来实现旋转不变性、通过归一化来避免光照影响,构建尺度金字塔实现尺度不变性,这其中SIFT与SURF是其这类特征的典型代表、此外还可以基于轮廓HOG特征、LBP特征等,然后把特征数据作为输入,选择适合的机器学习方法如KNN、SVM等方法实现分类或者识别。这些方法的一个最大的弊端就是特征提取设计过程完全依赖于人、人的因素太多,没有发挥出机器主动学习、提取特征的能力。好处就是人可以完全控制特征提取的每个细节、每个特征数据。图示如下:

卷积神经网络(CNN)

以卷积神经网络(CNN)为代表的深度学习方法实现对象识别与分类,则是把特征提取完全交给机器、整个特征提取的过程无需手工设计、全部由机器自动完成。通过不同filter的卷积实现特征提取,这样就可以对畸变与光照保持一定程度的不变性、通过最大池化层采样实现尺度不变性,在保持传统特征数据三个不变性的同时,在特征提取方法上尽量减少人工设计细节,通过监督学习把计算机的计算能力发挥出来,主动寻找合适的特征数据。完成了特征提取算法有传统的白盒机制到以机器为主导的黑盒机制,实现了识别分类结果的最优化求解。最早的卷积神经网络模型出现在1998年,主要是用来实现OCR(英文字母识别),它的名称叫做LeNet-5网络,其结构如下:

包含以下各层:

  • 输入层(Input Layer)表示输入数据(图像)
  • 卷积层(Convolution Layer)通过5x5的卷积核实现特征提取,然 后通过2x大小最大池化,降采样。上图有两个卷积层
  • 全连接层(Full connection Layer),传统神经网络的多层感知器 (MLP)。上图有两个全连接层
  • 输出层(Output Layer)

卷积层详解:

首先要理解一下图像卷积的概念,卷积是一种数学操作,简单可以解释如下图:

而对与卷积神经网络的卷积层来说,我们一般定义输入图像是wxh像素宽高大小,定义K个mxn卷积核,对每个卷积核完成输入图像与之卷积得到生成k(w-m+1)(h-n+1)卷积图像,降采样之后则得到DMN (M=(w-m+1)/2, N=(h-n+1)/2), 其中D表示深度即feature map的个数,输出第一层卷积池化之后,继续进行卷积操作的时候必须考虑图像的深度,在深度方向完成三维卷积,图示如下:

这样就得到了卷积第二层,如果还有需要还可以进行第三层卷积到~N层,卷积层操作。在每个卷积层操作完成之后,还需要做些额外的数据处理ReLU,下图是ReLU的数学表述与曲线

对比一下,ReLU操作之前与操作之后的Feature Map输出

全连接层详解:

全连接层是传统的神经网络的多层感知器(MLP),通过激活函数实现到最终输出层,全连接层是要对该层所有神经元,链接到下个层每个神经元,全连接层的目的是实现分类输出到最终的输出层。传统的MLP网络结构如下:

卷积神经网络相比传统特征提取与模式识别方法,具有以下几个方面的优势

  • 训练相对容易,无需复杂的特征提取过程,可以说降低了图像识别的学习门槛,让更多懂数据人找到了学习图像处理与计算机视觉的捷径。
  • 卷积层通过共享权重参数,相比传统的神经网络,减少参数个数,对内存要求降低
  • 对图像的扭曲、变形、像素迁移保持稳定、具有一定不变性特征。

原文发布于微信公众号 - OpenCV学堂(CVSCHOOL)

原文发表时间:2017-10-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 谷歌大脑提出Adversarial Spheres:从简单流形探讨对抗性样本的来源

37370
来自专栏企鹅号快讯

基于CPPN与GAN+VAE生成高分辨率图像

来源:otoro 编译:weakish 在之前的文章中,hardmaru讨论了一种生成算法,可以在诸如MNIST或CIFAR-10这样的低分辨率图像上训练,以任...

27080
来自专栏AI研习社

如何让训练神经网络不无聊?试试迁移学习和多任务学习

训练深度神经网络是一个乏味的过程。更实际的方法,如重新使用训练好的网络解决其他任务,或针对许多任务使用相同的网络。这篇文章中,我们会讨论两个重要的方法:迁移学习...

14250
来自专栏数据科学与人工智能

【机器学习】参数和非参数机器学习算法

什么是参数机器学习算法并且它与非参数机器学习算法有什么不同? 本文中你将了解到参数和非参数机器学习算法的区别。 让我们开始吧。 ? 学习函数 机器学习可以总结...

38750
来自专栏老秦求学

Deep Learning Tutorial 李宏毅(一)深度学习介绍

大纲 深度学习介绍 深度学习训练的技巧 神经网络的变体 展望 深度学习介绍 深度学习介绍 深度学习属于机器学习的一种。介绍深度学习之前,我们先大致了解一下机器学...

480100
来自专栏磐创AI技术团队的专栏

卷积神经网络概述

在 2012 年的 ILSVRC 比赛中 Hinton 的学生 Alex Krizhevsky 使用深度卷积神经网络模型 AlexNet 以显著的优势赢得了比...

37240
来自专栏IT派

机器学习面试题目总结

如果你觉得好的话,不妨分享到朋友圈。 1.机器学习中特征的理解 def:特征选择和降维 特征选择:原有特征选择出子集,不改变原来的特征空间 降维:将原有的特征...

46150
来自专栏专知

【论文分享】中科院自动化所多媒体计算与图形学团队NIPS 2017论文提出平均Top-K损失函数,专注于解决复杂样本

【导读】损失函数的设计一直是机器学习和模式识别中的核心问题。目前中国科学院自动化研究所和美国纽约州立大学奥尔巴尼分校合作提出了一种新的聚合损失函数,即平均 ? ...

41250
来自专栏自然语言处理

谈谈学习模型的评估1

李航《统计学习方法》一书:统计学习方法是由模型、策略和算法构成的,即统计学习方法的三要素构成,简化:方法=模型+策略+算法

9420
来自专栏SIGAI学习与实践平台

深度多目标跟踪算法综述

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

76420

扫码关注云+社区

领取腾讯云代金券