科普:CNN论文介绍的开篇」神经网络与卷积神经网络

【科普】神经网络与卷积神经网络

神经网络:何为神经网络呢?

最开始接触这个名词的时候,很长一段时间都将它看做一个高深莫测的神奇工具。竟然和大脑神经都有关系的算法,肯定很厉害!

学习之后才发现,原来神经网络也仅仅只是一个名词而已,只是形容一种类似神经元输入输出的函数关系,例如下图中,

神经元计算

这便是一个神经元h,它有四个输入,其中一个是偏置信息,而神经元的输出则为:

这样之后还会有一个激活操作,以便神经网络能够拟合非线性关系。

将这样的多个神经元堆叠起来,则可成为多层的神经网络,也可以称为多层感知器。其中每一个神经元的输入输出都按上面的方法进行计算。下图便是一个最简单的神经网络

这样看来,神经网络其实也就可以看做一种函数拟合方法。

例如,给定一堆的输入数据和已知他们的输出数据,将他们输入到神经网络进行训练优化,可以使得神经网路具有拟合输入输出之间关系的能力,然后给定一个未知输出的输入数据,可以推算出在这种规律下的输出数据。

神经网络特点:

  • 可以拟合出所有的需要的函数关系
  • 中间层每一个神经元的输出值均由上一个神经层的所有输出数据的加权和算得,参数量过大

一般而言,神经网络便能拟合出所有的函数关系了,那么,又为什么会出现卷积神经网络呢?

这个大家应该都知道,这是因为计算复杂度的关系,因为神经网络的全连接特性限制了它的发展,具体来说,如上图中所示,

首先,我们观察一下隐藏层的神经元的值的计算,我们可以发现每一个神经元的值都是由输入层的所有数据的一个加权和,若是每一个设计的神经网络都像上面一层网络那样简单,那全连接倒并不恐怖,可是现实情况是:

每一张图片,如果是一张256*256的RGB图片,那他的输入数据便有256*256*3=196608个,对应的权重也是这么多,一个神经元便对应着这么多的参数,更不用说,还要乘上隐藏层的神经元数目以及隐藏层的数目了。

可想而知,神经网络的全连接操作的参数量限制了神经网络的进一步发展。

而且,根据人的经验,人看见一张照片上一张人脸便可以判别出这张照片是一个人,神经网络其实也不用知道图片的完整信息便可以判别出图片类别,因此,神经网络中存在着很多的冗余信息。

这便出现了卷积神经网络,卷积神经网络一定程度上解决了神经网络的参数过多的缺点,相对于神经网络的全连接方式,卷积神经网络采用局部连接的方式,即中间层的一个神经元的输出由上一层的部分神经元的输决定,而不是所有的神经元的输入。

先看一下卷积操作的原理吧:

如图所示,第一列的三个矩阵为输入数据,中间列即为2个3*3的卷积核的参数,最后一列为输出层的数据。

每一个输出层的数据均由卷积核与输入层的部分数据的加权和决定。这样大大减小了网络的参数。

最早提出卷积神经网络的是Yann LeCun大神提出的LeNet-5网络,这是由三个卷积层和两个全连接层构成的网络,最初用于数字识别。至此开始,各种各样的卷积神经网络便开始拉开深度学习的帷幕。

LeNet-5

本来我并没有打算介绍神经网络和卷积神经网络,但是为了推卷积神经网络的那些论文的详细介绍(下面这篇推文中的承诺),所以还是写一篇作为开篇比较好。这个介绍不是很好,有兴趣的可以去找相关的细节学习。

CNN模型的发展:自2012AlexNet-2017DRN的17篇CNN模型论文总结

原文发布于微信公众号 - AI深度学习求索(AIDeepLearningQ)

原文发表时间:2018-10-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

Python数据建模-回归分析

主题 数据建模 我还是一次性将一些理论的知识整理完呗,大家可以选择性地看看就好,后续会找一些实例来练练。 一、分类与预测 分类与预测是预测问题的2种主要实...

61890
来自专栏Android相关

机器学习介绍

设计和分析一些让计算机可以自动“学习“的算法。机器学习算法是一类从庞大的数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。

18110
来自专栏CVer

开源!OpenCV预训练模型库

有几种检测模型可以用于检测一系列最常见的目标。大多数网络都是基于 SSD 并提供了合理的准确率/速度权衡。这个列表有人脸、人物、汽车、自行车等目标的检测模型,其...

77210
来自专栏AI科技大本营的专栏

深度学习最新方法:随机加权平均,击败了当前最先进的Snapshot Ensembling

【AI 科技大本营导读】本文,我们将讨论近期两篇有意思的论文,论文的大致思路是通过一种集成方式来提高任意给定的神经网络性能。这两篇论文分别是:

28930
来自专栏机器之心

学界 | FAIR提出用聚类方法结合卷积网络,实现无监督端到端图像分类

预训练的卷积神经网络,或称卷积网络,已经成为大多数计算机视觉应用的基础构建模块 [1,2,3,4]。它们能提取极好的通用特征,用来提高在有限数据上学习的模型的泛...

20010
来自专栏新智元

周志华最新论文挑战深度学习 | 深度森林:探索深度神经网络以外的方法

【新智元导读】西瓜书《机器学习》作者、南京大学周志华日前发表论文,提出了一种基于树的方法,挑战深度学习。在设置可类比的情况下,新方法 gcForest 取得了和...

386110
来自专栏AI科技评论

学界 | 微软亚洲研究院提出两大创新模块,构建可变形卷积神经网络

论文摘要 由于用于构建卷积神经网络(CNNs)的各个模块具有较为固定的几何结构,从而在根本上限制了 CNNs 算法对几何变换的建模。在《Deformable C...

35250
来自专栏技术小站

吴恩达深度学习笔记 4.1~4.8 深层神经网络

深层神经网络与浅层神经网络的区别是:隐藏层比浅层神经网络多,从命名规则上来说,有1,2,5个隐藏层的神经网络可以称为1 hidden layer,2 hidde...

18710
来自专栏机器人网

机器学习十大算法:新手看了变老手

在机器学习中,有一种叫做「没有免费的午餐」的定理。简而言之,它指出没有任何一种算法对所有问题都有效,在监督学习(即预测建模)中尤其如此。

15240
来自专栏CDA数据分析师

机器学习新手必看十大算法

编译 机器之心 原文链接:https://towardsdatascience.com/a-tour-of-the-top-10-algorithms-for...

45060

扫码关注云+社区

领取腾讯云代金券