向传统体系结构中引入残差连接使网络的性能变得更好，这提出了一个问题，即将Inception架构与残差连接结合起来是否能带来一些好处。在此，研究者通过实验表明使用残差连接显著地加速了Inception网络的训练。也有一些证据表明，相比没有残差连接的消耗相似的Inception网络，残差Inception网络在性能上具有微弱的优势。针对是否包含残差连接的Inception网络，本文同时提出了一些新的简化网络，同时进一步展示了适当的激活缩放如何使得很宽的残差Inception网络的训练更加稳定
Inception 家族成员：Inception-V1（GoogLeNet）、BN-Inception、Inception-V2、Inception-V3、Inception-ResNet-V1、Inception-V4、Inception-ResNet-V2。
Inception 网络是CNN分类器发展史上一个重要的里程碑。在 Inception 出现之前，大部分流行 CNN 仅仅是把卷积层堆叠得越来越多，使网络越来越深，以此希望能够得到更好的性能。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details/81710799
【磐创AI导读】：本文介绍了一些Inception网络的相关知识。想要获取更多的机器学习、深度学习资源。欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
作者：Bharath Raj 机器之心编译 参与：路、刘晓坤 本文简要介绍了 Inception 家族的主要成员，包括 Inception v1、Inception v2 和 Inception v3、Inception v4 和 Inception-ResNet。它们的计算效率与参数效率在所有卷积架构中都是顶尖的，且根据 CS231n 中所介绍的，Inception V4 基本上是当前在 ImageNet 图像分类任务 Top-1 正确率最高的模型。 Inception 网络是 CNN 分类器发展史上一
CNN 取得的大多数进展并非源自更强大的硬件、更多的数据集和更大的模型，而主要是由新的想法和算法以及优化的网络结构共同带来的结果。
Inception 网络是卷积神经网络 (CNN) 分类器发展中的一个重要里程碑。在 inception 之前, 大多数流行的 CNN 只是将卷积层堆叠得越来越深，以期获得更好的效果。
导语：近年来，许多卷积神经网络（ CNN ）跃入眼帘，而随着其越来越深的深度，我们难以对某个 CNN 的结构有较明确的了解。因此本文精心选取了 10 个 CNN 体系结构的详细图解进行讲述。
【导读】今天将主要介绍Inception的家族及其前世今生.Inception 网络是 CNN 发展史上一个重要的里程碑。在 Inception 出现之前，大部分 CNN 仅仅是把卷积层堆叠得越来越多，使网络越来越深，以此希望能够得到更好的性能。而Inception则是从网络的堆叠结构出发，提出了多条并行分支结构的思想，后续一系列的多分支网络结构均从此而来。总体来说，Inception系列网络在结构上相对比较复杂，工程性较强，而且其中通常使用很多tricks来提升网络的综合性能（准确率和速度）。目前Inception系列具体网络结构包括：
LeNet：1998，Gradient based learning applied to document recognition
Google Research的Inception模型和Microsoft Research的Residual Net模型两大图像识别杀器结合效果如何？在这篇2月23日公布在arxiv上的文章“Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”给出了实验上的结论。
今天和大家分享一下自1998~2022年来，涌现出来的那些优秀的图像识别算法模型。
【主要贡献】 在传统网络中，神经网络都是通过增加深度来扩展的。「Inception结构的最大特点是从网络的宽度上进行改进，通过concat操作将经过不同kernel尺度处理的feature map进行拼接。」
AI 科技评论按：本文为浙江大学范星为 AI 科技评论撰写的独家稿件，未经许可不得转载。 从 1998 年经典的 LeNet，到 2012 年历史性的 AlexNet，之后深度学习进入了蓬勃发展阶段，百花齐放，大放异彩，出现了各式各样的不同网络，包括 LeNet、AlexNet、ZFNet、VGG、NiN、Inception v1 到 v4、Inception-ResNet、ResNet、WRN、FractalNet、Stochastic Depth、DenseNet、ResNeXt、Xception、SE
今年年初的时候，Szegedy写了GoogLeNet的第三篇续作，如下： [v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning，top5 error 3.08% Szegedy读了此论文后，蹦出了结合GoogLeNet与Residual Connections的奇思妙想，于是就有了上面那篇论文，主要贡献如下： 1、在Inception v3的基础上发明了Inception v4，v4比v3
在昨天的学习中我们已经了解了5中常见的CNN架构，今天我们将继续用图解的方法了解其余的5种架构。
2016年8月31日，Google团队宣布针对TensorFlow开源了最新发布的TF-slim资料库，它是一个可以定义、训练和评估模型的轻量级的软件包，也能对图像分类领域中几个主要有竞争力的网络进行检验和定义模型。 为了进一步推进这个领域的进步，今天Google团队宣布发布Inception-ResNet-v2（一种卷积神经网络——CNN），它在ILSVRC图像分类基准测试中实现了当下最好的成绩。Inception-ResNet-v2是早期Inception V3模型变化而来，从微软的残差网络（ResNe
卷积神经网络上目前深度学习应用在图像处理和自然语言处理的非常具有代表性的神经网络，其经历了不断的优化发展，性能越来越强。在图像处理、计算机视觉领域的应用包括图像特征提取、目标分类、目标分割、目标识别等。相比于传统的神经网络需要将一定的特征信息作为输入，卷积神经网络可以直接将原始图像或经过预处理之后的图像作为网络模型的输入，一个卷积神经网络通常包括输入输出层和多个隐藏层，隐藏层通常包括卷积层和RELU层（即激活函数）、池化层、全连接层和归一化层等。卷积神经网络中有三个基本的概念：局部感受野（Local Receptive Fields）、共享权值(Shared Weights）、池化（Pooling)。 （1）局部感受野。对于全连接式的神经网络，图像的每一个像素点连接到全连接的每一个神经元中，造成大量的计算量，而卷积神经网络则是把每一个卷积核的点只连接到图像的某个局部区域，从而减少参数量。 （2）共享权值。在卷积神经网络的卷积层中，神经元对应的权值是相同的，由于权值相同，因此可以减少训练的参数量。 （3）池化。类似于人的视觉观察物体原理，关注点由大到小，首先输入图像往往都比较大，在卷积过程中通过不断提取特征，并且经过池化操作来对图像进行缩小，同时提取低阶和高阶的抽象特征信息。 卷机的原理和各种卷积的变种在之前的文章里提过。（深度学习系列（一）常见的卷积类型）
本文介绍了如何可视化Google Inception V3模型的网络结构，并使用TensorBoard进行模型的分析和可视化。首先介绍了Inception V3模型的基本情况和应用，然后使用TensorFlow实现了模型的导入和可视化。通过TensorBoard可以查看模型的各个层的参数和激活情况，并可以查看每个卷积核的尺寸和数量等。通过这些可视化手段，可以更方便地理解和调试模型的网络结构，从而更好地应用模型进行图像分类等任务。
LeNet-5是最简单的架构之一，它有2个卷积层和3个完全连接层。我们现在知道的平均汇集层被称为子采样层，它具有可训练的权重。该架构有大约60,000个参数。
发布 | ATYUN订阅号 您是如何跟上不同的卷积神经网络(CNNs)的?近年来，我们见证了无数CNNs的诞生。这些网络已经变得如此之深奥，以至于很难将整个模型可视化。我们不再跟踪它们，而是把它们当
在学习了Andrew Ng 的deeplearning.ai中的CNN课程时，顺着Ng的思路去了解了GoogLeNet这篇经典论文。GoogleNet提出了一个全新的深度CNN架构——Inception，无全连接层，可以节省运算的同时，减少了很多参数，参数数量是AlexNet的1/12，数量只有5 million，而且在ImageNet竞赛中取得了很好的成绩。 文章在引文中提到了提高深度神经网络性能最直接的方式，那就是增加网络的规模：深度和宽度。但是这样做的话肯定存在很多问题，问题是什么呢？ 问题一：网络规模更大通常意味着需要更多的参数，这会使增大的网络更容易过拟合，尤其是在训练集的标注样本有限的情况下。 问题二：使用计算资源的显著增加。 紧接着，文章就这两个问题开展一系列的引用与讨论，提出论文的追求，那就是设计一个好的网络拓扑，最后引出了Inception架构，并且将Inception架构的设计初衷与思想诠释的比较到位。首先，肯定卷积神经网络的重要性，以及池化对于卷积效果的重要性，所以Inception架构的基础是CNN卷积操作。而就减小网络规模这一点来说，新的模型需要考虑一个新的网络架构，从如何近似卷积视觉网络的最优稀疏结构出发，进行探索与讨论。
为了在该领域取得更多进展，今天我们非常高兴的宣布开放 Inception-ResNet-v2，这是一个在 ILSVRC 图像分类基准上取得顶尖准确率的卷积神经网络。Inception-ResNet-v2 是早期发布的 Inception V3 模型的变体，该模型借鉴了微软 ResNet 论文中的思路。具体内容可在我们的论文：Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 中看到。 残差连接（R
编者按：Inception系列是卷积神经网络家族中一支举足重轻的力量。关于Inception性能优异的解释主要集中在它的multi-branch的结构和multi-size filter的运用。这篇文章从一个新颖的角度揭示了why Inception works，以及Inception与ResNet之间的深刻关联。
肺炎是由多种病源菌引起的肺充血，水肿，炎性细胞浸润和渗出性病变，是生活中较为常见的一种疾病。早期感冒咳嗽如果护理不当，既有可能转化为肺炎。临床常见且可发生于任何人群。临床表现主要有发热，咳嗽，咳痰，呼吸困难等。
本文主要介绍了深度学习网络模型中Inception模块的作用、结构、优缺点以及改进版本Inception-v4模型。Inception模块是一种用于提升CNN网络性能的结构，通过堆叠不同尺寸的卷积层和池化层，以获得更丰富的特征图信息。Inception结构包括Inception v1、Inception v2和Inception v3等，每个版本都有其特点和优缺点。Inception-v4模型对Inception结构进行了进一步改进，通过分解7x7卷积层，使用1x3和3x1的卷积核，实现了更高效的计算和更深的网络。
要介绍Inception网络结构首先应该介绍一下NIN(Network in Network)网络模型，2014年新加坡国立大学发表了一篇关于计算机视觉图像分类的论文，提到采用了一种新的网络结构NIN实现图像分类，该论文的第二作者颜水成毕业于北京大学数学系，现任360人工智能研究院院长与首席科学家。NIN主要思想是认为CNN网络中卷积滤波是基于线性滤波器实现的，抽象能力不够，所以一般是用一大堆filter把所有特征都找出来，但是这样就导致网络参数过大，论文作者提出通过MLP（多个权重阶层组成+一个非线性激活函数）对输入区域通过MLP产生一个输出feature map，然后继续滑动MLP窗口，对比如下：
googlenet是2014年ilsvrc冠军，一共22层。这个网络中，作者使用了新的inception模块来进行多尺度信息融合，让神经网络变得更宽。同时googlenet比他的前辈alexnet相比，在精度大大提升的同时，参数数量大大减少（是alexnet的1/12），使得网络更加精简部署在移动设备上成为可能。 经过试验，googlenet保持一次推理只运行15亿次（乘法、加法）计算的常量。这样在实际生产中，googlenet也具有极大价值。
1985年，Rumelhart和Hinton等人提出了后向传播（Back Propagation，BP）算法（也有说1986年的，指的是他们另一篇paper：Learning representations by back-propagating errors)，使得神经网络的训练变得简单可行，这篇文章在Google Scholar上的引用次数达到了19000多次，目前还是比Cortes和Vapnic的Support-Vector Networks稍落后一点，不过以Deep Learning最近的发展劲头来看，超越指日可待。
2014年，Google提出了包含Inception模块的网络结构，并命名为GoogLeNet[1]，其中LeNet为致敬LeNet网络，GoogLeNet在当年的ILSVRC的分类任务上获得冠军。GoogLeNet经过多次的迭代，最初的版本也被称为Inception v1。Inception的名字也得益于NIN和盗梦空间“We need to go deeper”的启发。提高模型的表达能力，最有效的办法是增加模型的大小，包括了模型的深度和模型的宽度，但是一味的增大模型会出现以下的一些问题：
这是GoogLeNet的最早版本，出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。
GooleInceptionNet首次出现是在2014年的ILSVRC的比赛中，当时是第一名，最大的特点就是控制计算量的同时获得了比较好的分类性能--top-5错误率为6.67%。这个模型被称作为Inception V1,参数总量只有AlexNet的一半不到，有22层深，只有500万参数量，降低参数量的显然是非常有用的，模型越大的话肯定就需要比较大的数据量支持，同时耗费的计算资源也就越大。
一、GoogleNet模型简介 GoogleNet和VGG是2014年imagenet竞赛的双雄，这两类模型结构有一个共同特点是go deeper。跟VGG不同的是，GoogleNet做了更大胆的网络上的尝试而不是像VGG继承了Lenet以及AlexNet的一些框架，该模型虽然有22层，但大小却比AlexNet和VGG都小很多，性能优越。 深度学习以及神经网络快速发展，人们容易通过更高性能的硬件，更庞大的带标签数据和更深更宽的网络模型等手段来获得更好的预测识别效果，但是这一策略带来了两个重要的缺陷。 （1）更深更宽的网络模型会产生巨量参数，从而容易出现过拟合现象。 （2）网络规模加大会极大增加计算量，消耗更多的计算资源。 解决这两个缺陷的根本方法就是将全连接甚至一般的卷积都转化为稀疏连接。一方面现实生物神经系统的连接也是稀疏的，另一方面有文献表明：对于大规模稀疏的神经网络，可以通过分析激活值的统计特性和对高度相关的输出进行聚类来逐层构建出一个最优网络。这点表明臃肿的稀疏网络可能被不失性能地简化。 虽然数学证明有着严格的条件限制，但Hebbian定理有力地支持了这一结论。 由于计算机软硬件对非均匀稀疏数据的计算效率很差，所以在AlexNet模型重新启用了全连接层，其目的是为了更好地优化并行运算。所以，现在的问题是否有一种方法，既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。事实上可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能，具体方法是采用将多个稀疏矩阵合并成相关的稠密子矩阵的方法来提高计算性能，Google团队沿着这个思路提出了名为Inception 结构来实现此目的。
Inception-v3 架构的主要思想是 factorized convolutions (分解卷积) 和 aggressive regularization (激进的正则化)
“GoogleNet和VGG是ImageNet挑战赛中的第一名和第二名。共同特点就是两个网络的层次都更深了。”
选自Medium 作者：Joyce Xu 机器之心编译 参与：Pandas 神经网络领域近年来出现了很多激动人心的进步，斯坦福大学的 Joyce Xu 近日在 Medium 上谈了她认为「真正重新定义了我们看待神经网络的方式」的三大架构： ResNet、Inception 和 Xception。机器之心对本文进行了编译介绍，更多架构可参阅机器之心文章《10 大深度学习架构：计算机视觉优秀从业者必备（附代码实现）》。 过去几年来，计算机视觉领域中深度学习的诸多进展都可以归结到几种神经网络架构。除开其中的所有数
GoogLeNet原文地址：Going Deeper with Convolutions：https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Szegedy_Going_Deeper_With_2015_CVPR_paper.pdf
目前的常见的卷积网络结构有AlexNet、ZF Net、VGGNet、Inception、ResNet等等，接下来我们对这些架构一一详解。
由简入繁，由繁入简。已疯…… LeNet：Gradient based learning applied to document recognition AlexNet：ImageNet Classification with Deep Convolutional Neural Networks ZFNet：Visualizing and understanding convolutional networks VGGNet：Very deep convolutional networks for larg
的 192 个通道的特征图，想要使 192 个通道的特征图压缩为具有 32 个通道的特征图，则可以使用 32 个
利用赫布理论和多尺度处理直觉设计一种增加深度和宽度的提高内部计算资源利用率的（同时保持了计算预算不变）网络。GoogleNet在ImageNet分类比赛的Top-5错误率降到了6.7%。
选自GitHub 作者：Kit CHEN等 机器之心编译 参与：路雪、思源 近日，微软开源 MMdnn，可用于转换、可视化和诊断深度神经网络模型的全面、跨框架解决方案，目前支持 Caffe、Keras、MXNet、CNTK 等框架。 项目地址：https://github.com/Microsoft/MMdnn MMdnn 是一个用于转换、可视化和诊断深度神经网络模型的综合性、跨框架的解决方案。MMdnn 中的「MM」代表模型管理，「dnn」是「deep neural network」（深度神经网络）的缩写
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/170447.html原文链接：https://javaforall.cn
始于LeNet-5，一个有着标准的堆叠式卷积层中带有一个或多个全连接层的结构的卷积神经网络。通常使用dropout来针对过拟合问题。为了提出一个更深的网络，GoogLeNet做到了22层，利用inception结构，这个结构很好地利用了网络中的计算资源，并且在不增加计算负载的情况下，增加网络的宽度和深度。同时，为了优化网络质量，采用了Hebbian原理和多尺度处理。GoogLeNet在分类和检测上都取得了不错的效果。最近深度学习的发展，大多来源于新的想法，算法以及网络结构的改善，而不是依赖于硬件，新的数据集，更深的网络，并且深度学习的研究不应该完全专注于精确度的问题上，而更应该关注与网络结构的改善方面的工作。
上一篇文章我们引出了GoogLeNet InceptionV1的网络结构，这篇文章中我们会详细讲到Inception V2/V3/V4的发展历程以及它们的网络结构和亮点。 GoogLeNet Inception V2 GoogLeNet Inception V2在《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》出现，最大亮点是提出了Batch Normalization
原标题：独家 |《TensorFlow实战》作者黄文坚：四大经典CNN网络技术原理
GoogLeNet Inception V3在《Rethinking the Inception Architecture for Computer Vision》中提出（注意，在这篇论文中作者把该网络结构叫做v2版，我们以最终的v4版论文的划分为标准），该论文的亮点在于：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
