VGG 在深度学习领域中非常有名，很多人 fine-tune 的时候都是下载 VGG 的预训练过的权重模型，然后在次基础上进行迁移学习。VGG 是 ImageNet 2014 年目标定位竞赛的第一名，图像分类竞赛的第二名，需要注意的是，图像分类竞赛的第一名是大名鼎鼎的 GoogLeNet，那么为什么人们更愿意使用第二名的 VGG 呢？
这节课介绍了几个常见的卷积神经网络的架构，从结构上学习神经网络的构成，包括 AlexNet，LeNet，VGG，GoogLeNet，ResNet，这些网络都是在之前的 ImageNet 挑战中获得过第一名网络结构，值得我们好好学习一下。现在很多的神经网络框架里都集成了这些框架，但是建议还是手动实现一下哈
机器学习（machine learning）是人工智能的一个特殊子领域，其目标是仅靠观察训练数据来自动开发程序［即模型（model）］。将数据转换为程序的这个过程叫作学习（learning）
Inception 家族成员：Inception-V1（GoogLeNet）、BN-Inception、Inception-V2、Inception-V3、Inception-ResNet-V1、Inception-V4、Inception-ResNet-V2。
VGG ： conv3x3、conv5x5、conv7x7、conv9x9和conv11x11，在224x224x3的RGB图上（设置pad=1，stride=4，output_channel=96）做卷积，卷积层的参数规模和得到的feature map的大小如下：
一般来说，分类问题是计算机视觉模型的基础，它可以延申解决更复杂的视觉问题，例如：目标检测的任务包括检测边界框并对其中的对象进行分类。而分割的任务则是对图像中的每个像素进行分类。
的 192 个通道的特征图，想要使 192 个通道的特征图压缩为具有 32 个通道的特征图，则可以使用 32 个
这是卷积神经网络学习路线的第三篇，这一篇开始盘点一下池化层的不同类型和1*1卷积的作用。
深度神经网络很难去训练，本文提出了一个残差学习框架来简化那些非常深的网络的训练，该框架使得层能根据其输入来学习残差函数而非原始函数。本文提出证据表明，这些残差网络的优化更简单，而且通过增加深度来获得更高的准确率
卷积神经网络可以通过深度网络架构和给定的输入样本自动学习特征。然而，所获得的模型的鲁棒性在不同的场景中可能具有挑战性。网络架构的差异越大，有利于提取更多的互补结构信息，从而增强获得的超分辨率模型的鲁棒性。
同样，经典的卷积神经网络通常是几个卷积层后面带一个池化层，接近输出的地方再加上全连接层，所以选择选项1和3
本文介绍了现代计算机视觉的主要思想。我们探索如何将数百个学习图像中低级特征的神经元堆叠成几层。
本系列为 斯坦福CS231n 《深度学习与计算机视觉(Deep Learning for Computer Vision)》的全套学习笔记，对应的课程视频可以在 这里 查看。更多资料获取方式见文末。
选自arXiv 机器之心编译 参与：Smith、李泽南 近日，来自旷视科技的 Zhang Xiangyu 等四名研究员联合提出了一种专门为移动端设备而设计的高效卷积神经网络结构——ShuffleNet
InceptionNet 即 GoogLeNet，诞生于 2015 年，旨在通过增加网络的宽度来提升网络的能力，与 VGGNet 通过卷积层堆叠的方式（纵向）相比，是一个不同的方向（横向）。
为原始图像通道数，p 为 Padding 填充维度,f 为卷积核大小,s 为步长
原文链接：https://arxiv.org/pdf/1911.11907.pdf
发布 | ATYUN订阅号 您是如何跟上不同的卷积神经网络(CNNs)的?近年来，我们见证了无数CNNs的诞生。这些网络已经变得如此之深奥，以至于很难将整个模型可视化。我们不再跟踪它们，而是把它们当
【新智元导读】在许多任务中，神经网络越深，性能就越好。最近几年神经网络的趋势是越来越深。几年前最先进的神经网络还仅有12层深，现在几百层深的神经网络已经不是稀奇事了。本文中作者介绍了三个非常深的神经网络，分别是ResNet、HighwayNet和DenseNet，以及它们在Tensorflow上的实现。作者用CIFAR10数据集训练这些网络进行图像分类，在一小时左右的训练之后均实现了90%以上的精度。 神经网络设计的趋势：Deeper 谈到神经网络设计，最近几年的趋势都指向一个方向：更深。几年前最先进的神经
近年来大规模视觉 Transformer 的蓬勃发展推动了计算机视觉领域的性能边界。视觉 Transformer 模型通过扩大模型参数量和训练数据从而击败了卷积神经网络。来自上海人工智能实验室、清华、南大、商汤和港中文的研究人员总结了卷积神经网络和视觉 Transformer 之间的差距。从算子层面看，传统的 CNNs 算子缺乏长距离依赖和自适应空间聚合能力；从结构层面看，传统 CNNs 结构缺乏先进组件。
论文: Learning Transferable Architectures for Scalable Image Recognition
VGG 最大的特点就是它在之前的网络模型上，通过比较彻底地采用 3x3 尺寸的卷积核来堆叠神经网络，从而加深整个神经网络的层级。并且VGG论文给出了一个非常振奋人心的结论：卷积神经网络的深度增加和小卷积核的使用对网络的最终分类识别效果有很大的作用。
对于普通的神经网络，首先收到输入数据，然后通过若干的隐藏层的转换得到输出。每个隐藏层是由一组神经元组成的，并且这些神经元与前一层进行全连接。在单层中的每个神经元都是完全独立的，不会与其他神经元共享任何连接。最后一个全连接层又称为输出层，在分类任务中，它代表了每个类别的得分。常规的神经网络不能很好地扩展到整个图像。在CIFAR-10数据集中，图片的大小只有32*32*3 ，所以全连接的神经网络在第一个隐藏层中就需要 个权重，这看起来还是可以接受的一个数据量，但是如果图片更大，常规的神经网络就不能很好地使用了。显然易见的是，全连接这样的形式带来参数量巨大的问题， 会导致性能的浪费和过拟合问题。
这是卷积神经网络的学习路线的第四篇文章，这篇文章主要为大家介绍一下如何减少卷积层的计算量，使用宽卷积的好处以及转置卷积中的棋盘效应。
近年来，自注意力机制已经广泛应用于自然语言处理中，今天我将分享一下如何将自注意力机制应用在图像分割任务中。
GoogLeNet是google2014年推出的深度神经网络模型，原论文名称为：Going deeper with convolutions，在沐神的书上也被叫做含并⾏连结的⽹络（主要由于Inception块中的结构）。该模型在2014年ILSVRC 2014比赛中竞赛中夺得冠军，14年之后也在不断发展，这里就介绍一下初始的版本。
光流预测一直都是计算机视觉中的经典问题，同时又是解决很多其他问题的基础而备受关注，例如，运动估计、运动分割和行为识别。随着深度神经网络技术在计算机视觉领域中引发的技术变革，基于深度神经网络的光流预测算法应运而生。本文中，SIGAI将以FlowNet到FlowNet2.0的演变，来和大家一起领略基于CNN（卷积神经网络）的光流算法的诞生与发展。
最早提出的Transformer模型[1]针对的是自然语言翻译任务。在自然语言翻译任务中，既需要理解每个单词的含义，也需要利用单词的前后顺序关系。常用的自然语言模型是循环神经网络（Recurrent Neural Network，RNN）和卷积神经网络（Convolutional Neural Network，CNN）。
池化操作通常也叫做子采样（Subsampling）或降采样（Downsampling），在构建卷积神经网络时，往往会用在卷积层之后，通过池化来降低卷积层输出的特征维度，有效减少网络参数的同时还可以防止过拟合现象。池化操作可以降低图像维度的原因，本质上是因为图像具有一种“静态性”的属性，这个意思是说在一个图像区域有用的特征极有可能在另一个区域同样有用。因此，为了描述一个大的图像，很直观的想法就是对不同位置的特征进行聚合统计。例如，可以计算图像在固定区域特征上的平均值（或最大值）来代表这个区域的特征。
AI科技评论按：虽然CVPR 2017已经落下帷幕，但对精彩论文的解读还在继续。下文是宜远智能的首席科学家刘凯对此次大会收录的《结合序列学习和交叉形态卷积的3D生物医学图像分割》（Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation）一文进行的解读。 3D医学图像的切割的背景 3D医学图像的切割是医学图像处理里一个非常重要的工作，比如脑部MRI数据、肺CT数据和X光数据等等。现在大多数的3D
扩张卷积（Dilated Convolution）也被称为空洞卷积或者膨胀卷积，是在标准的卷积核中注入空洞，以此来增加模型的感受野（reception field）。相比原来的正常卷积操作，扩张卷积多了一个参数： dilation rate，指的是卷积核的点的间隔数量，比如常规的卷积操作dilatation rate为1。它的论文是：《MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS》
传统的卷积神经网络在提高性能时都是加深和加宽网络，但随着超参数数量的增加(如通道数，卷积核大小等)网络变得非常难调，且网络的计算开销和网络结构设计也变得越来越难，这一点我在介绍ResNet和DenseNet大型模型的时候已经提到过了。此外这些大模型针对性比较强，即在特定数据集上表现好的网络放到新数据集上就需要修改很多的参数才能工作良好，因此可扩展性比较一般。针对上述问题，Saining Xie, Ross Girshick, Kaiming He在CVPR2017上提出了ResNeXt。论文原文地址见附录。
在神经网络世界中，对图像数据进行建模需要特殊的方法。其中最著名的是卷积神经网络(CNN或ConvNet)或称为卷积自编码器。并非所有的读者都了解图像数据，那么我先简要介绍图像数据(如果你对这方面已经很清楚了，可以跳过)。然后，我会介绍标准神经网络。这个标准神经网络用于图像数据，比较简单。这解释了处理图像数据时为什么首选的是卷积自编码器。最重要的是，我将演示卷积自编码器如何减少图像噪声。这篇文章将用上Keras模块和MNIST数据。Keras用Python编写，并且能够在TensorFlow上运行，是高级的神经网络API。
Transformer跨界计算机视觉虽然已取得了一些不错的成绩，但大部分情况下，它还是落后于最先进的卷积网络。
“GoogleNet和VGG是ImageNet挑战赛中的第一名和第二名。共同特点就是两个网络的层次都更深了。”
主流的序列转换模型(dominant sequence transduction models)都是基于复杂的递归神经网络或者卷积神经网络，包括一个编码器(encoder)和一个解码器(decoder)
在统计学和机器学习领域，集成方法（ensemble method）使用多种学习算法以获得更好的预测性能（相比单独使用其中任何一种算法）。和统计力学中的统计集成（通常是无穷集合）不同，一个机器学习集成仅由一个离散的可选模型的离散集合组成，但通常拥有更加灵活的结构 [1]。 GitHub 地址：https://github.com/LawnboyMax/keras_ensemblng 使用集成的主要动机是在发现新的假设，该假设不一定存在于构成模型的假设空间中。从经验的角度看，当模型具有显著的多样性时，集成方法倾
传统的自动编码器是一种数据的压缩算法 其算法包括编码阶段和解码阶段，且拥有对称的结构。
选自towardsdatascience 作者：Lars Hulstaert 机器之心编译 了解图像分类的不同网络架构是一项非常艰巨的任务。本文将讨论目前可在 keras 上使用的主要架构。作者将按照这些架构出现的时间顺序对其逐一讲解，并尝试以从业者的角度讨论其优缺点。 关键概念 虽然计算机视觉研究者们采取的方法各不相同，但是大体而言，他们的实验设置有着如下的趋势。本文将讨论如何进行图像预处理，数据增强用于哪类数据，优化机制以及输出层的实现方法。 预处理 通常而言，我们会计算训练集图像的平均像素值，将其从图
VGGNet是在ImageNet Challenge 2014在定位和分类过程中分别获得了第一名和第二名的神经网络架构。VGGNet是牛津大学计算机视觉组和DeepMind公司的研究员一起研发的深度卷积神经网络。VGG主要探究了卷积神经网络的深度和其性能之间的关系，通过反复堆叠3×3的小卷积核和2×2的最大池化层，VGGNet成功的搭建了16-19层的深度卷积神经网络。与之前的网络结构相比，错误率大幅度下降；同时，VGG的泛化能力非常好，在不同的图片数据集上都有良好的表现。到目前为止，VGG依然经常被用来提取特征图像。自从2012年AlexNet在ImageNet Challenge大获成功之后，深度学习在人工智能领域再次火热起来，很多模型在此基础上做了大量尝试和改进。主要有两个方向：
卷积神经网络（Convolutional Neural Network, CNN），对于图像处理有出色表现，在计算机视觉中得到了广泛的应用。
为了使ViT适应各种密集的预测任务，最近的ViTs，如PVT、CvT、LeViT以及MobileViT都采用了分层结构，类似的操作也用于卷积神经网络(CNNs)，如AlexNet和ResNet。这些ViTs将全局自注意力及其变体应用到高分辨率Token上，由于Token数量的二次复杂度，这带来了巨大的计算成本。
ResNet 是何凯明团队的作品，对应的论文 《Deep Residual Learning for Image Recognition》是 2016 CVPR 最佳论文。ResNet 的 Res 也是 Residual 的缩写，它的用意在于基于残差学习，让神经网络能够越来越深，准确率越来越高。
摘要 研究主要贡献是通过非常小的3x3卷积核的神经网络架构全面评估了增加深度对网络的影响，结果表明16-19层的网络可以使现有设置的网络性能得到显著提高
纵览轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception
本文就近年提出的四个轻量化模型进行学习和对比，四个模型分别是：SqueezeNet、MobileNet、ShuffleNet、Xception。
机器之心专栏 作者：余霆嵩 本文就近年提出的四个轻量化模型进行学习和对比，四个模型分别是：SqueezeNet、MobileNet、ShuffleNet、Xception。 目录 一、引言 二、轻量化模型 2.1 SqueezeNet 2.2 MobileNet 2.3 ShuffleNet 2.4 Xception 三、网络对比 一、引言 自 2012 年 AlexNet 以来，卷积神经网络（简称 CNN）在图像分类、图像分割、目标检测等领域获得广泛应用。随着性能要求
本文首发于 【集智书童】，白名单账号转载请自觉植入本公众号名片并注明来源，非白名单账号请先申请权限，违者必究。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
