CNN做图像分类甚至做目标检测的效果已经被证明并广泛应用，图像语义分割本质上也可以认为是稠密的目标识别（需要预测每个像素点的类别）。
1 导读 本文详细讲解了 RoIPooling 、RoIAlign 和 RoIWarp ，用非常的图来帮助理解，相信通过本文阅读能让你对这三者有更加深刻的理解 如果对你有所帮助请点个在看、点或分享，鼓励一下小编
首先说下什么是语义分割，语义分割是从像素的水平上来理解识别图像，相当于知道每一个像素是什么东西。可用于自动驾驶和医学上的。 早先是利用手工特征加图模型。随着深度网络的发展，也引入的CNN，传统的CNN
在现有的网络结构设计指导下，似乎卷积层后跟一个池化层下采样，已经是一个准则。我们重新思考了现有SOTA网络，并得出结论最大池化层是能被卷积层给替代。我们设计了一系列小网络，并提出了一种新的「反卷积方法」来去可视化CNN学习到的特征
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 机器之心 授权 本文提出了迈向通用 CNN 架构：CCNN，可以用于任意分辨率、长度和维度的数据。 在 VGG、U-Net、TCN 网络中... CNN 虽然功能强大，但必须针对特定问题、数据类型、长度和分辨率进行定制，才能发挥其作用。我们不禁会问，可以设计出一个在所有这些网络中都运行良好的单一 CNN 吗？ 本文中，来自阿姆斯特丹自由大学、阿姆斯特丹大学、斯坦福大学的研究者提出了 CCNN，单个 CNN 就能够在多个数据集（例如 LRA）上实现 SOT
选自arXiv 作者：David W. Romero等 机器之心编译 编辑：陈萍 本文提出了迈向通用 CNN 架构：CCNN，可以用于任意分辨率、长度和维度的数据。 在 VGG、U-Net、TCN 网络中... CNN 虽然功能强大，但必须针对特定问题、数据类型、长度和分辨率进行定制，才能发挥其作用。我们不禁会问，可以设计出一个在所有这些网络中都运行良好的单一 CNN 吗？ 本文中，来自阿姆斯特丹自由大学、阿姆斯特丹大学、斯坦福大学的研究者提出了 CCNN，单个 CNN 就能够在多个数据集（例如 LRA）上
来源：机器之心 本文约2400字，建议阅读5分钟 来自阿姆斯特丹自由大学、阿姆斯特丹大学、斯坦福大学的研究者提出了 CCNN。 在 VGG、U-Net、TCN 网络中... CNN 虽然功能强大，但必须针对特定问题、数据类型、长度和分辨率进行定制，才能发挥其作用。我们不禁会问，可以设计出一个在所有这些网络中都运行良好的单一 CNN 吗？ 本文中，来自阿姆斯特丹自由大学、阿姆斯特丹大学、斯坦福大学的研究者提出了 CCNN，单个 CNN 就能够在多个数据集（例如 LRA）上实现 SOTA ！ 1998 年 L
卷积网络（convolutional network),也叫作卷积神经网络（convolutional neural network,CNN),是一种专门用来处理具有类似网格结构的数据的神经网络。卷积网络在诸多应用领域都表现优异。‘卷积神经网络’一词表明该网络使用了卷积（convolutional)这种数学运算。卷积神经网络的运作模式如下图所示：
用卷积神经网络分类（全卷积网络FCN），与普通CNN网络不通的是，FCN的分类层是卷积层，普通网络为全连接层。方法介绍如下： 最近的语义分割架构一般都用卷积神经网络（CNN）为每个像素分配一个初始类别标签。卷积层可以有效地捕捉图像中的局部特征，并以层级的方式将许多这样的模块嵌套在一起，这样 CNN 就可以试着提取更大的结构了。通过一系列卷积捕捉图像的复杂特征，CNN 可以将一张图的内容编码为紧凑表征。 但为了将单独的像素映射给标签，我们需要将标准 CNN 编码器扩展为编码器-解码器架构。在这个架构中，编码器使用卷积层和池化层将特征图尺寸缩小，使其成为更低维的表征。解码器接收到这一表征，用通过转置卷积执行上采样而「恢复」空间维度，这样每一个转置卷积都能扩展特征图尺寸。在某些情况下，编码器的中间步骤可用于调优解码器。最终，解码器生成一个表示原始图像标签的数组。
最近对深卷积神经网络 (CNNs) 的研究主要集中在提高计算机视觉数据集的精确度上。对于给定的精度级别, 通常可以用不同的 CNN 体系结构来实现了该精度级别。而具有更少参数的 CNN 体系结构具有以下几个优点:
遥感图像处理是数字图像处理技术中的一个重要组成部分，长期以来被广泛应用于农林业的遥感测绘，防灾减灾等领域。本文旨在通过深度学习技术从遥感影像中分类出农田和林业地块。手工从遥感图像中分类出农田和林业区域分类虽然准确但是效率低下，并且很多采用传统图像分割技术的方法泛化性能差，不适合场景复杂的遥感图像。经实践证明，使用深度学习技术在各种计算机视觉任务中都取得了良好的效果，因此本文首先使用先进的深度学习框架进行分类实验，例如使用PSPNet,UNet等作为分割网络对遥感图像数据集进行分类与分割训练。这些框架在ImageNet，COCO，VOC等数据集上表现很好，但是由于遥感图像数据集相对于ImageNet，COCO等数据集，不仅检测对象相对较小而且可供学习的数据集样本较少，需要针对这一特点进行优化。本文经过多次实验将高分辨率的图像切割成合适大小分辨率的图像以减小神经网络的输入，同时进行图片的预处理和数据增强来丰富学习样本。同时在真实情况下，农林区域易受到拍摄视角，光照等造成分割对象重叠，因此本文提出一种处理分割对象重叠的处理策略，来优化边界预测不准确的情况，使用该方法后准确率有明显提升。经实验证明，本文所提出的基于深度学习的农林业遥感影像分割在开源遥感图像数据集上的取得了94.08%的准确率，具有较高的研究价值 农林业遥感图像数据（图1）对于许多与农林业相关的应用至关重要。例如作物类型和产量监测，防灾减灾以及对粮食安全工作的研究和决策支持。最初，这些数据主要由政府机构使用。如今，蓬勃发展的农林业技术也需要在农场管理，产量预测和林业规划等各种应用领域进行革新。以往农林业地块的高质量遥感图像数据主要是手动在高分辨率图像中分割出来的，即通过土地功能不同引起的颜色，亮度或纹理的差异与周围区域 亮度或纹理的差异与周围区域区分开来。尽管农林业遥感图像的手动分类可以非常准确，但是非常耗时耗力。 图1.1：农田的遥感图像分割 定期更新农林业遥感图像数据的需求日益增加扩大了自动化分割农林业遥感图像的需求。 与ImageNet、VOC2007、COCO等目标检测/分类数据集中的大多数图像相比，农林业遥感图像中的对象相对简单。例如，人体的图像数据看起来要复杂得多，因为它包含各种不同纹理和形状的子对象（面部，手部，衣服等）。因此，优化传统的图像分割以及深度学习技术来设计用于农林业遥感图像分割的算法是非常重要的。该模型需要正确地排除不需要进行分割的对象（房屋，工厂，停车场等），区分具有几乎相似的光谱特性的相邻区域和可见度差的边界区域，并且正确地分割出所需的对象。 1.2 选题来源与经费支持 本研究课题来源于计算机与信息工程学院 随着传感器技术，航空航天技术，图像处理技术快速的发展，利用卫星遥感图像进行深度学习处理广泛应用于生产实际中。由于农林业遥感图像场景复杂，使用传统图像处理分割算法效果差且泛化性能弱，本文使用深度学习方法，在现有的的深度学习模型上训练，优化，最终提出一种一种优化后的深度学习模型，经测试，该模型在收集的农林业遥感图像数据集上可以准确的分割出所需的对象，本文提出的模型主要解决如下几个难点：
而截止目前，CNN已经在图像分类分方面取得了巨大的成就，涌现出如VGG和Resnet等网络结构，并在ImageNet中取得了好成绩。CNN的强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征：
本文介绍了FCN全卷积网络在语义分割中的重要性，并对其进行了详细的技术分析。FCN以全卷积网络为基础，通过切片和转置卷积操作实现像素级别的语义分割。在实践中，FCN表现出良好的性能，比其他语义分割方法具有更高的准确性和鲁棒性。同时，FCN也可以广泛应用于其他领域，如医学图像处理、自然场景图像处理等。
上一篇 《TensorFlow从1到2 | 第三章： 深度学习革命的开端：卷积神经网络》 快速回顾了CNN的前世今生。 本篇将拆开CNN架构，一探究竟。 基于空间映射的架构 全连接网络架构存在一个“硬
FCN是深度学习应用在图像分割的代表作, 是一种端到端(end to end)的图像分割方法, 让网络做像素级别的预测直接得出label map, 下面我们来看看FCN是如何做到像素级别的分类的
对于计算机视觉任务而言，图像分类是其中的主要任务之一，比如图像识别、目标检测等，这些任务都涉及到图像分类。而卷积神经网络（CNN）是计算机视觉任务中应用最为广泛且最为成功的网络之一。大多数深度学习研究者首先从CNN入门，上手的第一个项目应该是手写体MNIST数字图像识别，通过该项目能够大致掌握图像分类的基本操作流程，但由于该项目太成熟，按步骤操作一遍可能只知其然而不知其所以然。所以，当遇到其它图像分类任务时，研究者可能不知道如何开始，或者不知道选取怎样的预训练网络模型、或者不知道对已有的成熟模型进行怎样的调整、模型的层数怎样设计、如何提升精度等，这些问题都是会在选择使用卷积神经模型完成图像分类任务时应该考虑的问题。 当选择使用CNN进行图像分类任务时，需要优化3个主要指标：精度、仿真速度以及内存消耗。这些性能指标与设计的模型息息相关。不同的网络会对这些性能指标进行权衡，比如VGG、Inception以及ResNets等。常见的做法是对这些成熟的模型框架进行微调、比如通过增删一些层、使用扩展的其它层以及一些不同的网络训练技巧等完成相应的图像分类任务。 本文是关于使用CNN进行图像分类任务的优化设计指南，方便读者快速掌握图像分类模型设计中所遇到的问题及经验。全文集中在精度、速度和内存消耗这三个性能指标进行扩展，介绍不同的CNN分类方法，并探讨这些方法在这三个性能指标上的表现。此外，还可以看到对这些成熟的CNN方法进行各种修改以及修改后的性能表现。最后，将学习如何针对特定的图像分类任务优化设计一个CNN网络模型。
语义分割(Semantic Segmentation)是图像处理和机器视觉一个重要分支，其目标是精确理解图像场景与内容。语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。如下如所示的照片，属于人的像素部分划分成一类，属于摩托车的像素划分成一类，背景像素划分为一类。
本文共18000字，建议阅读18分钟。 本文为你介绍CNN整体系统架构及算法，并为你分享9篇必读论文。
Introduction 卷积神经网络CNN，虽然它听起来就像是生物学、数学和计算机的奇怪混杂产物，但在近些年的机器视觉领域，它是最具影响力的创新结果。随着Alex Krizhevsky开始使用神经网络，将分类错误率由26%降到15%并赢得2012年度ImageNet竞赛（相当于机器视觉界的奥林匹克）时，它就开始声名大噪了。从那时起，一票公司开始在它们的核心服务中使用深度学习技术。例如Facebook用它进行自动的图像标签，google用它做照片检索，amazon用它做产品推荐，Pin
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向持续发力，在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至脑电波分析方面均有突破。
引言 近几年来人工智能越来越火，大家都已经知道了AlphaGo的威力，然而在其背后，从技术层面来说，深度学习功不可没。那么深度学习到底是什么，其与传统的机器学习之间又有什么样的关联。对于想入坑深度学习的同学，又该从哪些方面入手。这就是本文要回答的问题。 深度学习的提出 先从深度学习的提出开始说起，深度学习的概念是由Hinton在2006年提出，他当时首次提出了深度信念网络(DBN)，相比之前，他采用无监督方式逐层训练深层网络，在深层网络训练中取得了跨越式的进展。虽然称为是深度
大数据文摘作品，转载要求见文末 编译 | 璐，高宁，樊恒岩，田奥 简介 卷积神经网络听起来像一个奇怪组合。这个名字涉及了生物学、数学，还有一点计算机科学乱入，但它却是计算机视觉领域最具影响的创新。在2012年，由于Alex Krizhevsky使用神经网络赢得了ImageNet挑战赛的冠军（这个比赛可被看作计算机视觉领域的奥运会），神经网络第一次崭露头角。神经网络把分类误差从26%降低到15%，这在当时是一个令人震惊的进步。 从那以后，大量公司在他们的核心业务中使用深度学习。Facebook把神经网络用在自
传统的CNN都是在图像的「空间域」上进行特征学习，受限于「显存限制」，CNN的输入图像不能太大，最常见的尺寸就是224x224。而常用的预处理(Resize)，以及CNN中的下采样，会比较粗暴的损失数据的信息。阿里达摩院联合亚利桑那州大学提出了基于「DCT变换」的模型，旨在「通过DCT变换保留更多原始图片信息」，并「减少CPU与GPU的通信带宽」，最后的实验也证明该模型的有效性
本文所描述的研究主要关注在线手写体识别系统中的单词识别技术。该在线手写体识别系统使用多组件神经网络(multiple component neural networks, MCNN)作为分类器的可交换部分。作为一种新近的方法，该系统通过将手写文字分割成可单独识别的小片段(通常是字符)来进行识别。于是，识别结果便是每个已识别部分的组合。然后将这些组合词发送给单词识别模块作为输入，以便用一些字典搜索算法来从里面选择最好的一个。所提出的分类器克服了传统的分类器对大量字符类别进行分类时的障碍和困难。此外，所提出的分类器还具有可扩展的能力，可以通过添加或更改组件网络和内置字典的方法来动态地识别另外的字符类别。
轻量级卷积神经网络的spatial inductive biases（ 空间归纳偏置）使他们能够在不同的视觉任务中学习参数较少的表征，然而这些网络在空间上是局部的。反观重量级的基于self-attention的VIT可以学习到全局表征，所以作者等人针对轻量化提出一个问题： 是否有可能结合CNN 和 ViT 的优势，为移动视觉任务建立一个轻量级和低延迟的网络？因此本文提出了一个新的视角：使用基于Transformer的卷积来处理全局信息。精度提升可见下图：
【新智元导读】从AlexNet到ResNet，计算机视觉领域和卷积神经网络（CNN）每一次发展，都伴随着代表性架构取得历史性的成绩。作者回顾计算机视觉和CNN过去5年，总结了他认为不可错过的标志模型。 在这篇文章中，我们将总结计算机视觉和卷积神经网络领域的重要进展，重点介绍过去5年发表的重要论文并讨论它们为什么重要。从 AlexNet 到 ResNet 主要讲基本网络架构的发展，余下则是各领域的重要文章，包括对抗生成网络、生成图像描述模型。 本文结构如下： AlexNet（2012年） ZF Net（201
FCN是基于深度学习的语义分割的开山之作，尽管现在很多方法都超越了FCN，但它的思想仍然有很重要的意义。
图片分类任务我们已经熟悉了，就是算法对其中的对象进行分类。而今天我们要了解构建神经网络的另一个问题，即目标检测问题。这意味着，我们不仅要用算法判断图片中是不是一辆汽车， 还要在图片中标记出它的位置， 用边框或红色方框把汽车圈起来， 这就是目标检测问题。 其中“定位”的意思是判断汽车在图片中的具体位置。
卷积神经网络又称作（ConvNet, CNN），它的出现解决了人工智能图像识别的难题，图像识别数据量大，并且在识别的过程中很难保留原有的信息，因此卷积的作用就体现在这里。比如我们经常说的像素，100W像素，那就是，1000X1000个像素点，同时每个像素点上有3个颜色参数，分别为红、绿、蓝。那么处理一张100w像素的图片，就需要输入300w个参数，这还是100w像素的图片，现在看看自己手机的照片，随便一张都是千万级别的，因此图片数据需要降维。
达观数据深度学习资料之卷积神经网络（下篇） 4.2什么是池化？ 在通过卷积获得特征后进行分类，依然面临计算量大的挑战。及时一张96×96像素的图片，经过400个8×8的卷积核获取特征，每个特征映射图有（96-8+1）×（96-8+1)=7921维特征，总共有400×7921=3768400维特征向量，在此基础上进行分类是一个计算量很大的过程，由此引出了池化操作。 卷积神经网络的一个重要步骤是池化，对输入划分不重叠的矩形，对于每个矩形进行池化函数操作，例如取最大值、取最小值、加权平均等。池化的优势在于（1）
传统的CNN网络只能给出图像的LABLE，但是在很多情况下需要对识别的物体进行分割实现end to end，然后FCN出现了，给物体分割提供了一个非常重要的解决思路，其核心就是卷积与反卷积，所以这里就详细解释卷积与反卷积。
卷积神经网络（CNN）起源于人们对大脑视神经的研究，自从1980年代，CNN就被用于图像识别了。最近几年，得益于算力提高、训练数据大增，以及第11章中介绍过的训练深度网络的技巧，CNN在一些非常复杂的视觉任务上取得了超出人类表现的进步。CNN支撑了图片搜索、无人驾驶汽车、自动视频分类，等等。另外，CNN也不再限于视觉，比如：语音识别和自然语言处理，但这一章只介绍视觉应用。
语义分割是一种学习如何识别图像中对象范围的机器学习技术。语义分割赋予机器学习系统与人类相似的理解图像内容的能力。它促使机器学习算法定位对象的精准边界，无论是街景图像中的汽车和行人，还是医疗图像中的心脏、肝脏和肾脏。
我们知道一般的神经网络几乎能够拟合任意有界函数，万能逼近定理告诉我们如果函数的定义域和值域都是有界的，那么一定存在一个三层神经网络几乎处处逼近,这是普通的nn。但是如果我们回到卷积神经网络，我们会发现我们的输入是一个有界信号（准确的说是满足一定分布的一族有界信号），输出也是一个有界信号，我们需要拟合的是函数族到函数族的一个变换，即存在有界函数和有界函数,其中 本身也是有界的，我们需要的是一个变换 ,这其实是一个泛函，也就是函数的函数，（如果我们把所有分辨率的32x32图像信号当成一族函数（另外，如果使用0延拓或者随机延拓，这个函数可以被当成定义在全空间上的函数），那么边缘提取正是一阶微分算子，它就是一个泛函，在图像中，它几乎是最重要的泛函，它的离散形式是sobel算子，它作用在图像上，得到边缘响应，这也是一族有界函数，响应经过限制后依然有界），
上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念，到80年代，Fukushima在感受野概念的基础之上提出了神经认知机的概念，可以看作是卷积神经网络的第一个实现网络，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。
基于2-channel network的图片相似度判别 原文地址：http://blog.csdn.net/hjimce/article/details/50098483 作者：hjimce 一、相关理论 本篇博文主要讲解2015年CVPR的一篇关于图像相似度计算的文章：《Learning to Compare Image Patches via Convolutional Neural Networks》，本篇文章对经典的算法Siamese Networks 做了改进。学习这篇pape
一般来说，分类问题是计算机视觉模型的基础，它可以延申解决更复杂的视觉问题，例如：目标检测的任务包括检测边界框并对其中的对象进行分类。而分割的任务则是对图像中的每个像素进行分类。
卷积神经网络（CNN）是一种前馈神经网络，通常包含数据输入层、卷积计算层、ReLU激活层、池化层、全连接层（INPUT-CONV-RELU-POOL-FC），是由卷积运算来代替传统矩阵乘法运算的神经网络。CNN常用于图像的数据处理，常用的LenNet-5神经网络模型如下图所示：
解析：正确答案A，更多层意味着网络更深。没有严格的定义多少层的模型才叫深度模型，目前如果有超过2层的隐层，那么也可以及叫做深度模型。
本篇将拆开CNN架构，一探究竟。 基于空间映射的架构 全连接网络架构存在一个“硬”伤：网络中各层神经元的一维排布方式，丢弃了图像的空间结构信息。 以MNIST识别为例，当输入一副28x28的二维图像，
图片分类任务我们已经熟悉了，就是算法对其中的对象进行分类。而今天我们要了解构建神经网络的另一个问题，即目标检测问题。这意味着，我们不仅要用算法判断图片中是不是一辆汽车， 还要在图片中标记出它的位置， 用边框或红色方框把汽车圈起来， 这就是目标检测问题。其中“定位”的意思是判断汽车在图片中的具体位置。
本章将介绍一种与到目前为止所看到的模型稍有不同的模型。 到目前为止提供的所有模型都属于一种称为判别模型的模型。 判别模型旨在找到不同类别之间的界限。 他们对找到P(Y|X)-给定某些输入X的输出Y的概率感兴趣。 这是用于分类的自然概率分布，因为您通常要在给定一些输入X的情况下找到标签Y。
提出了一种用于快速多尺度目标检测的统一深度神经网络，即多尺度CNN (MS-CNN)。MS-CNN由建议子网络和检测子网络组成。在建议子网中，在多个输出层进行检测，使感受野匹配不同尺度的对象。这些互补的尺度特异性探测器被结合起来产生一个强大的多尺度目标探测器。通过优化多任务损失，实现了统一网络的端到端学习。此外，还探讨了反卷积特征上采样作为输入上采样的一种替代方法，以减少内存和计算成本。最先进的目标检测性能，高达15帧每秒，是报告的数据集，如KITTI和Caltech，包含大量的小目标。
Mask R-CNN是基于Faster R-CNN的基于上演进改良而来，FasterR-CNN并不是为了输入输出之间进行像素对齐的目标而设计的，为了弥补这个不足，我们提出了一个简洁非量化的层，名叫RoIAlign，RoIAlign可以保留大致的空间位置，除了这个改进之外，RoIAlign还有一个重大的影响：那就是它能够相对提高10%到50%的掩码精确度（Mask Accuracy），这种改进可以在更严格的定位度量指标下得到更好的度量结果。第二，我们发现分割掩码和类别预测很重要：为此，我们为每个类别分别预测了一个二元掩码。基于以上的改进，我们最后的模型Mask R-CNN的表现超过了之前所有COCO实例分割任务的单个模型，本模型可以在GPU的框架上以200ms的速度运行，在COCO的8-GPU机器上训练需要1到2天的时间。
作者介绍：高扬，奇点大数据创始人。技术畅销书《白话大数据与机器学习》、《白话深度学习与Tensorflow》、《数据科学家养成手册》著书人。重庆工商大学研究生导师。真传X《深度学习实战60小时》金牌讲师。擅长用简单的语言把复杂的技术问题讲明白。
http://www.mamicode.com/info-detail-2314392.html
【导读】主题链路知识是我们专知的核心功能之一，为用户提供AI领域系统性的知识学习服务，一站式学习人工智能的知识，包含人工智能（ 机器学习、自然语言处理、计算机视觉等）、大数据、编程语言、系统架构。使用请访问专知 进行主题搜索查看 - 桌面电脑访问www.zhuanzhi.ai, 手机端访问www.zhuanzhi.ai 或关注微信公众号后台回复" 专知"进入专知，搜索主题查看。值国庆佳节，专知特别推出独家特刊-来自中科院自动化所专知小组博士生huaiwen和Jin创作的-PyTorch教程学习系列, 今日
Mask R-CNN是基于Faster R-CNN的基于上演进改良而来，FasterR-CNN并不是为了输入输出之间进行像素对齐的目标而设计的，为了弥补这个不足，我们提出了一个简洁非量化的层，名叫RoIAlign。
计算机视觉的底层，图像处理，根本上讲是基于一定假设条件下的信号重建。这个重建不是3-D结构重建，是指恢复信号的原始信息，比如去噪声。这本身是一个逆问题，所以没有约束或者假设条件是无解的，比如去噪最常见的假设就是高斯噪声。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
