卷积神经网络已经在一些与计算机视觉相关的任务上取得了相当不错的结果，如图像分类和目标检测。这种成功可以用卷积神经元的工作原理来解释：它根据图像的空间属性来突出给定的特征。浅层网络注意是归纳一些形状或者纹理特征;然而，更深层次的网络可以检测出更复杂更抽象的特征，比如整个物体或人脸。如今，从生物识别到疾病检测，很难找到其他没有CNN的计算机视觉技术。
机器之心原创 作者：Angulia 参与：王灏、hustcxy、吴攀 最近，谷歌发布了一种把低分辨率图像复原为高分辨率图像的方法，参见机器之心文章《学界 | 谷歌新论文提出像素递归超分辨率：利用神经网络消灭低分辨率图像马赛克》。与最先进的方法相比，这篇论文提出了一种端到端的框架来完成超分辨率任务。它由两个卷积神经网络组成，一个是描述低分辨率图像骨架的优先网络（prior network），一个是用于优化细节特征的调节网络（conditioning network）。这种方法强调了细节特征恢复上的提升，并以
图像分类是计算机视觉和数字图像处理的一个基本问题。传统的图像分类方法通过人工设计提取图像特征，而基于深度学习的图像分类方法能够自动提取特征，其中卷积神经网络(CNN)近年来取得了惊人的成绩。
对于许多任务来说，收集注释良好的图像数据集来训练现代机器学习算法的成本高得令人望而却步。一个吸引人的替代方案是渲染合成数据，其中地面实况注释是自动生成的。不幸的是，纯基于渲染图像训练的模型往往无法推广到真实图像。为了解决这一缺点，先前的工作引入了无监督的领域自适应算法，该算法试图在两个领域之间映射表示或学习提取领域不变的特征。在这项工作中，我们提出了一种新的方法，以无监督的方式学习像素空间中从一个域到另一个域的转换。我们基于生成对抗性网络（GAN）的模型使源域图像看起来像是从目标域绘制的。我们的方法不仅产生了合理的样本，而且在许多无监督的领域自适应场景中以很大的优势优于最先进的方法。最后，我们证明了适应过程可以推广到训练过程中看不到的目标类。
作者：张延祥，就职于Google北京输入法团队。北航本硕，CSDN知名博主，有多篇CSDN博文流传甚广，对深度学习、自然语言处理和计算机视觉有极大的热忱。 责编：王艺，CSDN AI栏目编辑/记者，目前从事【AI创新者】系列人物访谈，合作及投稿请联系wangyi@csdn.net 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2017年《程序员》 日复一日的人像临摹练习使得画家能够仅凭几个关键特征画出完整的人脸。同样地，我们希望机器能够通过低清图像有限的图像信息，推断出图像对应的高清细节，这
链接 | https://zhuanlan.zhihu.com/p/147885624
在本文中，我们将学习如何使用keras，用手写数字图像数据集（即MNIST）进行深度学习。本文的目的是为了让大家亲身体验并熟悉培训课程中的神经网络部分。
虽然也有一些生成矢量图形的算法，但是在监督训练中，又受限于矢量图数据集有限的质量和规模。
通知：这篇文章有10篇论文速递信息，涉及Re-ID、深度估计、超分辨率、显著性检测、GAN、VOA和卷积神经网络综述等方向 往期回顾 [计算机视觉论文速递] 2018-03-30 TensorFlow和深度学习入门教程 你现在应该阅读的7本最好的深度学习书籍 Re-ID [1]《Pose-Driven Deep Models for Person Re-Identification》 Abstract：行人重识别（re-id）是识别和匹配不重叠视图的摄像机记录的不同位置人员的任务。re-id的主要挑
本文针对MLP-Mixer等已有方案存在的分辨率相关、不便于向下游任务迁移的问题，提出了一种新颖的CycleFC操作，并由此构建了CycleMLP架构。本文非常漂亮的一个操作：通过对ChannelFC的采样点引入更高感受野升级为CycleFC，提升感受野的同时保持计算量不变。 >>加入极市CV技术交流群，走在计算机视觉的最前沿
因为之前写的系列文章反应不是特别好，所以还是决定把一些复杂的东西简单化（尽量不写系列文章了），所以本篇文章将会完成所有的内容。
作者 | Ryan Dahl 去年，在我研究TensorFlow出了一番成果后，我开始申请Google Brain的首届见习项目（Google Brain Residency Program），最后居然成功了。受邀参加该项目的共有24人，每个人都有着不同的机器学习背景。 我们24个人，需要在Google位于山景城的深度学习研究实验室工作一年，每天跟Google的科学家和工程师们一起，共同来做TensorFlow的前沿研究。想想就把我给兴奋坏了。 如今，这个为期一年的项目已经结束了，确实收获满满。我也希望
本文是Nodejs之父Ryan Dahl在Google Brain做了一年深度学习后的心得体会，他在那里的目标是用机器学习将卓别林的老电影自动修改到4K画质。他的新项目成果几何？Nodejs之父的机器学习心得又是什么呢？ 鉴于Ryan Dahl在编程界的地位，小编觉得很有必要再给大家推送一次，更重要的是小编惦记那些错过本文的小伙伴儿~~ 作者 | Ryan Dahl 编译 | AI100 去年，在研究TensorFlow做出一番成果后，我开始申请Google Brain的首届见习项目，最后竟然成功了。受
相信大家都或多或少的熟悉一些检测器，不知道你是否思考过这样一个问题？FPN的多特征图融合方式一定是最好的吗？如果你看过【CV中的特征金字塔】一，工程价值极大的ASFF这篇论文的话，你应该知道这篇论文的出发点就是如何对不同尺度的特征做自适应特征融合（感觉也可以叫作FPN+Attention），而非【CV中的特征金字塔】二，Feature Pyramid Network那样较为暴力的叠加（不知道这个说法是否稳妥，有意见欢迎来提）。而今天要介绍的这个SNIP（「An Analysis of Scale Invariance in Object Detection – SNIP」）算法，是CVPR 2018的文章，它的效果比同期的目标检测算法之CVPR 2018 Cascade R-CNN效果还好一些。为什么说这个算法是另辟蹊径呢？因为这个算法从COCO数据集开始分析，作者认为目标检测算法的难点在于「数据集中目标的尺寸分布比较大，尤其对小目标的检测效果不太好」，然后提出了本文的SNIP算法。
从前一层的数据中取K个候选点(p1,p2,...pK)，使用MLP(多层感知器)来学习一个K×K 的变换矩阵（X-transformation，X变换）也就是说X=MLP(p1,p2,...pK)，然后用它同时对输入特征进行加权和置换，最后对经过变换的特征应用典型卷积。我们称这个过程为X-Conv，它是PointCNN的基本构建模块。
子豪 发自 凹非寺 量子位 报道 | 公众号 QbitAI 说起图像生成算法，大家也许并不陌生。 不过，大多数算法都针对栅格图像，也就是位图，而不支持矢量图。 虽然也有一些生成矢量图形的算法，但是在监督训练中，又受限于矢量图数据集有限的质量和规模。 为此，来自伦敦大学学院和Adobe Research的研究人员提出了一个新方法——Im2Vec，只需利用栅格训练图像进行间接监督，就可以生成复杂的矢量图形。 △Im2Vec的插值效果 原理架构 为建立无需向量监督的矢量图形生成模型，研究人员使用了可微的栅
噪声点处理：对原点周围的八个点进行扫描，比较。当该点像素值与周围8个点的值小于N时，此点为噪点 。
训练深度视频模型比训练其对应图像模型慢一个数量级。训练慢导致研究周期长，阻碍了视频理解研究的进展。按照训练图像模型的标准做法，视频模型训练使用了固定的mini-batch形状，即固定数量的片段，帧和空间大小。
Transformer在计算机视觉领域迅速普及，特别是在目标识别和检测领域。在检查最先进的目标检测方法的结果时，我们注意到，在几乎每个视频或图像数据集中，transformer始终优于完善的基于cnn的检测器。虽然基于transformer的方法仍然处于小目标检测（SOD）技术的前沿，但本文旨在探索如此广泛的网络所提供的性能效益，并确定其SOD优势的潜在原因。小目标由于其低可见性，已被确定为检测框架中最具挑战性的目标类型之一。论文的目的是研究可以提高transformer在SOD中的性能的潜在策略。本调查对跨越2020年至2023年的60多个针对SOD任务开发的transformer的研究进行了分类。这些研究包括各种检测应用，包括在通用图像、航空图像、医学图像、主动毫米图像、水下图像和视频中的小目标检测。论文还编制并提供了12个适合SOD的大规模数据集，这些数据集在以前的研究中被忽视了，并使用流行的指标如平均平均精度（mAP）、每秒帧（FPS）、参数数量等来比较回顾研究的性能。
多尺度训练YOLOv2；权衡速度和准确率，运行在不同大小图像上。YOLOv2测试VOC 2007 数据集：67FPS时，76.8mAP；40FPS时，78.6mAP。
轻量级卷积神经网络(CNN)是移动视觉任务的实际应用。他们的空间归纳偏差允许他们在不同的视觉任务中以较少的参数学习表征。然而，这些网络在空间上是局部的。为了学习全局表征，采用了基于自注意力的Vision Transformer(ViTs)。与CNN不同，ViT是heavy-weight。
为了解决这些问题，作者提出了YOLC（You Only Look Clusters），这是一个高效且有效的框架，建立在 Anchor-Free 点目标检测器CenterNet之上。为了克服大规模图像和不均匀物体分布带来的挑战，作者引入了一个局部尺度模块（LSM），该模块自适应搜索聚类区域进行放大以实现精确检测。 此外，作者使用高斯Wasserstein距离（GWD）修改回归损失，以获得高质量的边界框。在检测Head中采用了可变形卷积和细化方法，以增强小物体的检测。作者在两个空中图像数据集上进行了大量实验，包括Visdrone2019和UAVDT，以证明YOLC的有效性和优越性。
虽然这里说的都是图像，但其实视频也属于计算机视觉的研究对象，所以还有视频分类、检测、生成，以及追踪，但篇幅的关系，以及目前研究工作方向也集中于图像，暂时就不介绍视频方面应用的内容。
表格检测识别一般分为三个子任务：表格区域检测、表格结构识别和表格内容识别。本章将围绕这三个表格识别子任务，从传统方法、深度学习方法等方面，综述该领域国内国外的发展历史和最新进展，并提供几个先进的模型方法。
生成对抗网络 (Generative Adversarial Networks, GANs) 在过去几年中被广泛地研究，其在图像生成、图像转换和超分辨率等领域取得了显著的进步。到目前为止，已经提出了大量基于GANs的相关工作和综述。本文基于柏林圣三一大学计算机科学与统计学院的王正蔚博士与字节跳动AI实验室联合发表的一篇综述[1]为基础，详细的解读GANs的来龙去脉，同时为大家介绍近期一些相关工作，中间也会穿插一些笔者的见解。最后，本文也将列出一些可探索的未来研究方向，希望能给予读者一些启发。
预训练模型能否在视觉任务上复刻在自然语言任务中的成功？华为诺亚方舟实验室联合北京大学、悉尼大学、鹏城实验室提出底层视觉 Transformer，使用 ImageNet 预训练，在多项视觉任务上达到 SOTA。
论文: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
近年来，目标检测取得了显著进展，尤其是随着深度学习的快速发展。目标检测器（如Faster R-CNN，YOLO，和SSD）在自然图像数据集（如MS COCO，Pascal VOC）上取得了卓越成果。然而，它们在航拍图像上的表现，在准确性和效率方面尚未达到满意水平。
大概介绍下：MNIST数字分类项目旨在使用机器学习技术来构建一个模型，能够自动识别手写数字的图像。这个项目是一个经典的图像分类任务，常用于入门级机器学习和深度学习示例。我们会使用MNIST数据集，这个数据集包含了一系列28x28像素的手写数字图像，从0到9。项目的目标是训练一个模型，能够准确地将这些手写数字图像分类到正确的数字标签。
之前通过三篇文章简单介绍了机器学习常用的几种经典算法，当然也包括了目前很火的 CNNs 算法了：
在韩国首尔举办的ICCV 2019会议上，SinGAN: Learning a Generative Model from a Single Natural Image获得最佳论文奖，作者来自以色列理工学院（Technion）和谷歌（Google）。
最近已作出大量努力，提出光学遥感图像中的各种目标检测方法。然而，目前对光学遥感图像中目标检测的数据集调查和基于深度学习的方法还不够完善。此外，现有的数据集大多存在一些不足之处，如图像和目标类别数量较少，图像多样性和变异性不足。这些局限性极大地影响了基于深度学习的目标检测方法的发展。本文综述了近年来计算机视觉和地球观测领域基于深度学习的目标检测研究进展。然后，我们提出了一个大规模、公开可用的光学遥感图像目标检测基准，我们将其命名为DIOR。数据集包含23463张图像和190288个实例，覆盖20个目标类。建议的DIOR数据集1)在目标类别、目标实例数量和总图像数量上都是大规模的;2)具有大范围的对象尺寸变化，不仅在空间分辨率方面，而且在跨目标的类间和类内尺寸变化方面;3)由于成像条件、天气、季节、成像质量的不同，成像结果差异较大;4)具有较高的类间相似性和类内多样性。提出的基准可以帮助研究人员开发和验证他们的数据驱动方法。最后，我们评估了DIOR数据集中的几种最先进的方法，为未来的研究奠定了基础。
在本文中，作者提出了一种新的结构，称为卷积视觉Transformer（CvT） ，它通过在ViT中引入卷积来提高视觉Transformer（ViT）的性能和效率。这是通过两个主要修改来实现的：包含卷积token嵌入的Transformer层次结构 ，以及利用卷积投影的卷积Transformer 。
虽然最近基于proposal的CNN模型在目标检测方面取得了成功，但是由于小兴趣区域(small region of interest, RoI)所包含的信息有限且失真，小目标的检测仍然比较困难。解决这一问题的一种方法是使用超分辨率(SR)技术来增强小型roi的特性。我们研究如何提高级的超分辨率特别是对小目标检测,并发现它的性能可以显著提高了(我)利用适当的高分辨率目标特性作为SR的训练监督信号模型和(2)匹配输入的相对接受训练领域对低分辨率的特性和目标高分辨率特性。我们提出了一种新颖的特征级超分辨率方法，它不仅能正确地解决这两个问题，而且可以与任何基于特征池的检测器集成。在我们的实验中，我们的方法显著提高了Faster R-CNN在清华-腾讯100K、PASCAL VOC和MS COCO三个基准上的性能。对于小目标的改进是非常大的，令人鼓舞的是，对于中、大目标的改进也不是微不足道的。因此，我们在清华-腾讯100K上取得了最新的技术水平，在PASCAL VOC和MS COCO上取得了极具竞争力的成绩。
本文将为大家介绍来自西交利浦大学、澳大利亚科学与工业研究院矿物研究所以及利物浦大学联合提出的最新工作Samba，这是一种基于状态空间模型的遥感图像语义分割方法。该工作提出了高分辨率遥感图像的语义分割框架 Samba，性能指标均超越了CNN-based和ViT-based方法，证明了Mamba在遥感高分图像中作为新一代backbone的潜力，为遥感语义分割任务提供了 mamba-based 方法的表现基准。值得一提的是，Samba是第一个将状态空间模型（SSM）运用到遥感图像语义分割任务中的工作，代码已开源，欢迎关注。
近年来，深度学习在计算机视觉各个领域中的应用成效显著，新的深度学习方法和深度神经网络模型不断涌现，算法性能被不断刷新。
最近基于深度学习的显著目标检测方法取得了出色的性能。然而现有的大多数方法多事基于低分辨率输入设计的，这些模型在高分辨率图片上的表现不尽人意，这是由于网络的采样深度和感受野范围之间的矛盾所导致的。
该论文指出识别每张图片所需要的最小分辨率是不同的，而现有方法并没有充分挖掘输入分辨率的冗余性，也就是说输入图片的分辨率不应该是固定的。论文进一步提出了一种动态分辨率网络 DRNet，其分辨率根据输入样本的内容动态决定。一个计算量可以忽略的分辨率预测器和我们所需要的图片分类网络一起优化训练。在推理过程中，每个输入分类网络的图像将被调整到分辨率预测器所预测的分辨率，以最大限度地减少整体计算负担。
计算机视觉最具影响力的学术会议之一的 CVPR 将于 2018 年 6 月 18 日 - 22 日在美国盐湖城召开举行。据 CVPR 官网显示，今年大会有超过 3300 篇论文投稿，其中录取 979 篇；相比去年 783 篇论文，今年增长了近 25%。本次将介绍 CVPR 2018部分论文的简单笔记。
研究者提出了YOLO-S，一个简单、快速、高效的网络。它利用了一个小的特征提取器，以及通过旁路和级联的跳过连接，以及一个重塑直通层来促进跨网络的特征重用，并将低级位置信息与更有意义的高级信息相结合。
我们训练了一个大型的深度卷积神经网络，将ImageNet lsvprc -2010竞赛中的120万幅高分辨率图像分成1000个不同的类。在测试数据上，我们实现了top-1名的错误率为37.5%，top-5名的错误率为17.0%，大大优于之前的水平。该神经网络有6000万个参数和65万个神经元，由5个卷积层和3个完全连接的层组成，其中一些卷积层之后是最大汇聚层，最后是1000路softmax。为了使训练更快，我们使用了非饱和神经元和一个非常高效的GPU实现卷积运算。为了减少全连通层的过拟合，我们采用了最近开发的正则化方法“dropout”，该方法被证明是非常有效的。在ILSVRC-2012比赛中，我们也加入了该模型的一个变体，并获得了15.3%的前5名测试错误率，而第二名获得了26.2%的错误率。
图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。虽然自 2007 年以来，语义分割/场景解析一直是计算机视觉社区的一部分，但与计算机视觉中的其他领域很相似，自 2014 年 Long 等人首次使用全卷积神经网络对自然图像进行端到端分割，语义分割才有了重大突破。
相对于YOLOv1，改进后的v2版使用一种新的、多尺度的训练方法，相同的YOLOv2模型可以在不同的尺寸运行，在速度和准确性之间达到简单的折中。这个模型由于可以对9000类目标进行分类，因此称为YOLO9000，但是依然能实时的运行。文章的最后提出了一种联合训练目标检测与分类的方法。这种方法同时在COCO检测数据集和ImageNet分类数据集同时训练YOLO9000。这种联合训练可使YOLO9000预测没有标记检测数据的对象。
大数据文摘作品 编译：王一丁、于乐源、Aileen 本文作者Ryan Daul是Node.js的创始人，应该算是软件工程领域当之无愧的大犇了。他和我们分享了自己在谷歌大脑见习项目一年中的工作，成果，失败和思考。 去年，在通过对TensorFlow的研究得出一点点心得之后，我申请并入选了谷歌大脑举办的的首届见习项目（Google Brain Residency Program）。该项目共邀请了24名在机器学习领域有着不同背景的人士，受邀者将在为期一年的时间里和Google的科学家及工程师们在位于山景城的Goo
code:https://github.com/google-research/vision_transformer(暂未开源)
选自arXiv 机器之心编译 参与：李舒阳、许迪 通过类比平面CNN，本文提出一种称之为球面CNN的神经网络，用于检测球面图像上任意旋转的局部模式；本文还展示了球面 CNN 在三维模型识别和雾化能量回归问题中的计算效率、数值精度和有效性。 1 引言 卷积神经网络（CNN）可以检测出图像任意位置的局部模式。与平面图像相似，球面图像的局部模式也可以移动，但这里的「移动」是指三维旋转而非平移。类比平面 CNN，我们希望构造一个神经网络，用于检测球面图像上任意旋转的局部模式。 如图 1 所示，平移卷积或互相关的方法
来源：DeepHub IMBA本文约1800字，建议阅读5分钟本文将介绍CNN 如何用于单图像超分辨率（SISR）。 本文提供了与SRCNN论文的总结和回顾，如果你对于图像的超分辨率感兴趣，一定要先阅读这篇论文，他可以说是所有基于深度学习的超分辨率模型的鼻祖。 卷积神经网络通常用于分类，目标检测，图像分割等与某些与图像有关的问题中。 在本文中，将介绍CNN 如何用于单图像超分辨率（SISR）。这有助于解决与计算机视觉相关的各种其他问题。在CNN出现之前，传统的方法是使用最近邻插值、双线性或双三次插值等上采
小物体（即32×32像素以下的物体）的物体检测精度落后于大物体。为了解决这个问题，我们设计了创新的体系结构，并发布了新的数据集。尽管如此，许多数据集中的小目标数量不足以进行训练。生成对抗性网络（GAN）的出现为训练体系结构开辟了一种新的数据增强可能性，而无需为小目标注释巨大数据集这一昂贵的任务。 在本文中，我们提出了一种用于小目标检测的数据增强的完整流程，该流程将基于GAN的目标生成器与目标分割、图像修复和图像混合技术相结合，以实现高质量的合成数据。我们的流水线的主要组件是DS-GAN，这是一种基于GAN的新型架构，可以从较大的对象生成逼真的小对象。实验结果表明，我们的整体数据增强方法将最先进模型的性能提高了11.9%AP@。在UAVDT上5 s和4.7%AP@。iSAID上的5s，无论是对于小目标子集还是对于训练实例数量有限的场景。
【磐创AI导读】：本文介绍了新的手写数字数据集Kannada-MNIST，并与经典的MINI进行了比较。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
