遥感影像解译,作为数字图像分析的一个重要组成部分,长期以来被广泛应用于国土、测绘、国防、城市、农业、防灾减灾等各个领域。随着机器学习技术的发展,如地表覆盖分类等基于遥感影像的数字图像分析技术也得到了一定程度的发展。但是长期以来,基于遥感影像的应用仍停留在目视解译的阶段,自动化的程度较低。一个重要的原因即遥感影像的机器学习分析方法效率不高,还不足以支撑现有的应用。
香港中文大学,腾讯优图,商汤科技联合发表的一篇用于语义分割的论文。ICNet是一个基于PSPNet的实时语义分割网络,设计目的是减少PSPNet推断时期的耗时,论文对PSPNet做了深入分析,在PSPNet的基础上引入级联特征融合模块,实现快速且高质量的分割模型。论文报告了在Cityscape上的表现。关于PSPNet请看昨天的推文。
论文:ICNet for Real-Time Semantic Segmentation on High-Resolution Images
在机器学习带来的所有颠覆性技术中,计算机视觉领域吸引了业内人士和学术界最大的关注。
semseg用PyTorch实现的语义分割/场景解析开源库。 它可以方便帮助开发者用于各种语义分割数据集的训练和测试。
通过使用金字塔池化模块(Pyramid Pooling Module),在整合基于不同区域的上下文后,PSPNet在效果上超过了FCN、DeepLab和DilatedNet等时下最佳的方法。
从本系列前面的文章我们已经了解到,对于分割任务而言,上下文信息的利用情况对于分割的效果是有明显影响的。这里我们就具体谈谈这个影响的原因。
作者 | BBuf 单位 | 北京鼎汉技术有限公司 算法工程师(CV) 编辑 | 唐里
刚刚推出 1.3 正式版的 PyTorch 风头正劲,人们已经围绕这一深度学习框架开发出了越来越多的工具。最近,一个名为 TorchCV 的计算机视觉模型框架站上了 GitHub 趋势榜。
机器之心专栏 本专栏由机器之心SOTA!模型资源站出品,每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务,并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA!模型资源站(sota.jiqizhixin.com)即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载,共介绍 19 个在图像分割任务上曾取得 SOTA 的经典模型。 第 1 期:FCN、ReSeg、U-Net、ParseNet、DeepMask、S
Image Segmentation(图像分割)网络结构比较 网络名 作者 父辈 生辰 简述 增加的结构 丢弃的结构 优势 劣势 VGG16 FCN的灵感来源 FCN J.Long VGG16 2014 图像分割鼻祖 一个Deconv层(从无到有) 所有fc层 简单 粗糙 DeconvNet H.Noh FCN 2015 Unpooling层(从无到有)、多个Deconv层(层数增加)、fc层(从无到有) SegNet Vijay Badrinarayanan DeconvNet
本次, 由香港中文大学(CUHK)和商汤科技(SenseTime)提出的金字塔场景解析网络(Pyramid Scene Parsing Network, PSPNet)已经过审阅。
场景解析对于无限制的开放词汇和不同场景来说是具有挑战性的。本文使用文中的 pyramid pooling module 实现基于不同区域的上下文集成,提出了PSPNet,实现利用上下文信息的能力来进行场景解析。
for the training, the issues are mainly related to bn layer:
PSPNet 特点: * 场景标注 Scene parsing * 全局内容信息 global context information * different-regionbased context aggregation * pyramid pooling module * 像素级预测 pixellevel prediction tasks
PSPNet – Pyramid Scene Parsing Network 核心模块是金字塔池化模块( pyramid pooling module),它能够聚合不同区域的上下文信息,从而提高获取全局信息的能力。实验表明这样的先验表示(即指代PSP这个结构)是有效的,在多个数据集上展现了优良的效果。
在语义分割里,一些方法会让解码头组件的学习率大于主干网络的学习率,这样可以获得更好的表现或更快的收敛。
Pyramid Scene Parsing Network CVPR2017 语义分割 https://github.com/hszhao/PSPNet
车道线分割由于其在驾驶辅助系统和自动驾驶车辆中的应用,近年来越来越受到关注。此视觉任务旨在定位道路场景图像中的车道。车道的精确位置有利于下游任务,如在车道内定位汽车、车道偏离检测和轨迹规划。
深度学习系列(五)分割网络模型(DeepLab V1、DeepLab V2、PSPNet、DeepLab V3、DeepLab V3+)
本文主要是简述一下本人为了完成极市平台赛事过程中,使用 MMSegmentation 语义分割开源库的心得。
提起ICNET,就不得不说说ICNET构建的初衷-解决图像语义分割在实时应用中的挑战。图像语义分割(semantic segmentation)是结合了图像分类和对象检测,对图像中的每个像素实现细粒度的分类,就像下面的图中看到的那样,可以对封闭形状区域进行类别标记!得益于深度学习技术的爆发式发展,图像语义分割也进入高速的发展阶段。
图像语义分割是目前计算机视觉领域要解决的一个核心问题,属于视觉中场景理解的研究范畴之一,近期受到了越来越多的研究者的关注,现实中许多应用程序需要精确和高效的分割机制:自主驾驶,室内导航,甚至虚拟或增强现实系统等等。在深度学习技术的推动下,各种各样的深度图像分割模型被提出,一些公开的数据集不断地被刷新。本文将简单地回顾下最近几年顶会上的比较经典分割模型。
本系列为 斯坦福CS231n 《深度学习与计算机视觉(Deep Learning for Computer Vision)》的全套学习笔记,对应的课程视频可以在 这里 查看。更多资料获取方式见文末。
图像的语义分割是将输入图像中的每个像素分配一个语义类别,以得到像素化的密集分类。虽然自 2007 年以来,语义分割/场景解析一直是计算机视觉社区的一部分,但与计算机视觉中的其他领域很相似,自 2014 年 Long 等人首次使用全卷积神经网络对自然图像进行端到端分割,语义分割才有了重大突破。
随着电影越来越关注 CGI,电影制作人必须更加擅长「合成」,即将前景和背景图像融合,比如将演员放在飞机或行星上,或者放在电影《黑豹》里瓦坎达这样的虚构世界中。
大多数深度学习和计算机视觉大家庭中的人都知道什么是图像分类:我们想让我们的模型告诉我们,图片中存在的单个物体或场景是什么。分类是一种非常模糊和高层次的任务。
假设您想增加一个新的叫 MyOptimizer 的优化器,它的参数分别为 a, b, 和 c。 您首先需要在一个文件里实现这个新的优化器,例如在 mmseg/core/optimizer/my_optimizer.py 里面:
原文地址:https://meetshah1995.github.io/semantic-segmentation/deep-learning/pytorch/visdom/2017/06/01/semantic-segmentation-over-the-years.html
Fully Convolutional Network(FCN)是神经网络用于图像分割任务的鼻祖,后续提出的大部分基于编解码结构的图像分割网络都是从FCN上发展、改进而来的。
本文的12篇文章总结了当前主流的分割网络及其结构,涵盖从编解码结构到解码器设计;从感受野到多尺度融合;从CNN到RNN与CRF;从2D分割到3D分割;从语义分割到实例分割和全景分割网络,感兴趣的朋友可以仔细研读每一篇文章。
我们整合了模块和继承设计到我们的配置里,这便于做很多实验。如果您想查看配置文件,您可以运行 python tools/print_config.py /PATH/TO/CONFIG 去查看完整的配置文件。您还可以传递参数 --cfg-options xxx.yyy=zzz 去查看更新的配置。
专栏《图像分割模型》正式完结了。在本专栏中,我们从编解码结构入手,讲到解码器设计;从感受野,讲到多尺度融合;从CNN,讲到RNN与CRF;从2D分割,讲到3D分割;从语义分割到实例分割和全景分割。这篇文章我们就一起回顾一下这些网络结构。
本文提出的金字塔池化模块( pyramid pooling module)能够聚合不同区域的上下文信息,从而提高获取全局信息的能力。实验表明这样的先验表示(即指代PSP这个结构)是有效的,在多个数据集上展现了优良的效果。
1612.01105:Pyramid Scene Parsing Network Pyramid Scene Parsing Network(PSPNet),是CVPR2017上关于场景解析的文章。 拿到了2016年ImageNet比赛中场景解析(scene parsing)任务的冠军,当然也常用来做语义分割。 创新点 金字塔池化模块: 通过全局均值池化操作(global average pooling)和特征融合,引入更多的上下文信息(context information), 这样能够避免许多误
建筑设计会经常遇到出夜景效果图的时候,日夜景的效果转换,临摹勾勒、渲染出图、后期加工...工序繁多。除了对制作工具的熟练,更关键的是需依靠经验判断建筑明暗、光影和颜色等在白天和夜晚的不同状态。
欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
王小新 编译自 Qure.ai Blog 量子位 出品 | 公众号 QbitAI 图像语义分割就是机器自动从图像中分割出对象区域,并识别其中的内容。 量子位今天推荐的这篇文章,回顾了深度学习在图像语义
图像分割 (Image Segmentation) 专知荟萃 入门学习 进阶论文 综述 Tutorial 视频教程 代码 Semantic segmentation Instance aware segmentation Satellite images segmentation Video segmentation Autonomous driving Annotation Tools: Datasets 比赛 领域专家 入门学习 A 2017 Guide to Semantic Segmentation
ICNet for Real-Time Semantic Segmentation on High-Resolution Images https://hszhao.github.io/projects/icnet/ https://github.com/hszhao/ICNet
昨日,语义分割算法DFN、BiSeNet 第一作者ycszen开源了TorchSeg项目,基于PyTorch的快速模块化语义分割开源库,复现了DFN, BiSeNet, PSPNet算法。
分享一位52CV粉丝Ellis开发的基于PyTorch的专注于医学图像分割的开源库,其支持模型丰富,方便易用。其可算为torchio的一个实例,作者将其综合起来,包含众多经典算法,实用性比较强。
6 个摄像头和 5 个Velodyne VLP-16 LiDAR 传感器,对车辆周围环境360覆盖。
给大家介绍一篇非常简单又提点效果明显的2020年最新论文,通过GridMask数据增强方法提升模型鲁棒性,在图像分类、检测、分割三个问题上都做了实验,提升效果明显,好于当前SOTA 的autoaugment。
论文地址: https://arxiv.org/pdf/2001.01028.pdf
恰逢 2020年,本文再次更新近期值得关注的最新语义分割论文。这次分享的paper将同步推送到 github上,欢迎大家 star/fork(点击阅读原文,也可直接访问):
项目地址:https://github.com/zhanghang1989/gluoncv-torch
ChainerCV是一个使用Chainer训练和运行神经网络以进行计算机视觉任务的工具集合。
领取专属 10元无门槛券
手把手带您无忧上云