AI科技评论按:每天,谷歌地图都为成千上百万的人们提供方位指示,实时路况信息以及商业信息。为了提供最佳的用户体验,地图信息需要不断的根据现实世界的变化做出调整。街景车每天收集数百万张图片,如果用人工分析每天超过800亿张高清晰图片来找出其中的新变化或者更新地图信息,显然是不可能的。因此,谷歌地面实况团队(Ground Truth team)的目标之一,就是从地理位置图像自动提取信息来升级谷歌地图。 在“从街景图像中提取基于注意机制的结构化信息”(Attention-based Extraction of S
http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/3013.pdf
遥感图像处理是数字图像处理技术中的一个重要组成部分,长期以来被广泛应用于农林业的遥感测绘,防灾减灾等领域。本文旨在通过深度学习技术从遥感影像中分类出农田和林业地块。手工从遥感图像中分类出农田和林业区域分类虽然准确但是效率低下,并且很多采用传统图像分割技术的方法泛化性能差,不适合场景复杂的遥感图像。经实践证明,使用深度学习技术在各种计算机视觉任务中都取得了良好的效果,因此本文首先使用先进的深度学习框架进行分类实验,例如使用PSPNet,UNet等作为分割网络对遥感图像数据集进行分类与分割训练。这些框架在ImageNet,COCO,VOC等数据集上表现很好,但是由于遥感图像数据集相对于ImageNet,COCO等数据集,不仅检测对象相对较小而且可供学习的数据集样本较少,需要针对这一特点进行优化。本文经过多次实验将高分辨率的图像切割成合适大小分辨率的图像以减小神经网络的输入,同时进行图片的预处理和数据增强来丰富学习样本。同时在真实情况下,农林区域易受到拍摄视角,光照等造成分割对象重叠,因此本文提出一种处理分割对象重叠的处理策略,来优化边界预测不准确的情况,使用该方法后准确率有明显提升。经实验证明,本文所提出的基于深度学习的农林业遥感影像分割在开源遥感图像数据集上的取得了94.08%的准确率,具有较高的研究价值 农林业遥感图像数据(图1)对于许多与农林业相关的应用至关重要。例如作物类型和产量监测,防灾减灾以及对粮食安全工作的研究和决策支持。最初,这些数据主要由政府机构使用。如今,蓬勃发展的农林业技术也需要在农场管理,产量预测和林业规划等各种应用领域进行革新。以往农林业地块的高质量遥感图像数据主要是手动在高分辨率图像中分割出来的,即通过土地功能不同引起的颜色,亮度或纹理的差异与周围区域 亮度或纹理的差异与周围区域区分开来。尽管农林业遥感图像的手动分类可以非常准确,但是非常耗时耗力。 图1.1:农田的遥感图像分割 定期更新农林业遥感图像数据的需求日益增加扩大了自动化分割农林业遥感图像的需求。 与ImageNet、VOC2007、COCO等目标检测/分类数据集中的大多数图像相比,农林业遥感图像中的对象相对简单。例如,人体的图像数据看起来要复杂得多,因为它包含各种不同纹理和形状的子对象(面部,手部,衣服等)。因此,优化传统的图像分割以及深度学习技术来设计用于农林业遥感图像分割的算法是非常重要的。该模型需要正确地排除不需要进行分割的对象(房屋,工厂,停车场等),区分具有几乎相似的光谱特性的相邻区域和可见度差的边界区域,并且正确地分割出所需的对象。 1.2 选题来源与经费支持 本研究课题来源于计算机与信息工程学院 随着传感器技术,航空航天技术,图像处理技术快速的发展,利用卫星遥感图像进行深度学习处理广泛应用于生产实际中。由于农林业遥感图像场景复杂,使用传统图像处理分割算法效果差且泛化性能弱,本文使用深度学习方法,在现有的的深度学习模型上训练,优化,最终提出一种一种优化后的深度学习模型,经测试,该模型在收集的农林业遥感图像数据集上可以准确的分割出所需的对象,本文提出的模型主要解决如下几个难点:
达芬奇曾创作的绘画展示了意大利某些地区的鸟瞰图,其细节水平在摄影和飞行机器发明之前是不可能实现的。实际上,许多评论家都想知道他如何想象这些细节。但现在研究人员正在研究逆向问题:给定地球表面的卫星图像,该区域从地面看起来是什么样的?这样一个人造图像有多清楚?
大数据文摘作品,转载要求见文末 翻译 | 姜范波 Aileen 导读: 2014年,还在谷歌做暑期实习生的Ian Goodfellow开发实施了阅读街景图中路标的数字的方法。如今,新的一群谷歌实习生借助深度学习和TPU的强大运算能力完善了大神当年的算法。 新的机器学习框架下,谷歌地图可以准确识别超过800亿战的街景视图图片中的文字, 为十多亿谷歌地图用户创造更好的体验。后台回复“谷歌”下载论文全文。 Ian Goodfellow自己也发推特支持谷歌地图新算法,缅怀当年自己做实习生的创作 识别并提取图片有效信
图像边缘的无监督学习 摘要 数据驱动方法在边缘检测领域已被证明是有效的,且在最近的基准测试中取得了顶尖的成绩。然而,目前所有数据驱动的边缘检测都要求以手工标注区域分割或对象边界的方式对训练过程进行监督。特别是,人类标注者会标记出那些语义上有意义的边缘,然后将这些边缘用于训练。对于学习准确检测边缘来说,这种强的高水平监督真的必要吗?在本文中我们展示了一种简单但有效的无监督训练边缘检测的方法。为此我们利用了图像运动来进行。更特别地的是我们的方法唯一输入是帧之间的嘈杂半稠密匹配。我们从对边缘的(图像梯度)初步知识
利用结构化场景图生成图像,能够明确解析对象与对象之间关系,并可生成具有多个可识别对象的复杂图像。 AI 科技评论按:近日,李飞飞的学生 Justin Johnson 在 arXiv 上传了一篇论文:I
位置感知位于定位服务(LBS)的核心位置。然而,准确地估计目标的位置并不那么简单。全球定位系统(GPS),可以直接输出地理空间坐标,但它的错误可能远远超出了某些应用的容许度。在GPS定位区域,可以通过惯性测量单元(imu)和照相机等传感器提供的原始数据间接推断出位置。通常,数据,无论是直接测量地理空间坐标还是推断位置,都必须经过相当费力的人工数据处理管道,才能被高水平的LBS所消耗。本文回顾了最近两项关于将深度学习模型引入位置感知计算的尝试,有效地减少了专家的参与。 一、目标跟踪通过部分可观察的随机过程 h
作者:石文华 编辑:祝鑫泉 前 言 文章来源:https://hackernoon.com/latest-deep-learning-ocr-with-ker
论文题目:SilhoNet:An RGB Method for 3D Object Pose Estimation and Grasp Planning
能够感知手的形状和运动,这是改善各种技术领域和平台的用户体验的重要组成部分。例如,它可以形成手语理解和手势控制的基础,并且还可以在增强现实中实现物理世界之上的数字内容和信息的叠加。虽然对人们来说很自然,强大的实时手感是一项极具挑战性的计算机视觉任务,因为手经常遮挡自己或彼此(例如手指/手掌闭塞和手抖)并且缺乏高对比度模式。
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文地址:https://arxiv.org/pdf/2104.11892.pdf 计算机视觉研究院专栏 作者:Edison_G 目标检测是对图像或视频中的目标进行分类和定位的任务。 由于其广泛的应用,近年来它已获得突出地位。 01 概述 今天分享中我们调查了基于深度学习的目标检测器的最新发展。还提供了检测中使用的基准数据集和评估指标的简明概述,以及检测任务中使用的一些突出的
抓取物体堆叠和重叠场景中的特定目标是实现机器人抓取的必要和具有挑战性的任务。在本文中,我们提出了一种基于感兴趣区域(RoI)的机器人抓取检测算法,以同时检测目标及其在物体重叠场景中的抓取。我们提出的算法使用感兴趣区域(RoIs)来检测目标的分类和位置回归。为了训练网络,我们提供了比Cornell Grasp Dataset更大的多对象抓取数据集,该数据集基于Visual Manipulation Relationship Dataset。实验结果表明,我们的算法在1FPPI时达到24.9%的失误率,在抓取我们的数据集时达到68.2%的mAP。机器人实验表明,我们提出的算法可以帮助机器人以84%的成功率掌握多物体场景中的特定目标。
R-CNN系列论文是使用深度学习进行物体检测的鼻祖论文,其中fast-RCNN 以及faster-RCNN都是沿袭R-CNN的思路。R-CNN全称region with CNN features,其实它的名字就是一个很好的解释。用CNN提取出Region Proposals中的featues,然后进行SVM分类与bbox的回归
计算机视觉中最基本和最广泛研究的挑战之一是目标检测。该任务旨在在给定图像中绘制多个对象边界框,这在包括自动驾驶在内的许多领域非常重要。通常,这些目标检测算法可以分为两类:单阶段模型和多阶段模型。在这篇文章中,我们将通过回顾该领域一些最重要的论文,深入探讨用于对象检测的多阶段管道的关键见解。
在这篇文章中,将从CVPR 2019回顾论文“Pose2Seg:Detection Free Human Instance Segmentation”。本文提出了一种人类实例分割的新方法,该方法基于人体姿势而不是提议区域检测来分离实例。
随着最近半监督目标检测(SS-OD)技术的发展,目标检测器可以通过使用有限的标记数据和丰富的未标记数据来改进。然而,仍有两个挑战没有解决:(1)在无锚检测器上没有先期的SS-OD工作,(2)在伪标签边界框回归时,先期工作是无效的。在本文中,我们提出了Unbiased Teacher v2,它显示了SS-OD方法在无锚检测器上的通用性,同时也为无监督回归损失引入了Listen2Student机制。特别是,我们首先提出了一项研究,检查现有的SS-OD方法在无锚检测器上的有效性,发现它们在半监督环境下取得的性能改进要低得多。我们还观察到,在半监督环境下,无锚检测器中使用的带 centerness 的框选择和基于定位的标签不能很好地工作。另一方面,我们的Listen2Student机制明确地防止在训练边界框回归时出现误导性的伪标签。边界框回归的训练中明确防止误导性的伪标签;我们特别开发了一种新的伪标签选择机制,该机制基于教师和学生的相对不确定性。和学生的相对不确定性为基础的新型伪标签选择机制。这一想法有助于在半监督环境下对回归分支进行了有利的改进。我们的方法,既适用于我们的方法适用于无锚和基于锚的方法,在VOC、 COCO-standard和COCO-additional中一直优于最先进的方法。
作者:神经星星 来源:HyperAI超神经 场景描述:连续多日的暴雨给郑州和河南部分城市,带来了严重的洪涝灾害,牵动了全国人民的心。灾难面前,现阶段的科技和具体解决方案,也能发挥出关键作用。 关键词:自然灾害 、遥感影像、 图像识别 从 7 月 18 日到今天,河南出现罕见持续强降水天气过程,其中郑州成为降雨量最大的地级市。全市普降大暴雨、特大暴雨,累积平均降水量449毫米,日降水量和小时降水量,都超过了有气象记录以来极值,让全国人民都为之关注与担忧。 其中,仅郑州大学第一附属医院,因贵重设备、精密仪器如
春节后第一个休息日,量子位给大家准备了一个不一样的故事。 在这个故事里,主人公David Brailovsky(就叫阿D吧)参加了一场计算机视觉比赛。这个挑战赛要求基于卷积神经网络(CNN),做出一个识别红绿灯的人工智能应用模型。 于是阿D花了10周的时间,从0开始,一点一滴摸索着,搭建、调试、训练和一个深度学习系统。而且还在最后的比赛中一举夺魁,赢了5000美元。 主人公把这个有点逆袭的过程,原原本本的写了下来。量子位也希望对人工智能感兴趣的朋友仔细看一看。不用担心,并不是AI专家才能理解这篇文章。
计算机视觉,到目前为止都是深度学习。并且大部分成功理解图片含义的案例都是使用神经网络。
文章:SemanticSLAM: Learning based Semantic Map Construction and Robust Camera Localization
这篇论文主要还是在于深度估计这块,深度估计由于硬件设备的不同是有很多方法的,双目,RGBD,激光雷达,单目,其中最难大概就是单目了。在该论文中作者利用BA导出的信息矩阵来估计深度和深度的不确定性,利用深度的不确定性对3D体积重建进行加权三维重建,在精度和实时性方面都得到了不错的结果,值得关注。
预测安全的无碰撞轨迹是阻碍自动驾驶汽车在公共道路上全面普及的最大挑战。虽然利用机器学习方法最近在自动驾驶运动预测方面取得了一些进展,但该领域仍处于早期阶段,需要进一步开发更有效的方法以准确地估计周围物体的未来状态。
文章:LiDAR-based curb detection for ground truth annotation in automated driving validation
图像质量和美学的量化一直是图像处理和计算机视觉的一个长期存在的问题。虽然技术质量评估涉及到测量像素级的退化,如噪声、模糊、压缩失真等,但美学评估捕获了图像中与情绪和美感相关的语义层次特征。最近,用人工标记数据训练的深层卷积神经网络(CNNs)被用来处理特定类图片的图像质量的主观性质,例如景观。但是,这些方法在其范围内是有限的,因为它们通常将图像分类为低质量和高质量两个类。我们的方法预测了评级的分布。这将导致更准确的质量预测,其与地面实况的相关性更高,适用于一般图像。 在“NIMA:神经图像评估”中,我们引入
想必大家之前都做过抠图或者图片任务提取等任务,这有点想目前我们手机当中可以直接点击图片,然后将其复制到其它地方,就会自动出现这个任务图像一样。这里我们可以直接登录这个网站去尝试一下这个图像分割的魅力Segment Anything | Meta AI
论文地址:https://arxiv.org/pdf/1501.04587.pdf
怎么样,是不是体会到飞鸟的快乐了?但你能想象吗,这些景观视频全部都是计算机合成的!
深度学习技术使最先进的模型得以出现,以解决对象检测任务。然而,这些技术是数据驱动的,将准确性委托给训练数据集,训练数据集必须与目标任务中的图像相似。数据集的获取涉及注释图像,这是一个艰巨而昂贵的过程,通常需要时间和手动操作。因此,当应用程序的目标域没有可用的注释数据集时,就会出现一个具有挑战性的场景,使得在这种情况下的任务依赖于不同域的训练数据集。共享这个问题,物体检测是自动驾驶汽车的一项重要任务,在自动驾驶汽车中,大量的驾驶场景产生了几个应用领域,需要为训练过程提供注释数据。在这项工作中,提出了一种使用来自源域(白天图像)的注释数据训练汽车检测系统的方法,而不需要目标域(夜间图像)的图像注释。 为此,探索了一个基于生成对抗网络(GANs)的模型,以实现生成具有相应注释的人工数据集。人工数据集(假数据集)是将图像从白天时域转换到晚上时域而创建的。伪数据集仅包括目标域的注释图像(夜间图像),然后用于训练汽车检测器模型。实验结果表明,所提出的方法实现了显著和一致的改进,包括与仅使用可用注释数据(即日图像)的训练相比,检测性能提高了10%以上。
一个光场显著性分析基准数据集,名为HFUT Lytro,由255个光场组成,每个光场图像生成的图像范围从53到64个,其中跨越了多个显著性检测挑战,如遮挡、杂乱背景和外观变化。
这篇文章为大家解读由密歇根大学 Hei Law 团队在 ECCV 2018发布的论文,一种新的目标检测算法。
最近用于对象检测的深度学习方法依赖于大量的边界框注释。收集这些注释既费力又昂贵,但当对来自不同分布的图像进行测试时,监督模型并不能很好地推广。领域自适应通过使现有标签适应目标测试数据来提供解决方案。然而,领域之间的巨大差距可能会使适应成为一项具有挑战性的任务,从而导致不稳定的训练过程和次优结果。在本文中,我们建议用一个中间域来弥合领域差距,并逐步解决更容易的适应子任务。该中间域是通过平移源图像以模仿目标域中的图像来构建的。为了解决领域转移问题,我们采用对抗性学习来在特征级别对齐分布。此外,应用加权任务损失来处理中间域中的不平衡图像质量。 实验结果表明,我们的方法在目标域上的性能优于最先进的方法。
预测语义分割等结构化输出依赖于昂贵的每像素注释来学习卷积神经网络等监督模型。然而,在没有模型调整注释的情况下,在一个数据域上训练的模型可能无法很好地推广到其他域。为了避免注释的劳动密集型过程,我们开发了一种域自适应方法,将源数据自适应到未标记的目标域。我们建议通过构建聚类空间来发现逐片输出分布的多种模式,从而学习源域中补丁的判别特征表示。以这种表示为指导,我们使用对抗性学习方案来推动聚类空间中目标补丁的特征表示更接近源补丁的分布。此外,我们还表明,我们的框架是对现有领域自适应技术的补充,并在语义分割方面实现了一致的改进。广泛的消融和结果在各种设置的众多基准数据集上进行了演示,例如合成到真实和跨城市场景。
大多数3D重建方法可能仅恢复高达全局尺度模糊度的场景属性。我们提出了一种新的单视图度量方法,该方法可以仅使用在无约束条件下获取的单眼图像来恢复由物体的3D高度或地面以上的相机高度以及相机的方向和视野参数表示的场景的绝对比例。
由于未知的降雨模式,单图像去噪相当具有挑战性。现有的方法通常对降雨模型做出特定的假设,这些假设很难涵盖现实世界中的许多不同情况,这使得它们不得不采用复杂的优化或渐进式重建。然而,这严重影响了这些方法在许多效率关键应用中的效率和有效性。为了填补这一空白,在本文中,我们将单图像去噪视为一个通用的图像增强问题,并最初提出了一种无模型的去噪方法,即Ef finicientDeRain,它能够在10ms内(即平均约6ms)处理降雨图像,比最先进的方法(即RCDNet)快80多倍,同时实现类似的去噪效果。我们首先提出了一种新颖的逐像素膨胀滤波器。 特别是,用从核预测网络估计的逐像素核对雨天图像进行滤波,通过该网络可以有效地预测每个像素的合适的多尺度核。然后,为了消除合成数据和真实数据之间的差距,我们进一步提出了一种有效的数据增强方法(即RainMix),该方法有助于训练网络进行真实的雨天图像处理。我们对合成和真实世界的降雨数据集进行了全面评估,以证明我们的方法的有效性和效率。
通常来说,只给出一个2D图像,人类就能够毫不费力地推断出底层场景的丰富3D结构。由于从2D推断3D本身是一个模糊的任务。
摘要 基于深度学习的方法在图像恢复和增强方面取得了显著的成功,但在缺乏成对训练数据的情况下,它们是否仍然具有竞争力?作为一个例子,本文探讨了弱光图像增强问题,在实践中,它是非常具有挑战性的同时采取一个
视觉一直是人类最主要的信息来源,研究表明,人类获取外界信息75%依靠视觉系统,而在驾驶汽车时,这一比例甚至高达90%。对于想要代替人类司机的自动驾驶技术来说,也是同样。视觉对人类来说是天生的,可是要达到人类等级的视觉能力,计算机智能必须克服许多重大挑战,其中之一便是对图像的深入理解,包括在障碍监测和道路监测等任务中。 现在,自动驾驶技术已成为最火热的领域之一,竞争者包括谷歌等AI技术巨头、汽车制造商以及硬件技术领军人物。今年6月,芯片巨头英特尔收购了机器视觉公司 Itseez,并由此进军自动驾驶市场。昨
卷积神经网络在解决图像分割等关键人工视觉挑战方面取得了巨大成功。然而,训练这些网络通常需要大量标记的数据,而数据标记是一项昂贵而耗时的任务,因为涉及到大量的人力工作。在本文中,我们提出了两种像素级的域自适应方法,介绍了一种基于CNN的虹膜分割训练模型。基于我们的实验,所提出的方法可以有效地将源数据库的域转移到目标数据库的域,产生新的自适应数据库。然后,使用调整后的数据库来训练用于目标数据库中虹膜纹理分割的细胞神经网络,从而消除了对目标标记数据的需要。我们还指出,为新的虹膜分割任务训练特定的CNN,保持最佳分割分数,使用非常少量的训练样本是可能的。
场景描述:连续多日的暴雨给郑州和河南部分城市,带来了严重的洪涝灾害,牵动了全国人民的心。灾难面前,现阶段的科技和具体解决方案,也能发挥出关键作用。
近年来,在深度卷积神经网络(CNNs)的帮助下,图像和视频监控在智能交通系统(ITS)方面取得了长足的进步。作为最先进的感知方法之一,检测视频监控每帧中感兴趣的目标是ITS广泛期望的。目前,在具有良好照明条件的日间场景等标准场景中,物体检测显示出显著的效率和可靠性。然而,在夜间等不利条件下,物体检测的准确性会显著下降。该问题的主要原因之一是缺乏足够的夜间场景注释检测数据集。在本文中,我们提出了一个框架,通过使用图像翻译方法来缓解在不利条件下进行目标检测时精度下降的情况。 为了缓解生成对抗性网络(GANs)造成的细节破坏,我们建议利用基于核预测网络(KPN)的方法来重新定义夜间到日间的图像翻译。KPN网络与目标检测任务一起训练,以使训练的日间模型直接适应夜间车辆检测。车辆检测实验验证了该方法的准确性和有效性。
来源:HyperAI超神经 本文约1500字,建议阅读5分钟 连续多日的暴雨给郑州和河南部分城市,带来了严重的洪涝灾害,牵动了全国人民的心。灾难面前,现阶段的科技和具体解决方案,也能发挥出关键作用。 关键词:自然灾害 遥感影像 图像识别 从 7 月 18 日到今天,河南出现罕见持续强降水天气过程,其中郑州成为降雨量最大的地级市。全市普降大暴雨、特大暴雨,累积平均降水量449毫米,日降水量和小时降水量,都超过了有气象记录以来极值,让全国人民都为之关注与担忧。 其中,仅郑州大学第一附属医院,因贵重设备、精密仪器
从单目图像估计 3D 人体姿势和形状是动作重定向、虚拟化身和人类动作识别等各种应用的关键任务。这是一个具有根本挑战性的问题,因为深度模糊和人类外表的复杂性会随着关节、衣服、照明、视角和遮挡而变化。为了通过紧凑的参数表示复杂的 3D 人体,诸如 SMPL 之类的基于模型的方法已在社区中得到广泛使用。然而,SMPL 参数以整体方式表示人体,导致通过直接它们的参数无法灵活适应真实世界图像。更重要的是,当人体在图像中不完全可见时,基于回归的方法往往会失败,例如,被遮挡或在框架外。在这项工作中,作者的目标是学习与输入图像并且对部分身体情况具有鲁棒性的人体估计。
多模态融合视觉定位方法,2020的ACM-MM,主要的创新点就是提出了一个融合LIDAR和IMAGE这两个模态,进行视觉定位,将定位任务转换为检索任务,总结来说,最大的意义在于提出了这个框架,并且证明了多模态融合视觉定位的有效性,但是框架里的很多细节都很粗糙,比如说不同信息的组合在文章中是十分简单的,也就是说有很大的提升空间。
即使在光线良好的情况下,酒杯的小瑕疵或隐形眼镜中的微小褶皱也很难找出。而在几乎完全黑暗的情况下,这种透明特征或物体的缺陷几乎不可能被发现。为了解决这个问题,麻省理工学院的工程师开发出一种能够在黑暗中揭示这些难以发现的细节的技术。
一个包含 37 个类别的宠物数据集,每个类别大约有 200 张图像。这些图像在比例、姿势和照明方面有很大的变化。所有图像都有相关的品种、头部 ROI 和像素级三元图分割的地面实况注释。
我们提出了一种用于任务无关图像翻译的ForkGAN,它可以在恶劣的天气条件下增强多个视觉任务。评估了图像定位/检索、语义图像分割和目标检测三项任务。关键的挑战是在没有任何明确监督或任务意识的情况下实现高质量的图像翻译。我们的创新是一种具有一个编码器和两个解码器的叉形生成器,可以解开域特定信息和域不变信息的纠缠。我们强制天气条件之间的循环转换通过公共编码空间,并确保编码特征不显示有关域的信息。实验结果表明,我们的算法产生了最先进的图像合成结果,并提高了三视觉任务在恶劣天气下的性能。
Xinlong Wang 1 Shu Liu 2 Xiaoyong Shen 2 Chunhua Shen 1 Jiaya Jia 2,3
领取专属 10元无门槛券
手把手带您无忧上云