首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

VOS: Learning What You Dont Know by Virtual Outlier Synthesis

论文信息 标题:VOS: Learning What You Don't Know by Virtual Outlier Synthesis 作者:Xuefeng Du, Zhaoning Wang,...本文提出了一种新的未知感知学习框架VOS (Virtual Outlier Synthesis),该框架优化了ID任务和OOD检测性能的双重目标。...简而言之,VOS由三部分组成,用于解决异常点综合和有效的模型正则化问题。为了综合异常值,我们估计了特征空间中的类条件分布,并从ID类的低似然区域中采样异常值。...结论 在本文中,提出了vos,一个新的未知感知的OOD检测训练框架。与需要真实离群数据的方法不同,vos在训练过程中从类条件分布的低似然区域采样虚拟离群数据,自适应地合成离群数据。...VOS是有效的,适用于目标检测和分类任务。希望该工作能够启发未来在现实环境中对未知感知深度学习的研究。

1K10
您找到你想要的搜索结果了吗?
是的
没有找到

ICLR 2022:AI如何识别“没见过的东西”?

行早 发自 凹非寺 量子位 | 公众号 QbitAI 这回域外物体检测方向出了一个新模型VOS,合作团队来自威斯康星大学麦迪逊分校,论文已收录到ICLR 2022中。...VOS如何检测域外物体 在理解VOS之前,不得不提一下域外物体检测困难的原因。 其实也很好理解,毕竟神经网络只是学习训练和测试时的数据,遇到没见过的东西时自然不认识。...VOS想到的办法是,给模型模拟一个域外物体用来学习。 例如下图中的检测情况,其中三团灰点是我们的目标。在没有模拟域外物体时(左),模型只能在大范围内圈住目标。...再和许多其他域外物体检测方法做一下比较,就可以看出VOS的优势。 各项指标中箭头向下代表该项数据越小越好,反之代表该项越大越好。...与现有的其他方法相比,也展现出了VOS的优势。 它作为一个通用学习框架,可以适用于目标检测和图像分类两种任务。而之前的方法主要靠图像分类来驱动。 目前该模型已经在GitHub上开源。

45820

第三届大型VOS挑战赛中排名第一!AOT将实例与Transformer相关联来同时统一匹配和解码多个实例

AOT模型在第三届大型VOS挑战赛中排名第一。...AOT模型在第三届大型VOS挑战赛中排名第一。 02 方法 目前最先进的视频实例分割算法在进行分割任务时,都是将视频帧中的每个实例遍历,再将结果汇总。...训练策略 训练分为两个阶段,先在静态图像数据集生成的视频序列中进行预训练,再在YouTube-VOS与DAVIS公开视频数据集上进行训练。...实验效果 在YouTube-VOS与DAVIS测试集与验证集上均取得SOTA性能。并且大幅提升了推理阶段的FPS。 由上分割结果可以看出,AOT在对多个相似实例进行分割时效果更好。...AOT首次通过使用识别机制证明了在VOS中处理多个对象可以有效地处理单个对象。此外,还设计了一个长短期tramsformer,用于构建VOS的实例匹配和传播。

68320

为复杂场景而生,NTU、字节等开源大型视频目标分割数据集MOSE

因此,MOSE 可以很好地衡量 VOS 算法在复杂场景下的视频目标分割性能,并推动 VOS 在更真实场景下的应用研究。...如在最热点的 semi-supervised VOS 任务中,现有方法的 VOS 性能从 DAVIS 和 YouTube-VOS 上的 80%~90% J&F 下降到仅 40%~50% J&F。...实验结果表明,尽管很多方法已经在之前的基准测试中取得了出色的 VOS 性能,但在复杂场景下仍存在未解决的挑战,未来需要更多努力来探索这些挑战。...总结 研究者构建了一个名为 MOSE 的大规模复杂场景视频目标分割数据集,以推动 VOS 在更真实复杂场景下的应用研究。...基于提出的 MOSE 数据集,作者对现有 VOS 方法进行了基准测试并进行了全面比较。

44520

【视频目标分割】开源 | 利用循环机制提高半监督视频目标分割质量,提高VOS系统的鲁棒性

Semi-supervised Video Object Segmentation Problem from a Cyclic Perspective 原文作者:Yuxi Li 内容提要 视频目标分割(VOS...在本文中,我们将半监督视频目标分割问题置于一个循环的工作流程中,并发现通过半监督VOS系统固有的循环特性,可以有效地解决上述问题。首先,在标准序列流中加入循环机制可以产生更一致的像素级对应表示。...我们对DAVIS16、DAVIS17和Youtube-VOS的挑战性基准进行了全面比较和详细分析,论证了循环机制有助于提高VOS分割质量,提高VOS系统的鲁棒性,并进一步对不同VOS算法的工作原理进行了定性比较和解释

46120

CVPR 2020 论文大盘点-全景分割与视频目标分割篇

今天的内容关注于全景分割(Panoptic Segmentation)和视频目标分割(Video Object Segmentation,VOS)。 什么是全景分割?...对视频中感兴趣的目标进行分割,给定第一帧mask的VOS称为one-shot VOS (单样本VOS),无第一帧目标mask的称为zero-shot VOS(无样本VOS)。...Zhirong Wu, Houwen Peng, Stephen Lin 单位 | 微软亚洲研究院;卡内基梅隆大学 代码 | https://github.com/microsoft/transductive-vos.pytorch...单位 | Linkoping University, Sweden;ETH Zurich, Switzerland;IIAI 代码 | https://github.com/andr345/frtm-vos...Huang, Jiarui Xu, Yu-Wing Tai, Chi-Keung Tang 单位 | 香港科技大学;腾讯 代码 | https://xuhuaking.github.io/Fast-VOS-DTTM-TAN

83730

CVPR`22丨特斯联AI提出:基于语义对齐多级表征学习的指定视频目标分割

具有语义对齐的多级表征学习经实验验证, 效果优于其他竞争方法 团队亦分享了基于前述解决方案与两个流行的RVOS数据集进行的定量及定性对比实验,即:Refer-DAVIS17和Refer-YouTube-VOS...Refer-DAVIS验证集:在用Refer-DAVIS进行训练之前,团队在大规模的Refer-YouTube-VOS训练集中对模型进行预训练,并在Refer-DAVIS验证集中对模型进行了性能测试。...表格1.Refer-DAVIS17验证集的定量评估,含区域相似度J,边界精确度F,J&F的平均值 Refer-YouTube-VOS验证集:我们可以进一步观察新方法在Refer-YouTube-VOS验证集上的性能...Refer-YouTube-VOS验证集的定量评估,含区域相似度J,边界精确度F,J&F的平均值,和成功百分比(prec@X) 此外,论文还分享了其方法的一些典型视觉结果(如图2所示)。...Refer-DAVIS17验证集和Refer-YouTube-VOS验证集的定性结果。

39820

CVPR 2022 | 刷新4个SOTA!港大&字节开源ReferFormer: 语言作为查询的参考视频目标分割框架

文本描述通常是基于目标的外观特征或者空间关系,RVOS任务则可以对目标所进行的动作进行描述,这要求模型有着更强的时空建模能力,且保证分割目标在所有视频帧上的一致性;与传统的视频目标分割(video object segmentation, VOS...该模型在四个RVOS数据集上(Ref-Youtube-VOS, Ref-DAVIS17, A2D-Sentences, JHMDB-Sentences) 均取得了当前最优的性能。...Demo 以下展示了模型在多个具有挑战性场景的分割效果: - Ref-DAVIS17 遮挡 姿态变化 - Ref-Youtube-VOS 精细分割 快速运动 图2 可视化效果展示 性能 本文采用不同的视觉编码器进行了广泛实验...其中,Ref-DAVIS17和JHMDB-Sentences的评估采用的分别是在Ref-Youtube-VOS和A2D-Sentences上训练好的模型,证明了方法的泛化性能。...- Ref-Youtube-VOS & Ref-DAVIS17 图3 Ref-Youtue-VOS和Ref-DAVIS17数据集性能比较 - A2D-Sentences & JHMDB-Sentences

55520

视频分割在移动端的算法进展综述

论文提出的模型解决两个问题one-shot and zero-shot VOS。 one-shot VOS既普通的DAVIS任务,给定初始化帧的mask和图像序列,预测视频序列的mask。...对于zero-shot VOS任务,输入仅为RGB图像。...YouTube-VOS和DAVIS是为one-shot VOS设计,在视频序列中会出现初始化帧没有的对象且没有标注信息,给 zero-shot VOS带来很大的困难。...3、个人认为zero-shot VOS已经脱离了VOS范畴,可以视频分解为序列图形,单独在每个图像上做实体分割,在进行图像之间的匹配。 5. SiamMask 1....VOS是给定初始帧的mask,预测视频序列的mask。在VOS领域,一般基于光流法,离线训练且需要初始帧的mask真值做finetune,为了精度而降低实时性,限制了视频分割的应用范围。

1.9K10
领券