首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Source-Free Domain Adaptation for Semantic Segmentation

无监督域自适应(UDA)可以解决基于卷积神经网络(CNN)的语义分割方法严重依赖于像素级注释数据的挑战,这是劳动密集型的。然而,这方面现有的UDA方法不可避免地需要完全访问源数据集,以减少模型自适应过程中源域和目标域之间的差距,这在源数据集是私有的真实场景中是不切实际的,因此无法与训练有素的源模型一起发布。为了解决这个问题,我们提出了一种用于语义分割的无源领域自适应框架,即SFDA,其中只有经过训练的源模型和未标记的目标领域数据集可用于自适应。SFDA不仅能够在模型自适应过程中通过知识转移从源模型中恢复和保存源领域知识,而且能够从目标领域中提取有价值的信息用于自监督学习。为语义分割量身定制的像素级和补丁级优化目标在框架中无缝集成。在众多基准数据集上的广泛实验结果突出了我们的框架相对于依赖源数据的现有UDA方法的有效性。

03

Learning Texture Invariant Representation for Domain Adaptation

由于为语义分割注释像素级标签非常费力,因此利用合成数据是一个很有吸引力的解决方案。然而,由于合成域与真实域之间存在域间的差异,用合成数据训练的模型很难推广到真实数据中去。在本文中,我们考虑到两个域之间的根本区别作为纹理,提出了一种适应目标域纹理的方法。首先,我们利用风格转换算法对合成图像的纹理进行多样性处理。生成图像的各种纹理防止分割模型过度拟合到一个特定的(合成)纹理。然后通过自训练对模型进行微调,得到对目标纹理的直接监督。我们的结果达到了最先进的性能,我们通过大量的实验分析了在程式化数据集上训练的模型的属性。

03

CyCADA: Cycle-Consistent Adversarial Domain Adaptation

领域适应对于在新的、看不见的环境中取得成功至关重要。对抗性适应模型通过专注于发现域不变表示或通过在未配对的图像域之间进行映射,在适应新环境方面取得了巨大进展。虽然特征空间方法很难解释,有时无法捕捉像素级和低级别的域偏移,但图像空间方法有时无法结合与最终任务相关的高级语义知识。我们提出了一种使用生成图像空间对齐和潜在表示空间对齐来适应域之间的模型。我们的方法,循环一致的对抗性领域适应(CyCADA),根据特定的有区别的训练任务指导领域之间的转移,并通过在适应前后加强相关语义的一致性来避免分歧。我们在各种视觉识别和预测设置上评估了我们的方法,包括道路场景的数字分类和语义分割,提高了从合成驾驶领域到现实驾驶领域的无监督自适应的最先进性能。

03

Domain Adaptation for Structured Output viaDiscriminative Patch Representations

预测语义分割等结构化输出依赖于昂贵的每像素注释来学习卷积神经网络等监督模型。然而,在没有模型调整注释的情况下,在一个数据域上训练的模型可能无法很好地推广到其他域。为了避免注释的劳动密集型过程,我们开发了一种域自适应方法,将源数据自适应到未标记的目标域。我们建议通过构建聚类空间来发现逐片输出分布的多种模式,从而学习源域中补丁的判别特征表示。以这种表示为指导,我们使用对抗性学习方案来推动聚类空间中目标补丁的特征表示更接近源补丁的分布。此外,我们还表明,我们的框架是对现有领域自适应技术的补充,并在语义分割方面实现了一致的改进。广泛的消融和结果在各种设置的众多基准数据集上进行了演示,例如合成到真实和跨城市场景。

04

Learning to Adapt Structured Output Space for Semantic Segmentation

对语义分割来讲基于卷积神经网络的方法,依赖像素级ground-truth标记,但是对未知领域可能泛化效果并不好。因为标记过程是沉闷和耗时的,开发将源ground truth标记到目标域引起了很大的关注。本文我们提出一种对抗训练方法在语义分割的内容中进行域适配。考虑语义分割作为结构输出包含源域和目标域的空间相似性,在输出空间中,我们采用对抗训练。为了进一步增强适配模型,我们构建一个多层对抗网络,在不同特征级别上有效的执行输出空间域适配。一系列的实验和消融研究在不同域适配下进行,包括合成到真实和跨城市场景。我们表明提出的方法在精度是视觉质量方面,超过了现有的最先进的方法。

02
领券