首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

无需训练的框约束Diffusion:ICCV 2023揭秘BoxDiff文本到图像的合成技术

这篇论文的研究背景是图像生成领域中存在的一个难点 - 如何从低质量的图像中恢复高质量的细节信息。这对很多下游应用如监控视频分析等都是非常重要的。现有的图像生成方法通常只关注单一的子任务,比如一个方法仅仅做去噪,另一个方法仅仅做超分辨率。但是实际中低质量的图像往往同时存在多种缺陷,比如既存在噪声,又存在模糊,分辨率也较低。所以仅仅做一种类型的生成是不够的,生成效果会受限。例如,一个只做去噪而不做超分的方法,可以去掉噪声,但是图片分辨率仍然很低,细节无法恢复。反过来,一个只做超分而不去噪的方法,可能会在增强分辨率的同时也放大了噪声,产生新的伪影。另外,现有方法在模型训练过程中,没有很好的约束和反馈来评估生成图像的质量好坏。也就是说,算法并不知道哪些部分的生成效果好,哪些部分效果差,缺乏对整体效果的判断。这就导致了细节品质无法得到很好的保证。所以说,现有单一任务的图像生成方法,很难处理图像中多种类型的缺陷;而且也缺乏对生成质量的约束,难以恢复图像细节。这是现有技术面临的问题与挑战。

04

人类没有足够的高质量语料给AI学了,2026年就用尽,网友:大型人类文本生成项目启动!

萧箫 发自 凹非寺 量子位 | 公众号 QbitAI AI胃口太大,人类的语料数据已经不够吃了。 来自Epoch团队的一篇新论文表明,AI不出5年就会把所有高质量语料用光。 要知道,这可是把人类语言数据增长率考虑在内预测出的结果,换而言之,这几年人类新写的论文、新编的代码,哪怕全都喂给AI也不够。 照这么发展下去,依赖高质量数据提升水平的语言大模型,很快就要迎来瓶颈。 已经有网友坐不住了: 这太荒谬了。人类无需阅读互联网所有内容,就能高效训练自己。 我们需要更好的模型,而不是更多的数据。 还有网友调侃,

04

TPAMI 2022 | 寻找属于你的影子,港中文等提出实例阴影检测任务

机器之心专栏 作者:王天宇、胡枭玮 来自香港中文大学与上海人工智能实验室的王天宇与胡枭玮等作者提出了一种实例阴影检测任务,旨在查找阴影与物体之间的关系。 阴影是由光线被物体遮挡而产生,阴影与物体密不可分。为了寻找阴影和产生阴影的物体,来自香港中文大学与上海人工智能实验室的王天宇与胡枭玮等作者提出了一种实例阴影检测任务,旨在查找阴影与物体之间的关系,进而估计光照方向、实现各种图像编辑应用。 实例阴影检测不仅可以找到输入图像中的单个阴影实例,还可以得到投射每个阴影的物体。实例阴影检测任务有助于各种下游应用,例如

02

Focusing Attention Network(FAN)自然图像文本识别 学习笔记

对于一些复杂的或者质量低的图像,现有的基于注意力(attention-based)的方法识别效果很差,我们研究发现其中一个主要的原因是使用这种注意力模型评估的排列很容易损坏由于这些复杂或质量低的图像。换句话说,注意力模型(attention model)不能精确地联系特征向量与输入图像中对应的目标区域,这种现象称为attention drift。为了解决这个问题,本文提出了一种新的方法,称为FAN(Focusing Attention Network)来精确地识别自然图像中的文本。FAN主要由两个子网络组成:AN(attention Network)和现有方法一样,用于识别目标字符;FN(Focusing Network)通过检查AN的注意区域是非在图像中目标字符的正确位置,然后自动地调整这个注意点,下图直观地展示了这两个网络的功能。

02

EF-Net一种适用于双流SOD的有效检测模型(Pattern Recognition)

显著目标检测(SOD)在计算机视觉领域得到了广泛的关注。但面临低质量的深度图,现有模型的检测结果都不是很理想。为了解决这一问题,该文提出了一种新型多模态增强融合网络(EF-Net),用于有效的RGB-D显性检测。具体来说,首先仅仅利用RGB图像提示映射模块来预测提示映射,编码突出对象的粗略信息。然后利用得到的提示图经过深度增强模块来增强深度图,从而抑制噪声并锐化对象边界。最后,该文构造了分层聚合模块,用于融合增强后的深度图与RGB图像中提取的特征,以精确地检测突出对象。该文提出的EFNet利用增强和融合框架进行显着性检测,充分利用了RGB图像和深度图中的信息,有效地解决了深度图的低质量问题,显著提高了显着性检测性能。在五个广泛使用的基准数据集上的广泛实验表明,该方法在五个关键评价指标方面优于12种最先进的RGB-D显着性检测方法。

02

EF-Net一种适用于双流SOD的有效检测模型(Pattern Recognition)

显著目标检测(SOD)在计算机视觉领域得到了广泛的关注。但面临低质量的深度图,现有模型的检测结果都不是很理想。为了解决这一问题,该文提出了一种新型多模态增强融合网络(EF-Net),用于有效的RGB-D显性检测。具体来说,首先仅仅利用RGB图像提示映射模块来预测提示映射,编码突出对象的粗略信息。然后利用得到的提示图经过深度增强模块来增强深度图,从而抑制噪声并锐化对象边界。最后,该文构造了分层聚合模块,用于融合增强后的深度图与RGB图像中提取的特征,以精确地检测突出对象。该文提出的EFNet利用增强和融合框架进行显着性检测,充分利用了RGB图像和深度图中的信息,有效地解决了深度图的低质量问题,显著提高了显着性检测性能。在五个广泛使用的基准数据集上的广泛实验表明,该方法在五个关键评价指标方面优于12种最先进的RGB-D显着性检测方法。

01

A Shape Transformation-based Dataset Augmentation Framework for Pedestrian Detection

基于深度学习的计算机视觉通常需要数据。许多研究人员试图用合成数据来增强数据集,以提高模型的稳健性。然而,增加流行的行人数据集,如加州理工学院和城市人,可能极具挑战性,因为真实的行人通常质量较低。由于遮挡、模糊和低分辨率等因素,现有的增强方法非常困难,这些方法通常使用3D引擎或生成对抗性网络(GAN)合成数据,以生成逼真的行人。与此不同的是,为了访问看起来更自然的行人,我们建议通过将同一数据集中的真实行人转换为不同的形状来增强行人检测数据集。因此,我们提出了基于形状变换的数据集增强(STDA)框架。 所提出的框架由两个后续模块组成,即形状引导变形和环境适应。在第一个模块中,我们引入了一个形状引导的翘曲场,以帮助将真实行人的形状变形为不同的形状。然后,在第二阶段,我们提出了一种环境感知混合映射,以更好地将变形的行人适应周围环境,获得更逼真的行人外观和更有益的行人检测增强结果。对不同行人检测基准的广泛实证研究表明,所提出的STDA框架始终比使用低质量行人的其他行人合成方法产生更好的增强结果。通过扩充原始数据集,我们提出的框架还将基线行人检测器在评估基准上提高了38%,实现了最先进的性能。

02
领券