专栏首页机器之心学界 | Adobe提出深度抠图:利用卷积网络分离图像前景与背景

学界 | Adobe提出深度抠图:利用卷积网络分离图像前景与背景

选自arXiv

机器之心编译

参与:蒋思源

抠图,一直是一件体力活,它需要大量的操作与时间。而传统抠图算法主要是以色彩为特征分离前景与背景,并在小数据集上完成,而这就造成了传统算法的局限性。在 Adobe 等机构新提出的论文中,其采用了大规模数据集与深度神经网络学习图像的自然结构,从而进一步分离图像的前景与背景。

论文地址:https://arxiv.org/abs/1703.03872

摘要

抠图(Image matting)是一项基本的计算机视觉问题,并拥有广阔的应用空间。当图像的前景(foreground)和背景颜色或复杂纹理类似时,早先的算法表现得差强人意。主要是因为:1. 只有低级特征(low-level features);2. 缺乏高层次上下图境(high-level context)。在本篇论文中,我们提出了一种基于深度学习的新算法,该算法可以解决这两个问题。我们的深度模型分为两个阶段。第一阶段是深度卷积编码-解码网络(deep convolutional encoder-decoder network),该神经网络将图像和相对应的三分图(trimap)作为输入,并预测图像的α蒙版(alpha matte)。第二阶段是一个小型卷积神经网络,该神经网络对第一个网络预测的α蒙版进行精炼从而拥有更准确的α值和锐化边缘。另外,我们还创建了一个大规模抠图数据集(large-scale image matting dataset),该数据集包含 49300 张训练图像和 1000 张测试图像。我们在抠图基准、测试数据集和各种真实图像上评估了我们的算法。实验结果清楚地表明了我们的算法比先前的方法更具优越性。

简介

抠图(Image matting),即在图像或视频中精确估计前景的问题,具有很重要的实用性。它是图像编辑和电影制作的关键技术,高效的自然图像抠图方法能极大地提升当前的图像视频处理流程的效率。并且这种技术是无约束场景(unconstrained scenes)下处理真实世界图像的必要方法。

然而,目前抠图算法还是具有很大的局限性:

首先第一个局限性就是目前用来求解抠图方程式(matting equation)的方法存在问题。

其中 Ii 是像素块 i 的 RGB 色彩,已知前景色彩 Fi,背景色彩 Bi,未知蒙版估计(matte estimation)αi。在这个方程式中,抠图问题形式化为两种颜色的线性组合,因此大多数现存的算法很大一部分都是将其近似求解色彩的问题。

另一个局限性就因为小数据集而产生。一般用于抠图的数据真值(ground truth)是很复杂的,而 alphamatting.com 数据集通过提供标记数据集对抠图研究做出了很重要的贡献。不过因为该数据集仅仅只由 27 张训练图像和 8 张测试图像组成,那么这样大小的数据集会带来自然偏差(nature biased),训练出来的算法也会很难进行泛化。

在这项研究中,我们提出了一种旨在克服这些局限性的方法。我们的方法就是使用深度学习在给定输入图像和三分图的基础上直接计算α蒙版(alpha matte)。我们的神经网络并不首要依赖于色彩信息,它会学习图像的自然结构,并将其反映到α蒙版中。例如毛发(通常需要将其抠出来)就拥有很强的结构和纹理图案,它们通常存在能抽取出的共同结构或α蒙版轮廓。并且由于低层次的特征并不会捕获这些结构,那么就需要深度神经网络去表征它们了。我们的两阶段神经网络包含了编码器-解码器阶段和使用小型残差网络进行精炼阶段。我们是第一个证明了在给定输入图像和三分图的情况下能采用端到端的方式学习到α蒙版。

如下图所示,实际上我们能在三分图(trimap)未知前景或背景的情况下产生很好的结果,而在这种情况下,大多数算法都返回不了什么内容。

图 1:我们的方法和封闭形式的抠图(Closed form matting)对比。第一张图像是从 Alpha Matting 基准而来,第二张图像是从我们千张测试图像中抽取的。

为了训练我们的深度神经网络,如下图所示,我们将识别目标(前景)抠取出来,并放入不同的背景而构建一个大型抠图数据集。

图 2:创建数据集。a) 一张手动抠图的前景图(拥有简单背景)作为输入。b) 经计算的α蒙版。c) 经计算的前景图像,可以作为对象放入到各种背景图像(d-f)中。

我们通过深度学习解决抠图问题。给定一个新的数据集(大规模抠图数据集),我们的神经网络能充分利用这些数据进行训练。并且该神经网络由以下两个阶段组成。

图 3:我们的神经网络由两阶段组成,编码-解码阶段(Sec. 4.1)和精炼阶段 (Sec. 4.2)

精炼图像的效果在图 4 中展示了。注意,该精炼网络并没有大规模改变α蒙版,只不过是精炼并锐化α值。

图 4:抠图精炼网络的效果。a) 输入图像。b) 编码-解码阶段的输出。c) 精炼阶段的输出结果

下一张图表明了在 SAD 度量(SAD metric)下的排名结果。

图 6:α蒙版预测使用「user」三分图的「Troll」和「small」三分图的「Doll」作为测试图像。第一列显示了测试图像。对于每一张测试图像,按照降序从第 2 列到第 6 列显示了 SAD 度量(SAD metric)下的排名结果(排名 1 到 5)。在这两个例子中,我们的方法都实现了最好的结果。

结论

为了泛化到自然图像中,抠图算法必须超越以色彩作为主要线索,并能利用更加结构性和语义性的特征(structural and semantic features)。在该项研究中,我们展示了一种神经网络,它有足够的能力捕捉到高层次特征(high-order features),并利用它们计算且提升抠图效果。实验还展示了我们的方法不仅在标准数据集上优于以前的方法,而且它在泛化到真实图像上也显著地比现存算法表现更优良一些。

机器之心编译,转载请联系本公众号获得授权。

✄------------------------------------------------

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-03-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • matting笔记_一周小结

    详情见之前的笔记 matting系列论文笔记(一):Deep Image Matting

    烤粽子
  • 抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像

    很多深度学习方法实现了不错的抠图效果,但它们无法很好地处理高分辨率图像。而现实世界中需要使用抠图技术的图像通常是分辨率为 5000 × 5000 甚至更高的高分...

    OpenCV学堂
  • 抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像

    抠图是图像和视频编辑与合成的关键技术。通常,深度学习方法会以整个输入图像和相关的 trimap 作为输入,使用卷积神经网络来推断前景蒙版(alpha matte...

    Amusi
  • 抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像

    抠图是图像和视频编辑与合成的关键技术。通常,深度学习方法会以整个输入图像和相关的 trimap 作为输入,使用卷积神经网络来推断前景蒙版(alpha matte...

    机器之心
  • 整个世界都是你的绿幕:这个视频抠图换背景的方法着实真假难辨

    从作者给出的 demo 可以看到,他们的方法效果非常惊艳,即使视频中的人疯狂甩头发也没有影响合成效果:

    机器之心
  • matting系列论文笔记(二):Background Matting: The World is Your Green Screen

    论文链接: 2017 Background Matting: The World is Your Green Screen 代码:http://github....

    烤粽子
  • 【技术综述】闲聊图像分割这件事儿

    想当年,大学的时候。同学们进进出出图书馆,手里揣着的都是什么微积分,明朝那些事儿之类的书。而我几年下来,全是adobe photoshop,adobe prem...

    用户1508658
  • ICCV 2019 | 旷视研究院提出新型抠图方法AdaMatting,实现当前最佳

    两年一度的国际计算机视觉大会 ICCV 2019 ( IEEE International Conference on Computer Vision) 将于当...

    AI科技大本营
  • 视频背景抠图:世界是您的绿屏

    是否希望在没有完整工作室的情况下制作专业质量的视频?还是在视频会议期间Zoom的虚拟背景功能效果更好?

    代码医生工作室
  • matting系列论文笔记(一):Deep Image Matting

    刚刚入了Image Matting的坑,后续会更新系列相关的文章。这个坑目前还没有人满为患,好的文章没有很多,综述文章也没有囊括比较新的方法。

    烤粽子
  • 【抠图中的注意力机制】HAttMatting---让抠图变得如此简单!

    【导读】图像抠图(Image Matting)是一个无论在工业界或者视觉研究领域都有非常重要价值的研究课题。从2000年开始,在进行图像抠图及相近研究问题的研究...

    深度学习技术前沿公众号博主
  • CVPR2021|快手: 深度视频抠图

    随着深度学习的发展,深度神经网络被应用于抠图技术中,从深度网络提取的高层语义特征能够从复杂场景中准确区别前后背景,从而极大地提升了抠图效果,基于深度学习的图像抠...

    公众号-arXiv每日学术速递
  • 资源 | 下一代PS工具:Adobe照片级图像风格转换的Torch实现

    选自arxiv 作者:栾福军等 机器之心编译 参与:李泽南、微胖 康奈尔大学与 Adobe 的研究者们最近发布了一项通过卷积神经网络进行照片风格迁移的研究。随后...

    机器之心
  • 14篇论文入选CVPR!快手视觉研究成果精华总结

    计算机视觉和模式识别领域的顶级会议 CVPR 正在进行中,本次大会接收率为 23.7%,其中快手有 14 篇论文被接收,这也是快手在国际视觉技术相关领域顶级会议...

    公众号-arXiv每日学术速递
  • 一键智能抠图-原理与实现

    有些朋友已经体验过了cvpy.net最近新上的一键智能抠图和换背景的功能,智能判断前景并自动抠图,效果还是挺惊艳的,放几张图看看效果:

    OpenCV学堂
  • CVPR2020 | HAttMatting,让抠图变得如此简单!

    本文解读的是 CVPR 2020 论文《Attention-Guided Hierarchical Structure Aggregation for Imag...

    AI科技评论
  • 手残党福音:一键抠图、隔空移物,这篇CVPR华人论文帮你搞定

    在传统年代,人们能想到最精准的抠图方法,大概是 Photoshop 之类的专业图像处理软件,显然这种处理方式会很繁琐。随着人工智能技术的发展,从业者开始尝试将最...

    机器之心
  • 一键抠图&效果炸裂、隔空移物,这篇CVPR华人论文帮你搞定

    在传统年代,人们能想到最精准的抠图方法,大概是 Photoshop 之类的专业图像处理软件,显然这种处理方式会很繁琐。随着人工智能技术的发展,从业者开始尝试将最...

    AI算法与图像处理
  • 无需用户输入,Adobe提出自动高质量图像合成新方法

    图像合成是指组合不同图像中的部分区域以合成一张新的图像,一个常见的用例是肖像图片的背景替换。为了获得高质量的合成图像,经常需要专业人员手动执行多个编辑步骤,例如...

    CV君

扫码关注云+社区

领取腾讯云代金券