MIT语义软分割实现精细“抠图”，有助于打造逼真的电影特效

编译：chux

出品：ATYUN订阅号

随着电影越来越注重CGI，电影制作人必须越来越擅长“合成”，即合并前景和背景图像，例如将演员放置在飞机或行星的顶部，或者放入《黑豹》的Wakanda这样的虚构世界。

使这些图像看起来逼真并不容易。编辑必须捕捉前景和背景之间微妙的审美转换，这对于人们习惯以某种方式看待的人类头发等复杂材料来说尤其困难。

“这些图像的棘手之处在于并非每个像素都只属于一个物体，”麻省理工学院计算机科学与人工智能实验室（CSAIL）的访问研究员Yagiz Aksoy说，“在许多情况下，很难确定哪些像素是背景的一部分，哪些像素是人特定的一部分。”

除了经验最丰富的编辑之外，任何人都很难获得这些细节。但是在一篇新论文中，Aksoy和他在麻省理工学院CSAIL的同事展示了一种使用机器学习来自动化照片编辑过程的许多部分的方法，并且说这种方法也可以用于移动图像。

团队的方法允许他们拍摄图像并自动将其分解为一组不同的图层，这些图层由图层之间的一系列“软转换”分隔开。

该系统被称为“语义软分割（SSS）”，它分析原始图像的纹理和颜色，并将其与神经网络收集的有关图像中实际物体的信息相结合。

“一旦计算出这些软分割，用户就不必手动改变转换或对图像特定层的外观进行单独修改，”Aksoy说道，他在温哥华年度SIGGRAPH计算机图形会议上发表了论文，“更换背景和调整颜色等手动编辑任务将变得更加容易。”

需要明确的是，SSS目前专注于静态图像。但该团队表示，将其用于视频是在可预见的未来，并将开放许多电影制作应用程序。

“我们不需要专家编辑花几分钟逐帧调整图像，我们希望让这个过程更简单，更快速，以便临时用户可以更方便地进行图像编辑，”Aksoy说，“我们的目标是达到一个点，只需点击一下，编辑就可以将图像组合在一起，创造出这些成熟，逼真的幻想世界。”

Aksoy表示，在目前的迭代中，SSS可以被Instagram和Snapchat等社交平台使用，以使其过滤器更加逼真，特别是在更改自拍背景或模拟特定类型的相机时。在未来，研究人员计划缩短计算图像所需的时间，从几分钟到几秒，并通过提高系统匹配颜色和处理照明和阴影等事物的能力，使图像更加逼真。

论文：cfg.mit.edu/sites/cfg.mit.edu/files/sss_3.pdf