中心科学家研究成果再次入选SIGGRAPH大会——图像跨域匹配及应用

导语

一年一度的SIGGRAPH 大会即将在8月份到来，未来影像高精尖创新中心科学家发表的又一篇论文《图像跨域匹配及应用》已被SIGGRAPH 2018组委会接收，下面就为大家介绍一下论文详情。

SIGGRAPH是世界领先的一年一度的跨学科教育性会议，展示计算机图形学和交互技术的最新研究成果，SIGGRAPH 2018是ACM SIGGRAPH主持的第45届年度会议，将于8月12日至8月16日在加拿大温哥华举行。中心科学家团队已于去年在SIGGRAPH上发表过题为《基于浸入变换的三维物体重建（Dip Transform for 3D Shape Reconstruction） 》的论文被并重点推荐（详细点击

这里

），今年又一篇论文《图像跨域匹配及应用（Neural Best-Buddies: Sparse Cross-Domain Correspondence）》被SIGGRAPH接收（详情点击这里）。

近年来，中国电影行业发展迅猛，丰富的视觉效果和影视特效作为电影产业中或不可缺的元素之一，为电影的发展做出了巨大的贡献。但是现在，许多视觉特效、视频处理仍然需要大量的人工干预，尤其是图形变形、图像混合等效果，仍然需要依靠大量经验丰富的设计师对场景进行语义化的理解，手动去标注目标之间对应的特征点。例如图像变形效果通常需要变形物体前后状态的匹配点对应。例如Adobe公司生成的应用程序“After Effect”。

手动标注视觉效果中的对应点

本课题旨在利用计算机视觉中的一个核心问题：图像匹配，来解决视觉特效制作中语义化理解的问题。对于给定的两张图片，设计算法找到其中语义的匹配点，利用得到的匹配点，使用算法可以对图像进行变形、混合等效果，构成了各种图形应用程序的基础，大大节省视觉特效的制作成本。

图像跨域匹配技术详情

图形间的特征匹配是计算机视觉中的经典问题，也是计算机图形学中许多应用的基础。这篇论文提出了一种普适的方法，针对具有不同类别、不同形状的两幅图像，可以找到其中具有语义相关或者局部几何相似的匹配点。本算法利用深度卷积网络不同层次中的特征信息，通过有层次的NBB(Neural Best Buddies)匹配算法，由最深的语义抽象层级逐渐向上，利用上一层的匹配结果逐渐缩小搜索范围，在原始图像层能够得到最精确的结果。同时为了保证特征的归一化，每一个搜索区域都会转变成同样的风格。

详情介绍

通过 User Study 以及和其他现有方法的比较，验证本算法的结果优于经典算法，在更多具有挑战性的任务上也能取得较好结果。将算法运用到一系列包括图形变形、图形融合等图形学应用中，也证明了本算法的有效性。

算法流程图

Cross-domain Correspondence ↑

Different numbers of points

Different pose

在电影视效中的应用

图形融合：如图，给老鹰自动加上鸡冠，给浣熊加上鹿角等。

图像变形：由一个图像平滑自然地变为另一个图像。

图像同步编辑：自动识别相似特征的图像，进行同步编辑。

团队介绍

本论文的作者团队成员有Kfir Aberman, Jing Liao, Mingyi Shi, Dani Lischinski, Daniel Cohen-Or, Baoquan Chen。Kfir Aberman 为第一作者。其中Kfir Aberman 为中心二级研究员，Mingyi Shi 为访问实习生，DanielCohen-Or为国际顾问，Baoquan Chen为中心首席科学家。

（第一排左起：Kfir Aberman，Jing Liao, Mingyi Shi；第二排左起： Dani Lischinski, Daniel Cohen-Or, Baoquan Chen）

自中心建立后，科研成果丰厚，在图形与图像领域有诸多突破。让我们一起期待中心团队8月份在SIGGRAPH 2018的亮相吧！