中心科学家研究成果再次入选SIGGRAPH大会——图像跨域匹配及应用

导语

一年一度的SIGGRAPH 大会即将在8月份到来,未来影像高精尖创新中心科学家发表的又一篇论文《图像跨域匹配及应用》已被SIGGRAPH 2018组委会接收,下面就为大家介绍一下论文详情。

SIGGRAPH是世界领先的一年一度的跨学科教育性会议,展示计算机图形学和交互技术的最新研究成果,SIGGRAPH 2018是ACM SIGGRAPH主持的第45届年度会议,将于8月12日至8月16日在加拿大温哥华举行。中心科学家团队已于去年在SIGGRAPH上发表过题为《基于浸入变换的三维物体重建(Dip Transform for 3D Shape Reconstruction) 》的论文被并重点推荐(详细点击

这里

),今年又一篇论文《图像跨域匹配及应用(Neural Best-Buddies: Sparse Cross-Domain Correspondence)》被SIGGRAPH接收(详情点击这里)。

近年来,中国电影行业发展迅猛,丰富的视觉效果和影视特效作为电影产业中或不可缺的元素之一,为电影的发展做出了巨大的贡献。但是现在,许多视觉特效、视频处理仍然需要大量的人工干预,尤其是图形变形、图像混合等效果,仍然需要依靠大量经验丰富的设计师对场景进行语义化的理解,手动去标注目标之间对应的特征点。例如图像变形效果通常需要变形物体前后状态的匹配点对应。例如Adobe公司生成的应用程序“After Effect”。

手动标注视觉效果中的对应点

本课题旨在利用计算机视觉中的一个核心问题:图像匹配,来解决视觉特效制作中语义化理解的问题。对于给定的两张图片,设计算法找到其中语义的匹配点,利用得到的匹配点,使用算法可以对图像进行变形、混合等效果,构成了各种图形应用程序的基础,大大节省视觉特效的制作成本。

图像跨域匹配技术详情

图形间的特征匹配是计算机视觉中的经典问题,也是计算机图形学中许多应用的基础。这篇论文提出了一种普适的方法,针对具有不同类别、不同形状的两幅图像,可以找到其中具有语义相关或者局部几何相似的匹配点。本算法利用深度卷积网络不同层次中的特征信息,通过有层次的NBB(Neural Best Buddies)匹配算法,由最深的语义抽象层级逐渐向上,利用上一层的匹配结果逐渐缩小搜索范围,在原始图像层能够得到最精确的结果。同时为了保证特征的归一化,每一个搜索区域都会转变成同样的风格。

详情介绍

通过 User Study 以及和其他现有方法的比较,验证本算法的结果优于经典算法,在更多具有挑战性的任务上也能取得较好结果。将算法运用到一系列包括图形变形、图形融合等图形学应用中,也证明了本算法的有效性。

算法流程图

Cross-domain Correspondence ↑

Different numbers of points

Different pose

在电影视效中的应用

图形融合:如图,给老鹰自动加上鸡冠,给浣熊加上鹿角等。

图像变形:由一个图像平滑自然地变为另一个图像。

图像同步编辑:自动识别相似特征的图像,进行同步编辑。

团队介绍

本论文的作者团队成员有Kfir Aberman, Jing Liao, Mingyi Shi, Dani Lischinski, Daniel Cohen-Or, Baoquan Chen。Kfir Aberman 为第一作者。其中Kfir Aberman 为中心二级研究员,Mingyi Shi 为访问实习生,DanielCohen-Or为国际顾问,Baoquan Chen为中心首席科学家。

(第一排左起:Kfir Aberman,Jing Liao, Mingyi Shi;第二排左起: Dani Lischinski, Daniel Cohen-Or, Baoquan Chen)

自中心建立后,科研成果丰厚,在图形与图像领域有诸多突破。让我们一起期待中心团队8月份在SIGGRAPH 2018的亮相吧!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180726B123LO00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券