从互动图像到智能图像

搭建与国际先进影像技术对接的桥梁

—— 2017北京国际先进影像大会暨展览会论坛回顾

童 欣

未来影像高精尖创新中心科技委员会委员

微软亚洲研究院网络图形组首席研究员

过去几年，VR、AR设备变得越来越受欢迎，给人们带来了全新的视觉享受和体验。在工业设计中，可以通过AR技术让人实时看到设计内容，同时进行一些交互、修改、多人协同。所有这些看起来激动人心的应用，实际上都需要高质量的三维内容，否则这些应用都会大打折扣。我将展示如何用智能手段产生三维内容和高质量的渲染结果，以及做一些动画内容。

首先，通过草图工具帮助用户生成三维形状。假设用户看到一个非常漂亮的杯子，他可以先在电脑上画一些草图，算法从草图出发自动生成三维形状。草图中标识的线有不同颜色，黑色的线代表物体轮廓，里面的线代表形状变化。这些颜色不需要用户进行标识，系统会自动辨识线的特性。观察发现，人比较善于从一张二维图片或者草图中识别三维形状，而且对曲面或者表面的凹凸变化尤为敏感，可以用几根线描述变化。基于此，我们研发了一个系统。普通用户经过20分钟的学习，便可以快速、自如地生成一些较好的形状。专业用户普遍认为，该工具可以帮助他们进行一些概念设计，生成较好的初始形状再导入专业的工具中进行细节修饰，即可快速达到设计目的。

接下来是通过机器学习的技术，帮助用户生成高质量的材质内容。假设用户给定一个单张图片，希望从图片出发自动生成物体材质的贴图。有了这些贴图之后，可以把材质映射到新的虚拟物体上。以往需要艺术家使用各种各样的工具，通过手工操作实现这个目标。我们考虑能不能用机器学习的技术代替用户繁琐的手工劳动，自动、快速地帮助用户实时生成材质贴图，而且贴图要达到一定的质量要求。

人工智能与影视制作主题论坛现场

我们研究了一个算法，利用网上下载的大量图片和逆向的绘制过程，做一个深度学习的训练过程。结果显示，最上面一行是给定一张木头的材质图片之后，用我们的方法生成的材质贴图。中间这行是假设不适用该项技术，只用少量用户样本生成的结果，可以看到高光部分非常模糊，很多细节都丢失了，纹理也不对。目前这个技术已经完全开源，大家在网上可以下载所有的源代码，包括工具。

以上我讲到了材质建模的问题，最后是动画。陈宝权教授介绍了很多动画生成、物理模拟方面的工作。目前计算技术如此发达，我们想把虚拟的东西带到真实世界中来。如果使用传统方法，其制造和设计的过程非常繁琐和艰难，因为真实世界中的东西需要符合物理的真实。我们希望做一个软体机器人，通过给机器人充气，并给定不同的气压，使其能够做各种各样的变形和工作，如在管子中爬行、抓住物体等，通过系统自动帮助用户设计软体机器人。

一方面，通过所谓的智能算法可以帮助用户生成一些高质量的三维内容，这里“智能”的概念更加宽泛，不仅是人工智能，它既包含人们所掌握的几何、物理知识，也包含科研人员研发的物理模拟和物理计算机制，当然还包含最近研发的机器学习的技术。所有这些技术、智能的算法都能够帮助用户快速、方便地生成高质量的内容。另一方面，虽然有了这些工具，但是要使普通用户生成高质量的三维内容，还有很多工作要做。我们希望通过技术的发展，能够在未来五年或者十年时间中，让大家像现在拍照一样，能够方便、快速地生成高质量的三维内容和图形内容。

刊于《艺术教育》2018年1月下（总第318期）

版面编辑：张斐然

微信编辑：谢兰凤