SIGGRAPH 2021 | 98后浙大博士生研制可微分材质扫描仪，轻松采集「流光溢彩」效果
SIGGRAPH 2021 | 98后浙大博士生研制可微分材质扫描仪，轻松采集「流光溢彩」效果
机器之心专栏
机器之心编辑部
来自浙江大学计算机辅助设计与图形学国家重点实验室和杭州相芯科技有限公司的联合研究团队提出了自由式材质扫描的可微分框架，并研制了材质外观扫描仪原型，实现了对非平面的复杂外观的高精度采集建模，研究论文已被 ACM SIGGRAPH 2021 接收。
三维扫描仪是一种通过结构光（structured lighting）来获取物体表面精确几何信息的科学仪器，经过二十多年的发展，已经形成了相当成熟的商用市场。三维扫描仪的代表性产品包括德国蔡司的 Comet、卢森堡 Artec3D 的 Spider 以及中国先临的 EinScan。
图 1：EinScan Pro 2X Plus 三维扫描仪。
然而如何扫描真实物体的复杂材质外观，在数字世界中高精度地还原出「流光溢彩」的视觉效果，一直是困扰学术界和工业界的难题。相关技术在文物数字化保护、电子商务商品展示、影视特效以及电子游戏等领域有着广阔的应用前景。
针对这一难题，浙江大学计算机辅助设计与图形学国家重点实验室和杭州相芯科技有限公司的联合研究团队提出了自由式材质扫描的可微分框架，并研制了材质外观扫描仪原型，实现了对非平面的复杂外观的高精度采集建模，如图 2 所示。
图 2：可微分自由式材质采集过程（上）和高精度复杂材质扫描结果（下）。
该研究的论文《Free-form Scanning of Non-planar Appearance with Neural Trace Photography》已被计算机图形学顶级国际会议 ACM SIGGRAPH 2021 接收。
论文地址：https://svbrdf.github.io/publications/scanner/project.html
已有工作
如图 3 所示，现有材质采集的研究工作大致可以分为两类。一类是专业级 Lightstage 系统，通过使用高达几万个独立高亮 LED 光源，对物体的反射属性在角度域上进行高效高精度测量。然而此类专业系统的造价昂贵、搭建耗时，且无法采集大小超过其容积的物体。另一类方法则使用轻量级设备（比如手机摄像头和闪光灯）。但由于闪光灯只是光照角度域中的一个点，其对应的物理采样效率非常低，因此重建结果质量不尽如人意。
相比之下，可微分材质扫描仪结合了已有两大类工作的优点，它既是轻量级的手持式设备，又能重建出高质量的材质结果。
图 3：现有材质采集研究的代表工作。从左到右分别是 [Kang et al. 2019]，[Aittala et al. 2015] 以及 [Nam et al. 2018]。其中[Kang et al. 2019] 为该团队在 2019 年发表于 ACM SIGGRAPH Asia 的早期工作。
自研材质扫描仪
该研究研制的材质扫描仪由一块 LED 灯板、一个工业相机以及自研控制电路组成。相机能以 75fps 的速度拍摄 5 百万像素的图片。灯板由 512 个高亮 RGB LED 构成。自研控制电路负责对每个 LED 进行独立亮度控制，并在硬件层面对灯板照射和相机拍摄进行同步。采用灯板的原因是为了能在光照角度域上同时做多点采样，和闪光灯等常用点光源相比，提高了物理采样效率。
图 4：自研材质扫描仪（正面、背面与侧面照片）。
研究思想
该研究的核心思想在于提出自由式材质扫描（free-form appearance scanning）问题的本质是非结构化几何学习（geometry learning）。通过创新性地建立这两个貌似相隔甚远的问题之间的联系，研究人员引入非结构化几何学习中的成熟工具来自动解决材质采集的难题。这是该论文最主要的技术贡献。
具体来说，对于真实物体表面的每个点 p，每张采集到它的照片中的某个像素记录了点 p 在特定光照和观察条件下的反射光能。如果我们把该像素值和对应的光照以及观察条件合成一个高维向量，那在整个采集过程中会得到很多这样的向量，对应于不同的采集条件。所有这些高维向量的集合可以看作 p 的轨迹（trace），它是一个非结构化的高维点云，完整地描述了对点 p 材质的测量情况。研究人员观察到任何自由式材质扫描（无论已有工作还是当前研究）的本质，都是以 p 的轨迹为输入，进行加工处理后，输出 p 的材质属性。这启发了研究人员引入非结构化几何学习工具（PointNet）来自动学习如何从轨迹（非结构化高维点云）映射到对应的材质属性。
研究人员提出了一种新的神经网络，能有效地聚合在自由式扫描中获得的非规则测量信息，还可以同时优化拍摄照片时使用的光照，最终得到高质量的材质重建结果。图 5 展示了整个系统的处理流程，图 6 可视化了所提出神经网络的结构。详情请参见论文原文。
图 5：整个采集系统的处理流程。
图 6：所提出的神经网络结构。
结果展示
研究人员使用自研可微分材质扫描仪采集并重建了多种日常物体的材质（包括任天堂 Switch 的酷霸王 amiibo 模型）。下图是实拍照片和数字化重建结果的对比。读者可以猜一猜哪一行是照片，哪一行是采集重建结果。
图 7：实拍照片与采集重建结果的比较。
该研究生成的材质使用业界标准的 Disney 各向异性 GGX BRDF 模型参数来表示，可以由任何基于物理的渲染器（PBR）直接读取并渲染出最终图片。下图展示了材质重建结果的分项参数 / 属性。
图 8：材质重建结果的分项属性（包括漫反射率、高光反射率、粗糙度等）。
该研究的材质重建结果在视觉上能接近专业级 Lightstage 的高精度重建结果，如下图所示。同时由于使用了轻量级设备可以避免前文所述的专业设备的种种不便之处。
图 9：该研究结果（第一行）与专业级 Lightstage [Kang et al. 2019]重建结果（第二行）的对比。
而与 SOTA 手持材质扫描研究 [Nam etl al. 2018] 相比，该研究显著提升了重建质量，例如正确地分解出了漫反射与高光反射分量，得到了与照片更相近的结果。这里的一个关键因素是该研究在采集时使用了优化过的高密度光源，因此在物理采样效率上显著优于使用点光源的已有工作。
图 10：该研究结果（中间三图）和照片（最左图）以及 SOTA 手持材质扫描工作 [Nam et al. 2018] 重建结果（最右图）的对比。
研究人员希望该研究能够抛砖引玉，启发一系列有趣的未来研究方向，例如将该研究的成果应用到类似硬件配置的平板电脑上（如 iPad Pro，它拥有前置摄像头以及可作为光源的可编程屏幕）；还可以研究如何结合几何扫描仪的原理，来研制可微分几何与材质联合采集设备。
作者简介
论文第一作者马晓鹤，22 岁，浙江大学 CAD&CG 国家重点实验室二年级博士研究生。研究方向是高精度材质采集与建模。
个人主页：http://xiaohema98.com/
论文作者康凯彰，浙江大学 CAD&CG 国家重点实验室三年级博士研究生，本科毕业于浙江大学竺可桢学院混合班，曾获得陆增镛 CAD&CG 高科技奖二等奖和 ACM Student Research Competition 本科组全球第二名。研究方向是材质采集、建模与绘制。
个人主页：http://cocoakang.cn/
论文作者朱瑞昇，浙江大学 CAD&CG 国家重点实验室二年级硕士研究生。研究方向是材质建模与高效绘制。
论文通讯作者吴鸿智，浙江大学计算机科学与技术学院副教授、博士生导师，国家优青基金获得者。博士毕业于美国耶鲁大学，师从 Julie Dorsey 和 Holly Rushmeier 教授。主要研究兴趣为高密度采集装备与可微分建模，研制了多套具有自主知识产权的高密度光源阵列采集装备，发表了 ACM TOG 期刊论文 10 余篇，合作出版了计算机图形学译著 2 部，主持了国家自然科学基金多个研究项目以及微软亚洲研究院合作项目。担任 Chinagraph 程序秘书长，中国图像图形学会国际合作与交流工作委员会秘书长、智能图形专委会委员，以及 PG、EGSR、CAD/Graphics 等多个国际会议的程序委员会委员。
通讯邮箱：hwu@acm.org
个人主页：https://svbrdf.github.io/
论文作者周昆，浙江大学计算机科学与技术学院教授、浙江大学 CAD&CG 国家重点实验室主任，教育部长江学者、国家杰青基金获得者，ACM Fellow、IEEE Fellow、相芯科技创始人。研究领域包括计算机图形学、人机交互、虚拟现实和并行计算。现 / 曾担任 Visual Informatics 创刊主编，ACM TOG、IEEE TVCG / CG&A、《中国科学》等编委。担任中国图象图形学学会智能图形专委会主任、中国人工智能学会智能交互专委会副主任。曾获得国家自然科学二等奖、中国青年科技奖、MIT TR35 Award、陈嘉庚青年科学奖。
个人主页：http://kunzhou.net/
参考文献
1.Miika Aittala, Tim Weyrich, and Jaakko Lehtinen. 2015. Two-shot SVBRDF Capture for Stationary Materials. ACM Trans. Graph. 34, 4, Article 110 (July 2015), 13 pages.
2.Giljoo Nam, Joo Ho Lee, Diego Gutierrez, and Min H Kim. 2018. Practical SVBRDF acquisition of 3D objects with unstructured flash photography. ACM SIGGRAPH Asia Technical Papers. 267.
3.Kaizhang Kang, Cihui Xie, Chengan He, Mingqi Yi, Minyi Gu, Zimin Chen, Kun Zhou, and Hongzhi Wu. 2019. Learning efficient illumination multiplexing for joint capture of reflectance and shape. ACM Trans. Graph. 38, 6, Article 165 (November 2019), 12 pages.
亚马逊云科技中国峰会
2021亚马逊云科技中国峰会将在中国上海、北京、深圳三大城市举办。本次峰会以“构建新格局，重塑云时代”为题，并携手众多业内领先的技术践行者们一起同你分享“云时代的构建故事与重塑经验”。
7月21日-22日，2021亚马逊云科技中国峰会上海站将有多位重磅业内专家及行业大咖在现场分享独到的行业见解。
面向开发者，本次峰会将专门设立开发者专区，并联合 Apache 等各类开源社区，以及多位开源牛人，为开发者们带来脑洞大开的内容分享！
面向行业，近百位来自业内各领域的合作伙伴、客户及亚马逊云科技技术专家，共同组成的强大嘉宾阵容，为你带来行业最佳实践分享及领先技术成果发布解读！
识别下方小程序，立即报名。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：content@jiqizhixin.com