CVPR 2026 | 3DReflecNet：弱纹理物体3D重建的大规模数据集

转载自：港中深网络与AI系统实验室

论文速递

CVPR'26——面向高反光、透明与弱纹理物体3D重建的大规模数据集

近日，香港中文大学（深圳）网络与人工智能系统实验室（NAIS Lab）团队在 CVPR 2026 上发表的研究《3DReflecNet: A Large-Scale Dataset for 3D Reconstruction of Reflective, Transparent, and Low-Texture Objects》获得了所有审稿人满分评价被大会以oral规格录用。这一成绩反映了学术社区对于解决复杂非漫反射材质 3D 重建难题的迫切需求与高度共识。 本论文第一作者为博士生梁志成，指导老师为理工学院王方鑫教授、崔曙光教授。研究团队成员还包括港中深余昊毅、李博言、曹子健、龚天翼，首都师范大学张大猷，以及南加州大学刘俊华。

1

会议介绍

IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 是全球计算机视觉与模式识别领域的顶级学术会议，在全球人工智能学术界和工业界享有盛誉。CVPR 2026 将于美国丹佛举办。本届大会共收到创纪录的 16,092 篇投稿，其中 4,090 篇被接收，录取率为 25.42%。

2

论文速览

背景介绍

近年来，多视角3D重建技术（如SfM, MVS, NeRF, 3DGS）取得了显著进展，极大提升了数字孪生与场景渲染的保真度 。然而，现有主流算法的成功大多建立在两大核心物理假设之上：“光度一致性”（Photometric Consistency）和“存在独特的几何纹理特征”。 当处理现实世界中极具代表性的高反光金属、透明玻璃以及光滑无纹理的陶瓷等复杂材质时，这些假设会被瞬间打破。算法往往会出现位姿估计失败、几何结构扭曲或严重的渲染伪影。虽然工业界与学术界对此备受关注，但当前主流的数据集（如DTU, CO3D等）多以漫反射物体为主，难以全面支撑非漫反射材质的算法评估与模型迭代 。

图 1 在反射或透明表面上，轻微的位姿估计误差也会导致多视角下几何结构的不一致与显著的渲染伪影。

核心发现

传统研究常将重建失败归因于算法调参或特征提取能力不足，而本研究通过物理模型推演指出：算法失效的根本原因在于其简化的特征匹配逻辑与现实世界复杂的全局光线传输机制之间存在结构性冲突 。 如图2所示，研究团队系统梳理了材质特性对现有算法基础假设的破坏路径：

1. 弱纹理物体：表面缺乏高频反照率变化，直接导致 SfM 无法找到有效匹配点，使得 MVS 的代价体积失去判别力，重建出充满噪声或过于平坦的错误几何 。
2. 高反光物体：微面元与菲涅尔效应带来强烈的视点相关性镜面反射，打破了“光度一致性”假设。算法极易将随视点移动的高光点误认为是几何特征 。
3. 透明物体：光线的透射与折射不仅破坏了颜色一致性，更从根本上打破了多视角三角测量的极线几何基础（光线直线传播假设），导致算法系统性崩溃 。

图 2 随着材质金属度（Metallic）、粗糙度（Roughness）、折射率（IOR）和透射率（Transmission）的变化，现有算法在重建质量上出现了系统性的衰退。

研究介绍

为填补这一领域的空白，团队推出了 3DReflecNet 框架。如图3所示，这是一个体量达 22 TB 的合成-真实混合（Hybrid）超大规模数据集，专为应对非漫反射物体的感知与重建挑战而设计。

图 3 3DReflecNet 包含极其丰富的几何拓扑与逼真的物理材质组合

1. 突破规模的混合资产库与材质场：数据集包含超过 120,000 个物理渲染（PBR）合成实例和 1,000 多个真实世界扫描物体，累计提供超过 700 万帧高质量多视角图像。几何库涵盖 9 大高级语义类别，并精细划分了包括金属、透明、光泽-弱纹理在内的 22 种挑战性物理材质。为了模拟复杂的物理干涉，数据集引入了“近场照明”以及动态的“Camera-Through-Glass”镜面反射捕捉机制。
2. 结合 2D 到 3D 扩散模型的数据引擎：为了打破预设 3D 资产库的数量与拓扑瓶颈，团队构建了一套自动化资产生成管线。该管线利用最新的扩散模型（如 Hunyuan3D-2.1），将真实照片或大语言模型生成的 2D 图像转化为高质量 3D 网格，并重新进行严谨的物理属性绑定与渲染，赋予了数据集无限扩展的能力。
3. 解决无特征追踪的真实世界采集方法：面对完全没有稳定特征的实拍复杂物体，团队设计了“位姿解耦采集方法”。通过具有丰富纹理的底座锁定精确的相机外参，并结合SAM2分割模型剥离背景，确保了极端材质下真实世界采集数据视角位姿的准确性。

实验结果

在 3DReflecNet 的支持下，团队对五大核心 3D 视觉任务进行了基准测试，客观展现了当前技术的性能瓶颈。

1. 图像匹配任务（Image Matching）：底层特征的溃败 在具有平滑表面的非漫反射物体上，目前最先进的密集特征匹配网络 ROMA 在严格的误差阈值下，AUC 仅为 32.1%。相比其在传统漫反射数据集上高达 62.6% 的表现，出现了断崖式下跌，表明网络难以区分真实几何结构与光学幻影。
2. 相机位姿预估（Camera Pose Estimation）与运动恢复结构（SfM）： 准确的相机位姿估计是所有多视角 3D 重建任务的前提 。在该基准测试中，团队评估了 10 种代表性方法在 3DReflecNet 物体中心的多视角图像上估计相机参数的表现 。如图4所示，实验结果表明，由于缺乏高频漫反射纹理以及受到视点相关高光的严重干扰，绝大多数现有主流方法难以应对这一挑战，极易陷入局部最优或发生位姿发散，无法恢复准确的相机外参和稀疏点云 。

图4 相机姿态估计结果

1. 新视角合成（NVS）与表面重建（Surface Reconstruction） 所有参测模型（包括 Instant-NGP、3DGS、2DGS 等）在漫反射物体上均能达到 36 dB 以上的高保真渲染；但一旦引入金属和透明材质，性能出现大幅下降 。 在透明物体上，NVS 的 PSNR 全面跌入 17-21 dB 区间 。如图5所示，在以倒角距离衡量的表面重建精度上，部分依赖平面先验的高效算法（如 PGSR）因强烈折射噪声干扰而彻底失效，生成大量错误的几何悬浮物 。

图5 新视角合成结果：我们的数据集在Diffuse材质上表现良好的算法，在Transparent和Metallic材质上出现了严重的结构缺失和悬浮物堆砌。

1. 细粒度参数剥离分析： 团队对 48 种物理参数组合的变量控制实验表明：对于非金属不透明材质，粗糙度是决定重建质量的绝对主导因素，而折射率影响微弱；但一旦引入金属或透明二元属性，会导致重建性能的全局性退化 。

研究意义和展望

团队提出的 3DReflecNet 首次系统化、规模化地将复杂材质物体的光学特性与 3D 重建算法的结构性短板进行了量化映射。该满分工作的核心意义在于：它不仅为社区提供了一个高质量的数据基座，更明确指出了下一代 3D 视觉系统必须从单纯的“像素色彩拟合”向融合全局光线传输机制的“物理感知（Physically-aware）”方向演进。

此外，基于大型视觉-语言模型（VLLM）构建的高达 12.6 万条精细物理与语义结构化标注，使该数据集能够平滑支持未来的生成式 3D 视觉任务（如材质感知的 Text-to-3D、图像重光照编辑等），为构建更具鲁棒性的现实世界数字孪生系统铺平了道路 。

参考文献

• Zhicheng Liang, Haoyi Yu, Boyan Li, Dayou Zhang, Zijian Cao, Tianyi Gong, Junhua Liu, Shuguang Cui, Fangxin Wang, "3DReflecNet: A Large-Scale Dataset for 3D Reconstruction of Reflective, Transparent, and Low-Texture Objects", in Proceedings of IEEE/CVF CVPR, Denver, USA, June 3-7, 2026

港中深NAIS Lab介绍

香港中文大学（深圳）网络与人工智能系统实验室（NAIS Lab）成立于2021年，致力于网络通信，人工智能与系统的前沿研究，主要研究方向包括多媒体网络与系统，人工智能赋能网络与通信，云边端协同计算等等，在SIGCOMM、NSDI、CVPR、TMC、TON、TVCG、INFOCOM、AAAI等顶级会议期刊发表论文100余篇。实验室主页详见：https://naislab.cn/ 及

https://mypage.cuhk.edu.cn/academics/wangfangxin/.

本文系学术转载，如有侵权，请联系CVer小助手删文