nerf2nerf: 神经辐射场的成对配准

用户1324186

发布于 2023-09-09 09:08:39

3990

发布于 2023-09-09 09:08:39

文章被收录于专栏：媒矿工厂

来源：Arxiv 题目：nerf2nerf: Pairwise Registration of Neural Radiance Fields 作者：Lily Goli, Daniel Rebain, Sara Sabour, Animesh Garg, Andrea Tagliasacchi 论文链接：https://arxiv.org/abs/2211.01600 内容整理：桂文煊本文提出了新的3D配准方法：NeRF 的成对配准技术。核心方法是引入"surface field"（表面场）。然后利用 nerf2nerf registration 作为一个 robust 优化，迭代寻找一个 rigid transfromation 以对齐两个场景的surface field。

介绍

本文介绍了一种用于神经场成对配准的技术，该技术扩展了经典的基于优化的局部配准（即ICP），以在神经辐射场（NeRF）上操作——从校准图像集合中训练的神经3D场景表示。NeRF不分解光照和颜色，因此为了使配准对光照不变，本文引入了“表面场”的概念——从预先训练的NeRF模型中提取的场，该模型测量点在物体表面上的可能性。然后，将nerf2nerf配准视为一种稳健的优化，该方法迭代地寻求对齐两个场景的表面场的刚性变换。通过引入预先训练的NeRF场景数据集来能够有效评估本文技术的有效性。

本文贡献

以往的方法基本都是基于 radiance 对每个场景进行提取几何表示，但是本文nerf2nerf 仅利用 radiance 进行提取几何表示，并且它是依赖于场景中的几何表示，即使在光照配置中有不匹配也可以配准两个不同场景. 论文的主要贡献总结如下：

1、本文引入"surface fields"，作为点云和多边形网格的替代物，以衡量一个Point落在物体表面的概率，完成3D表示。 2、利用surface fields及它对illumination的不稳定性。 3、能够配准两个不同的场。

方法

两个由NeRF表示的3D场景，且都有一个共享的子结构（e.g. 有一个共同的对象），然后寻求一个

T\in SE(3)

,使得两个场景的某些共享子结构对齐。

\tau_a(x),c_a(x,d)=R_a(x,d),x \in B(0,r_a),d\in D \quad (1)

\tau_b(x),c_b(x,d)=R_b(x,d),x \in B(0,r_b),d\in D \quad (2)

其中

B(0,r)

是以原点为圆心，半径为r的欧式圆，D为

R^3

空间中单位向量的子集。在不失一般性的情况下，本文假设域具有相同的规模，并且具有半径为r的有界域，以原点为中心。对两个场景不做进一步的假设，例如知道共享子结构的范围或相同的光照配置。方法仅假设在优化期间可以访问Ra和Rb（即，用于训练 NeRF 的图像不可用），这样就可以将神经场配准问题表述为two-term energy的迭代优化:

arg_T min(1-\lambda^{(t)})*L_{match}(S_a,S_b;T)+\lambda^{(t)}*L_{key}(S_a,S_b;T) \quad (3)

其中

L_{match}

为测量在给定T的情况下两个场之间的距离，

L_{match}

为测量两组 K 个用户标注的关键点

Q \in R^{K*3}

之间的距离，

\lambda^{(t)}=\frac{1}{2}(1+cos(\frac{t\pi}{T}))

由于仅从关键点计算的配准是有噪声的，因此加入项在 T=10000 次迭代中模拟退火优化，将在

L_{key}

中逐步优化的配准关键点，通过

L_{match}

转换去配准场，流程可见图1。

图1 方法流程图

光不变配准

本文提出了 surface field 用于估计某空间坐标位于物体表面的可能性。这是由于没有假设场景中的光线配置是相同的，无法使用亮度项比较来进行评价两个场的对齐效果。使用 NeRF 和它的亮度公式来进行生成场景中几何图形（在 NeRF 中与密度场相关）精确的3D表示。给定空间 x 中的一个点，并假设半径为 δ 的密度恒定的欧式球，可以把 surface field 定义为任何摄像机穿过 x 的射线集中一个表面的可能性的最大值，公式如下：

S(x)=max_{o\in O} S(||o-x|| |(o,\frac{o-x}{||o-x||}))\in[0,1] \quad (4)

上述公式中， O为相机/射线原点集。另外由于两个独立捕获的场景的密度函数不一定相同（由于相机分布和照明配置影响），因此，可以设置

\epsilon=0.5

，来获得保守估计的物体表面场。

S^{\epsilon}(x)=\mathbb{1}(S(x)>\epsilon)\in \{0,1\} \quad (5)

配准策略

由于

S^{\epsilon}(x)

是一个分类为 {0,1} 的场，会导致梯度为 0 或梯度爆炸而不好微分，通过将 categorical field 与各向同性均值为 0 的高斯函数进行卷积可以解决：

S^{\sigma}(x)=S^{\epsilon}(x)*N(0,\sigma^2)\approx E_{z~N(x,\sigma^2)}[S^{\epsilon}(z)] \quad (6)

这样就可以进行可微操作了。

采样

本文提出了 Metropolis-Hastings sampling 抽样方法，在优化迭代过程中，更新样本集 A(t) ——即

A^{(0)}\leftarrow Q_a

,每 N=20 更新一次。算法流程图如图2所示。

图2 采样算法

总结

本文证明了转换为点云这种有损转换是不必要的，并且直接在神经场上操作不仅是可能的，而且比依赖于这种转换的经典管道性能更好。为了实现这一目标，本文引入了表面场的概念，将其作为一种几何表示，可以从 NeRF 中提取，并且对照明配置是不变的。然后，以 ICP 的“风格”将 nerf2nerf 配准正式化为一个稳健的优化问题，并在一个新的数据集上彻底分析了其性能。将来可以有很多方法可以进行扩展，比如实现具有二阶收敛性的求解器、到自动定义关键点而不是依赖用户干预的技术、从深度配准的思想集成等。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2023-08-30，如有侵权请联系 cloudcommunity@tencent.com 删除

函数