每日学术速递10.6

1.ActorsNeRF: Animatable Few-shot Human Rendering with Generalizable NeRFs(ICCV 2023)

标题：ActorsNeRF：使用可泛化 NeRF 进行可动画化的少镜头人体渲染

作者：Jiteng Mu, Shen Sang, Nuno Vasconcelos, Xiaolong Wang

文章链接：https://arxiv.org/abs/2304.14401

项目代码：https://jitengmu.github.io/ActorsNeRF/

摘要：

虽然基于 NeRF 的人类表征已经显示出令人印象深刻的新颖视图合成结果，但大多数方法仍然依赖大量图像/视图进行训练。在这项工作中，我们提出了一种新颖的可动画 NeRF，称为 ActorsNeRF。它首先针对不同的人类主体进行预训练，然后使用少量单眼视频帧进行调整，以适应具有未见过姿势的新演员。ActorsNeRF 基于之前使用 ConvNet 编码器共享参数的可泛化 NeRF，进一步采用两个人类先验来捕获较大的人类外观、形状和姿势变化。具体来说，在编码的特征空间中，我们将首先在类别级规范空间中对齐不同的人类主体，然后在实例级规范空间中对齐来自不同帧的同一个人进行渲染。我们定量和定性地证明，ActorsNeRF 在对新人物和多个数据集上的姿势的小样本泛化方面显着优于现有的最先进技术。项目页面：此 https URL

2.MatrixCity: A Large-scale City Dataset for City-scale Neural Rendering and Beyond(ICCV 2023)

标题：MatrixCity：用于城市规模神经渲染及其他领域的大型城市数据集

作者：Yixuan Li, Lihan Jiang, Linning Xu, Yuanbo Xiangli, Zhenzhi Wang, Dahua Lin, Bo Dai

文章链接：https://arxiv.org/abs/2309.16553

项目代码：https://city-super.github.io/matrixcity/

摘要：

神经辐射场（NeRF）及其后续变体在神经渲染方面取得了显着进展。虽然最近大多数神经渲染工作都集中在对象和小规模场景上，但开发针对城市规模场景的神经渲染方法在许多实际应用中具有巨大潜力。然而，由于缺乏全面且高质量的数据集，这方面的研究受到阻碍，而在真实的城市规模场景中收集这样的数据集成本高昂、敏感且技术困难。为此，我们为城市规模的神经渲染研究构建了大规模、全面、高质量的合成数据集。利用虚幻引擎 5 城市样本项目，我们开发了一个管道，可以轻松收集空中和街道城市视图，并附有地面实况相机姿势和一系列附加数据模式。我们的管道中还可以灵活控制光线、天气、人和车流等环境因素，支持涵盖城市规模神经渲染等各种任务的需求。生成的试点数据集 MatrixCity 包含来自两个总大小 28km2 的城市地图的 67k 航空图像和 452k 街道图像。在 MatrixCity 之上，还进行了彻底的基准测试，不仅揭示了城市规模神经渲染任务的独特挑战，而且还强调了未来作品的潜在改进。数据集和代码将在我们的项目页面公开：此 https URL。

3.Guiding Local Feature Matching with Surface Curvature(ICCV 2023)

标题：用表面曲率指导局部特征匹配

作者：Shuzhe Wang Juho kannala Marc Pollefeys Daniel Barath

项目代码： https://github.com/ AaltoVision/surface-curvature-estimator

摘要：

我们提出了一种称为曲率相似性提取器（CSE）的新方法，用于改进图像之间的局部特征匹配。CSE 通过将二次曲面拟合到预测的单目深度图，以视点不变的方式计算每个检测到的特征点的局部 3D 表面块的曲率。然后，将该曲率用作与 SuperGlue 和 LoFTR 等现成匹配器进行特征匹配的附加信号。此外，CSE 通过连接匹配器和深度预测器网络来实现端到端联合训练。我们的实验在大规模现实数据集上证明，CSE 持续提高了最先进方法的准确性。微调深度预测网络进一步提高了准确性。所提出的方法在 ScanNet 数据集上取得了最先进的结果，展示了将 3D 几何信息纳入特征匹配的有效性。