CVPR 2022 | Point-NeRF

随着CVPR 2022论文放榜，知乎上出现了一个问题 “CVPR2022 有什么值得关注的论文 ?”，目前排名第一的是Qiangeng的回复，以下是其回复的正文（已获授权）。

上帝说，要有光，于是就有了我们这篇 Point-NeRF。

本文是第一篇在点上encode “Neural radiance fields” 的文章。是作者于Adobe Research实习期间搞的。做NeRF的都知道，明明目标是一个场景重建，却一定要用一个网络把一切都记住，从无到有开始优化， 因此不 efficient，也很难scale。其实场景重建，很多上古方法就已经很优秀了，例如 multi view reconstruction或者structure from motion。既然能大致出‘’点‘’来还原geometries，为何不在这些点上直接做neural radiance fields?

因此，我们先用multi-view image 还原大致物体geometry 并攫取features，在此基础上，做differentiable volume rendering，这样点上的radiance feature就能得到优化啦，快速，准确，强大。并且我们的模型也可以在准备好的point cloud 例如COLMAP points, 进行高速radiance fields优化。

这不，国际上都传开啦，给大家上视频效果：

http://mpvideo.qpic.cn/0bc3auabaaaaf4ajaxa7pvrfabodcacqaeaa.f10002.mp4?dis_k=991d3330df562e8a9ae1938852c161b0&dis_t=1648728903&vid=wxv_2292427443279888394&format_id=10002&support_redirect=0&mmversion=false

还可以轻松解决大场景scalable ：

http://mpvideo.qpic.cn/0bc3dqaboaaafmajgxy7evrfahgdc4oaafya.f10003.mp4?dis_k=6ee100cea17d17de01e214226d3ec8b2&dis_t=1648728903&vid=wxv_2292444846252490761&format_id=10003&support_redirect=0&mmversion=false

有人就问了，你不能优化geometry的吗，initial 重建的不好不能改吗？当然能，而且我们还可以有消点和涨点的机制，甚至于可以从1000个随机分散的点开始，慢慢把物体长出来，不只是radiance fields，Modeling也拔高了:

http://mpvideo.qpic.cn/0bc3saabmaaafmajk5q7j5rfbegdc2iaafqa.f10002.mp4?dis_k=b01dd668ce7ccf0eaa95ad5181715fa1&dis_t=1648728903&vid=wxv_2292442757707202567&format_id=10002&support_redirect=0&mmversion=false

论文：arxiv.org/abs/2201.08845

主页：xharlie.github.io/projects/project_sites/pointnerf

代码：github.com/Xharlie/pointnerf

© THE END