学习从单个图像合成4D RGBD光场

每天一分钟，带你读遍机器人顶级会议文章

标题：Learning to Synthesize a 4D RGBD Light Field from a Single Image

作者：Pratul P. Srinivasan, Tongzhou Wang, Ashwin Sreelal, Ravi Ramamoorthi, Ren Ng

来源：International Conference on Computer Vision (ICCV 2017)

编译：王嫣然

审核：颜青松 陈世浪

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

本文提出了一种机器学习算法，该算法将2D RGB图像作为输入合成4D RGBD光场（每个光线方向上包含场景的颜色和深度）。

为训练算法，本文使用了最大的公共光场数据集，包括超过3300个含有花卉和植物的全景摄像机光场。我们的合成方法包含三个阶段，第一阶段卷积神经网络CNN估计场景几何，第二阶段利用场景几何渲染Lambertian光场，第三阶段再次利用CNN预测遮挡光线和non-Lambertian效应。

图1 4D RGBD光场合成算法结构图

本文算法建立在最新视图合成方法的基础上，但在预测每个光场光线的RGBD和利用相同场景点相交强调光线深度一致性以改进单个无监督图像深度估计方面是独特的。

图2 L1误差对比图

为了定量验证算法结果，本文对比了所提算法与appearance flow算法的L1误差与视图位置u的平均L1误差，实验证明该算法优于appearance flow算法。

点击边框调出视频工具条

Abstract

We present a machine learning algorithm that takes as input a 2D RGB image and synthesizes a 4D RGBD light field (color and depth of the scene in each ray direction). For training, we introduce the largest public light field dataset, consisting of over 3300 plenoptic camera light fields of scenes containing flowers and plants.Our synthesis pipeline consists of a convolutional neural network (CNN) that estimates scene geometry, a stage that renders a Lambertian light field using that geometry, and a second CNN that predicts occluded rays and non-Lambertian effects. Our algorithm builds on recent view synthesis methods, but is unique in predicting RGBD for each light field ray and improving unsupervised single image depth estimation by enforcing consistency of ray depths that should intersect the same scene point.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！