Facebook F8讲到的3D照片是怎么一回事？

hi188｜ 撰文

今年5月份Facebook F8大会上，公布了一项3D照片的新功能，并有一段Demo展示，不知大家是否记得。近日，Facebook计算摄影团队公布了该功能相关论文，今天我们来看看它是怎么实现的。

根据青亭网之前的报道，Facebook 3D照片可直接嵌入新闻流中，就像传统2D图片一样。而3D照片则可以通过左右倾斜手机实现3D视角的变化，而这种格式的照片适合拍摄人物、动物、风景、全景等多种场景。

从Demo来看，这种3D照片“看上去”包含一定的深度信息，并且在左右晃动时有不同层级的变化，立体感强烈，感觉像是一个小范围的6DoF短片。

3D照片和我们常见的3D控件并不完全一样，3D控件可以实现360度各个角度的观看，而这种3D照片仅能实现单个角度以微小幅度查看周围的场景。

据青亭网了解，3D照片是由位于西雅图的Facebook计算摄影部门的科学家Johannes Kopf领导完成的，本次公布的论文是由Kopf和伦敦大学学院的Peter Hedman合作完成的，他们还将于8月份举行的SIGGRAPH（美国计算机图形学和交互技术爱好者相关会议）上进行展示。

Kopf指出：“有趣的是，3D照片这项成果的研究初衷并不是用来提升和完善当前2D照片的不足，而是从如何让VR内容创作变得更简单的角度出发。”之所以做这个工具，那是因为Facebook上普通的网友并没有构建3D模型或创建VR内容的工具和能力。

其中典型的例子是，360度全景图片，虽然其可在VR中有很好的体验，因为其可以看到各个角度图像，但是它还不具备变革性。为此，Kopf决定为照片添加深度信息。

我们了解到的第一版本，用户可以通过移动相机来完成，然后通过仔细分析视差以及手机的动作，再以3D形式的进行场景重建。

与此同时，通过单个相机拍摄多张照片来推断深度信息是需要CPU计算的过程，尽管这种方式能完成该任务，但由于时间较长，因此依旧比较落后。而且，当今主流手机几乎都具备了双摄像头，那么接下来他们就通过双摄手机来完成3D照片的拍摄。

我们知道，通过两台相机像个一段距离同时拍摄，无论拍摄对象处于精致还是运动状态，都可以捕捉到视差。得益于双射手机中2个摄像头距离非常小，因此这种深度数据的噪音也比较小，只需处理少量数据即可进行分析，也进一步降低了对硬件的高性能处理需求。

它的工作原理是，通过手机双摄像头分别拍摄一张照片，并且通过手机即可计算出图像中的深度信息，对图像中所有帧进行距离计算并重新编码，结果看如下图。

a，iPhone 7+iOS算法计算的深度图像；b，单张图像急＋CNN生成的深度地图；c，结合动态（陀螺仪）数据的深度图像

据悉，苹果、三星、华为、谷歌几家的手机中都有自己的方法来实现这种拍摄方式，尽管目前手机厂商往往将其应用于实现拍照背景虚化。

但随之而来的问题是，用这种方法生成的深度图像并不具备足够的参考价值，主要体现在多张深度图像信息的颜色代表的比例并不相同，例如2张图片中都是红色的区域，理论上应该距离等同，但实际上却有较大的距离，因此拼接起来就非常痛苦。

在这套系统中，用户通过移动手机来拍摄多张图片，系统每秒会拍摄一张图像（实际上是2张照片和1张深度图），然后再进行合成。

然后开发人员通过这套算法中加入了运动检测功能（获取陀螺仪数据），这些数据将联合用于深度图像拼接和形状调整，并使其良好对齐的空间变化贴图。

这不仅可以创建经多次曝光的平滑和相对准确的深度图，而且速度相对很快，大约1秒即可生成，这就是他们将该功能称为“即时3D摄影”的原因了。

接下来将多张照片拼接在一起，这也是全景图片常见的处理方式，通过新的和改进的深度图还可以加快处理速度，降低处理难度。

因为每张图片包含的深度信息不同，因此将这些数据整合器来非常困难。例如左侧和中间的图片中，往往会丢失一些图像信息或者深度数据不正确等。而右边则是Facebook的方法。

接下来将深度图像转化为3D网格，然后检查网格是否有明显的边缘，例如前景中的栏杆是否遮挡了背景中的物体。之后沿着边缘将不同“距离段”间的物体分隔开来，让它们处于不同的浮层，并随着视角变化而移动。

虽然这种方法能够有效的创建带有3D效果的图像，但是可能会问，如果是拍着人脸呢，这种没有明显分层的对象该怎么处理呢？

为了解决这一问题，该团队采用了卷积神经网络图像进行最后一步处理。这个过程有点像内容感知填充浮层，用计算机模拟对缺失的浮层进行补充，例如这附近是头发丝，那么计算机就会将这一特性延续，也包括颜色、形状等都会分析延续。由此一来，通过计算机算法的模拟填充，就可以在人脸等特殊场景下实现类似的3D环绕效果。

最终，用这种方法即可快速拍摄一个具有环绕效果的3D照片，它即可以在VR中观看，又可以直接在网页中浏览。

综合来看，Facebook的这套方法在实际体验中并不需要下载插件或学习新的操作方法，任何人都能快速拍摄3D照片，而且效果也还算理想，尤其是在手机新闻流中浏览，其会伴随着手机的转动而呈现立体版的效果。

据了解，该功能将于今年夏天推出。但是，本文中介绍的3D照片拍摄将局限于双摄手机，这也是目前为数不多的限制，好处是任何人（任何设备）都可以查看3D照片。

同时，该论文也讲到了一个利用卷积神经网络通过单摄像头手机拍摄3D照片的可能性，但不如双摄像头手机效果好。如果对本论文感兴趣，可在自行了解。

本文参考，TechCrunch，论文地址：http://visual.cs.ucl.ac.uk/pubs/instant3d/

（END）