把你手机里的照片秒变3D！Facebook训练了一个CNN端到端系统

新智元报道

来源：techxplore

编辑：永上

【新智元导读】Facebook研究人员，开发出一个卷积神经网络端到端系统，已经能实现几秒钟内，将任何设备上拍摄的2D图像转换成3D图像。

现在人人都用手持设备（例如手机、平板）等拍照，并通过简单的修图应用对图片编辑处理。人们通过不同的修图工具，能轻松创造出不同风格的图片。

训练卷积神经网络，依托计算机视觉、图形学和机器学习

最近Facebook研究人员，通过Facebook AI开发的移动优化技术，训练卷积神经网络，在数百万的3D图像中，学习其附带的图像深度，可将任何设备拍摄的照片自动转换为3D图像。

系统根据输入的2D图像，自动进行深度估计，实现2D到3D的实时转换，仅需花费几秒钟即可完成处理。

该框架还结合了纹理修补，对输入的2D图像进行几何捕捉，以使得它能在转换为3D图像时更加生动逼真。每一个步骤都是自动的，直接在用户的移动设备中对2D图像进行各种各样的模型优化，没有设备内存和数据传输能力的限制。

输入图片：

处理过程：

输出图片：

这项技术对设备没有要求，几乎可处理任何照片，此前Facebook 3D转换还需要照片是由双镜头摄像头拍摄完成。

实时转换，无需摄影技巧

Facebook团队将在SIGGRAPH 2020（计算机图形学和互动技术大会 2020）上展示。SIGGRAPH 2020将在今年8月17日线上举行，届时来自各个领域的专业人士，将展示他们从不同角度对计算机图形学和互动技术的研究。作为该领域最重要的行业会议之一，许多前瞻性想法和研究都会在会议中得到展示和讨论。

2018年底，Facebook为其「照片功能」引入了2D转3D的功能。但那时还需要Facebook用户用配有双镜头相机的手机拍照才能实现。

现在，Facebook团队为其增加了一种算法，可以自动为输入的2D图像深度估计，改良后的技术能直接应用于任何移动设备，不限于Facebook App，且无需是双镜头摄像头拍摄的图片。

「过去的一个世纪里，摄影经历了几次技术「升级」，提高了人们的沉浸感。起初所有的照片都是黑白和颗粒状的，后来出现了彩色照片，然后数码照片带给我们更高质量和高分辨率的图像」。Facebook科学家，也是这项技术的主要研究者Johannes Kopf说，「现在有了3D图像，让照片更具生命力和真实感」。

3D图像为人们提供了「身临其境的图像体验」，依托于计算机视觉、图形学和机器学习的通力合作以及技术进步。

现在，Facebook研究小组正在研究机器学习方法，这种方法能够对移动设备拍摄的视频进行有效深度估计，未来将适用于视频的2D转换3D。

参考链接：

https://techxplore.com/news/2020-06-photos-d-mobile-device.html