谷歌研究利用AI合成图片,使静态图片动起来

AiTechYun

编辑:chux

谷歌的研究人员开发了一个基于深度学习的系统,可以将立体相机,VR相机和双镜头相机(如iPhone 7或X)拍摄的静态图像转换为短视频。

“给出两个图像与已知的相机参数,我们的目标是让深层神经网络来推断适合于合成同一场景的视角,特别是在输入视图之外进行推断。”研究人员在研究中写道。

研究者使用NVIDIA的Tesla GPU的P100和cuDNN -accelerated TensorFlow深度学习框架,基于7000多个房地产类视频训练系统。

视频内容

“我们基于多平面图像(MPI)的视点合成系统可以处理室内和室外场景,”研究人员提出,“我们成功地将它应用于与我们训练数据集中场景截然不同的场景。学习过的MPI可以有效地表现出部分反射或透明的表面。”

该团队表示,他们的系统比以前的方法性能更好,并且可以有效地放大手机和立体相机拍摄的立体图像的狭窄基线。

“我们的方法在保留测试中表现出更好的数字性能,并且还生成了更多空间稳定的输出图像,因为我们推断的场景视图综合了所有合成的目标视图。”

端到端学习管道概述。给定输入立体图像对,团队使用全卷积深度网络来推断多平面图像表示。对于每个平面,网络直接预测alpha图像,并且通过使用参考源和预测背景图像混合彩色图像,其中混合权重也是用网络输出。在训练期间,网络被优化,以预测使用可微分渲染模块重建目标视图的MPI。在测试过程中,MPI视图表示仅针对每个场景推断一次,然后可以用最少量的计算(单应性和alpha合成)来合成新视图。

该团队承认他们的模型还有待改善,但他们相信该方法可用于从两个输入图像中推断数据,生成允许多维视图移动的光场。

本文分享自微信公众号 - ATYUN订阅号(atyun_com)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CreateAMind

苹果AI论文 SimGANs 代码及详解及自动驾驶的应用

代码:https://github.com/wayaai/SimGAN 下文介绍有不少改进。链接不少是链接到代码。阅读原因可点击相关链接。

19030
来自专栏应兆康的专栏

26. 训练集误差分析

18550
来自专栏贾志刚-OpenCV学堂

谷歌机器学习速成课程系列一

谷歌tensorflow官方推出了免费的机器学习视频课,总计25个课时,支持中英文语言播放、大量练习、实例代码学习,是初学tensorflow与机器学习爱好者必...

15430
来自专栏决胜机器学习

机器学习(二十二) ——推荐系统基础理论

机器学习(二十二)——推荐系统基础理论 (原创内容,转载请注明来源,谢谢) 一、概述 推荐系统(recommendersystem),作为机器学习的应用之一,...

38030
来自专栏机器之心

学界 | UC Berkeley新研究:多视角图像3D模型重建技术

选自BAIR 作者:Abhishek Kar 机器之心编译 参与:李泽南、蒋思源 想象一下图片中的椅子。人类具有无与伦比的推理能力,可以在看到单张图片的情况下想...

479100
来自专栏目标检测和深度学习

从基础概念到数学公式,这是一份520页的机器学习笔记(图文并茂)

17240
来自专栏钱塘大数据

【干货】从基础概念到数学公式,学霸的机器学习笔记

导读:近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的...

18120
来自专栏小小挖掘机

IJOC“考虑聚合多样性的可扩展优化推荐系统”论文解析

本文是针对发表在《INFORMS Journal on Computing》上的一篇论文 “Incorporating Aggregate Diversity...

28330
来自专栏数据科学与人工智能

【数据科学】数据科学经验谈:这三点你在书里找不到

什么样的处理才算是正确的处理呢?为了目的不择手段?只要得到好的预测性能就万事大吉?事实确实如此,但是这么做的关键在于,你能确保未知数据也能有个不错的表现。就像我...

307100
来自专栏小詹同学

人脸识别(一)——从零说起

这是关于人脸的第①篇原创!(源码在第三篇) 人脸识别的英文名称是 Face Recognition,前段时间查找资料学的时候发现,不少人将人脸识别和人脸检测(...

704100

扫码关注云+社区

领取腾讯云代金券