英伟达MIT黑科技:用AI生成模型快速构建虚拟世界

来源:Venturebeat

编辑:大明

【导读】英伟达与MIT合作推出视频合成AI新技术,直接用现实视频生成逼真的虚拟世界。未来或许只需一段手机视频,你就可以真正进入心仪的游戏中去当英雄了!

最近英伟达的黑科技有点多。

英伟达的研究人员打造出一个新的AI生成模型,可以使用来自YouTube等来源的真实视频创建虚拟环境,这可能影响游戏开发和人工智能的未来。

“这是一种新的渲染技术,基本上只需使用草绘图作为输入,可以处理对象的高级表示以及它们在虚拟环境中的交互方式。由模型实际上处理细节、细化纹理和照明环境等等,最后输出完全渲染的图像。“英伟达应用深度学习副总裁Bryan Catanzaro在接受采访时表示。

Bryan Catanzaro,看扮相就像是搞黑科技的

这一系统使用百度的自动驾驶项目的Apolloscape采集的视频进行训练。系统将这些视频的草绘图,比如树木、建筑物、汽车和行人等都输入到模型中。

Catanzaro和其他英伟达的研究人员与MIT CSAIL的学生们合作,撰写了题为"Video-to-Video Synthesis"的论文,文中对这一技术做了详细阐述。

论文地址:

Video-to-Video Synthesis

https://arxiv.org/pdf/1808.06601.pdf

该模型可以实现快速生成合成环境,可用于训练强化学习的智能体,或让游戏中的玩家产生身临其境之感。

由输入分割映射视频生成的逼真输出视频。左上为输入,其余为不同模型的输出,右下为英伟达和MIT最新模型vid2vid的输出

“想象一下,如果你能在电子游戏中扮演自己的角色。而且,只需要一段自己手机中的视频,就能让你进入虚拟环境,穿上闪亮的盔甲,像骑士一样去做伟大的事情。

“英伟达长期以来一直致力于图形处理技术,因此我们非常高兴能够将图形技术带入AI时代,并使用AI技术生成图形,我们可以从现实世界的视频中了解事物的运作方式,然后根据学到的知识,合成出逼真的、基于实际内容的虚拟图像。”

系统能够考虑诸如对象位置,对象之间的关系以及用于定义对象边缘的映射之类的要素。

英伟达将于NeurIPS 2018大会上演示视频并分享该技术的其他细节。

左侧为样例面部图像输入,中间为草绘图,右侧为输出

Nvidia团队最初的灵感来自于Alexei Efros和加州大学伯克利分校的其他研究人员的Pix2Pix系统的成果。英伟达在此基础上与加州大学伯克利分校的AI研究人员合作,打造了Pix2PixHD系统作为回应。

今年早些时候,加州大学伯克利分校的研究人员还制作了能够跳舞、翻转以及其他20种复杂动作的模型。

样例舞蹈动作——动作提取——输出

“这是我们第一次实现交互式的人工智能场景渲染,我们为此感到自豪。但这项技术目前还处于早期阶段,未来的目标是提供更高质量、通用性更好的输出,以便能够处理更多种类的场景。我对这一技术未来的发展方向感到非常兴奋。”Catanzaro说。

论文链接:

https://arxiv.org/pdf/1808.06601.pdf

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181210B1MYH000?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券