科技:研究人员使用AI为电影添加4D效果

导语:詹姆斯卡梅隆的三维电影“阿凡达”试图在2009年首次发行时改变电影体验,为观众创造一个身临其境的世界。但是,如果您还想直接从电影院座位上飞过女妖,那么您还想感受热和风吗?

虽然已经存在少量所谓的添加物理元素的“4D” 电影,但多伦多大学的研究人员正致力于更广泛地应用该功能。

“通常情况下椅子会摇晃,观看电影时可能会有晃动或其他一些互动,”Yu Yu Zhou说,他是爱德华S.罗杰斯电气与计算机工程系高级四年级本科生娱乐。“现在所有这些效果都是从第一阶段的制作中产生的。我们希望为最初不是为4-D影院创作的电影自动化这种过程。”

周先生正在与计算机科学博士后研究员Makarand Tapaswi和密西沙加大学数学与计算科学系助理教授Sanja Fidler以及计算机科学三校区研究生部门合作。他们最近在犹他州盐湖城举行的计算机视觉和模式识别(CVPR)会议上发表了他们的作品“现在你摇晃我:走向自动4D电影”。

周说,一部四维电影通常是从第一人称视角或相机中看到的。如果加勒比海盗中的威尔特纳感觉到风吹过他的脸,而电影观众想体验特纳,那么他们也必须经历风。

“我们希望有一个功能,你只需翻转开关,体验角色的感受,”周说。为了将普通或3D电影用于4D,研究人员使用自由网站来评论电影对其4D预测模型的影响。

“例如,在指环王:戒指的团契,佛罗多将萨姆从水中拉出来,但同时发生了几种影响,”周说,他在第三年的本科学习期间开始与菲德勒合作。“首先,他拉他,与手有物理交互。当Sam回到水中时,他拉着佛罗多,船摇了摇。

“相机是你的输入,”Tapaswi补充道。“但在这种情况下,你不仅要体验相机所看到的东西,还要体验其中一个角色, 重温角色感受到的震动等等。”

虽然4D技术仍处于物理交互范围之外,也就是说,拉手,Tapaswi设想压力传感器在技术进步时模拟触摸。该模型可以证明在虚拟现实或增强现实等其他领域非常有用。“我们正在为将来的研究收集这些类型的注释,”周说。

对于他们的数据集,他们应用了效果分类和检测。对于效果分类,周说他们的神经网络,机器学习的功能,允许深入分析和学习数据,从短片中提取功能,包括运动和音频。他说,为了进行检测,神经网络可以在长视频片段中预测效果是什么以及它们发生在何处。

“你不仅想知道特定镜头中角色会发生什么。你想能够说, 效果现在是风,不仅因为我现在看到了风,而且[因为]可能之前风很大,“塔帕斯维说。

研究人员发现,某些类型的电影往往具有相似的效果。例如,像星际或重力这样的太空电影。Tapaswi说,这可以看作是一种新颖的聚类方式。

结语:“通常有三维电影,电影观众戴眼镜,坐在椅子上,”周说。“通过自动4-D影院,神经网络将处理2-D和3-D电影信息,将其送入椅子,并模拟效果。”

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181030A0VQV200?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券