文字直接转视频,科学家用机器学习算法实现这种操作 | 黑科技

AAAI 2018大会上,研究团队将对该研究进行详细的报告。

近日,《Science》杂志公布了一项新的机器学习算法,该算法可根据文本或者碎片式的信息来重建完整的视频,如根据证人描述重现事故现场。

据了解,该算法是一种小型神经网络,即一系列小型计算元素层。其主要的工作分为两个阶段:一是通过文本生成视频的“主旨”,即一个模糊的背景图片上加注一些重要的标注;二通过综合“主旨”和文本内容产生一个短视频。此外,在训练过程中,第二部分的网络会对新增加的视频内容进行反复的对比,以提升性能。

目前,研究人员采用了十种生活场景对其训练,包括在草地上打高尔夫、在海上玩风筝冲浪等,算法生成的图像还比较粗糙,呈现VHS录像的颗粒感画面。现在,可达到高准确率的视频约为32帧,持续时间为1秒,大小为64×64像素。研究人员之一,杜克大学的计算机科学家Yitong Li解释道,“更高的分辨率会降低其准确度。”

虽然当前算法生成的视频尚十分粗糙,但是这项研究实现了文本直接转视频技术上的质的飞跃。“这是一个非常难的问题,而他们的方法非常有趣,只要两个阶段。所以,对于他们现在取得的成就和突破,我感到非常高兴。”马里兰大学计算机科学家Hamed Pirsiavash评价道。

比利时鲁汶大学计算机科学家Tinne Tuytelaars也对此赞不绝口:“这是我所知道的第一部如此棒的文字转视频作品,它不完美,但至少看起来像是真正的视频。这真的很好。”

原文发布于微信公众号 - 镁客网(im2maker)

原文发表时间:2018-02-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

动态 | DeepMind 弹性权重巩固算法让 AI 拥有“记忆” ,将成机器高效学习的敲门砖

一直以来,计算机程序都是个“左耳进,右耳出”的“傻小子”,它们很快就会忘掉所做过的任务。DeepMind 决定改变传统的学习法则,让程序在学习新任务时也不忘掉旧...

38380
来自专栏新智元

软件正在吃掉我们的世界,深度学习也正吃掉机器学习

【新智元导读】人工智能、机器学习、深度学习方面的文章铺天盖地,向人们传播人工智能是改变世界最具竞争力的技术,相关企业应该抓住机会作深入研究,但是人们对于这三个词...

37080
来自专栏量子位

开源啦:连DeepMind也捉急的游戏,OpenAI给你攻破第一关的高分算法

于是,团队推出了一种方法,叫做“随机网络蒸馏 (Random Network Distillation, RND) ”,专注培养AI的好奇心:隐藏房间什么的,只...

10450
来自专栏新智元

AI 派系争斗如火如荼:概率编程技术能彻底取代神经网络吗?

【新智元导读】Gamalon的CEO和创始人Ben Vigoda近日放出豪言,说他和他的团队所采用的概率编程的技术, 终将在所有的应用中彻底取代神经网络——这有...

41590
来自专栏AI科技评论

吴恩达专访LeCun:即便在神经网络的寒冬,我也坚信它终会重回公众视野

时隔半年,终于等来了 Yann LeCun 回忆杀视频。 去年 8 月时,随着 deeplearning.ai 深度学习教学网站和系列课程的发布,吴恩达也在「t...

28650
来自专栏Rusu的专栏

数学之美?编程之美?数学 + 编程= unbelievable 美!

本文所要介绍这个案例,整个实现过程其实并没有多么难多么复杂,但从实际问题到模型建立的思维推导过程,笔者认为还是很有意思也很有意义的,所以,也希望能够分享给大家。

31910
来自专栏新智元

【Nature】拥抱深度学习,不要过多苛求黑箱

【新智元导读】Nature 昨日刊发新闻特写,针对AI,特别是深度学习中的黑箱问题的来龙去脉进行分析。AI 中神经网络深度学习方法的黑箱问题是科学家们一直在尝试...

43460
来自专栏新智元

【CVPR 2018】用狗的数据训练AI,华盛顿大学研发模拟狗行为的AI系统

新智元报道 来源:TechCrunch 编译:肖琴 【新智元导读】一般的机器学习系统都是以人的视角建立,但华盛顿大学和艾伦人工智能研究所的研究人员试图用...

41390
来自专栏AI科技评论

专访蓝光辉教授:在随机优化算法的世界里徜徉

AI 科技评论按:在大规模机器学习问题的求解中,随机优化算法占据着不可替代的地位。大数据在提供海量信息的同时,也暴露了传统计算方法效率低的问题。举例来说,从最初...

13530
来自专栏前沿技墅

Machine Learning哪家强 强化学习So Strong

博士毕业于电子科技大学,美国西北大学访问学者,现执教于河南工业大学。中国计算机协会(CCF)会员,CCF YOCSEF郑州2018—2019年度副主席,ACM/...

15030

扫码关注云+社区

领取腾讯云代金券