文字直接转视频，科学家用机器学习算法实现这种操作 | 黑科技

AAAI 2018大会上，研究团队将对该研究进行详细的报告。

近日，《Science》杂志公布了一项新的机器学习算法，该算法可根据文本或者碎片式的信息来重建完整的视频，如根据证人描述重现事故现场。

据了解，该算法是一种小型神经网络，即一系列小型计算元素层。其主要的工作分为两个阶段：一是通过文本生成视频的“主旨”，即一个模糊的背景图片上加注一些重要的标注；二通过综合“主旨”和文本内容产生一个短视频。此外，在训练过程中，第二部分的网络会对新增加的视频内容进行反复的对比，以提升性能。

目前，研究人员采用了十种生活场景对其训练，包括在草地上打高尔夫、在海上玩风筝冲浪等，算法生成的图像还比较粗糙，呈现VHS录像的颗粒感画面。现在，可达到高准确率的视频约为32帧，持续时间为1秒，大小为64×64像素。研究人员之一，杜克大学的计算机科学家Yitong Li解释道，“更高的分辨率会降低其准确度。”

虽然当前算法生成的视频尚十分粗糙，但是这项研究实现了文本直接转视频技术上的质的飞跃。“这是一个非常难的问题，而他们的方法非常有趣，只要两个阶段。所以，对于他们现在取得的成就和突破，我感到非常高兴。”马里兰大学计算机科学家Hamed Pirsiavash评价道。

比利时鲁汶大学计算机科学家Tinne Tuytelaars也对此赞不绝口：“这是我所知道的第一部如此棒的文字转视频作品，它不完美，但至少看起来像是真正的视频。这真的很好。”