现在,给视频添加字幕,又有了新玩法。
这就是Facebook、哥伦比亚大学等大学的新研究,共同开发了一个框架——Vx2Text。
这个框架可以帮助我们,从视频、音频等输入内容中提取信息,再以人类可以理解的文字,生成字幕或者回答问题等。
并且,与之前的最新技术相比,Vx2Text在三个任务中均展现出最佳的性能。
Vx2Text究竟是什么?一起往下看。
Vx2Text是从多模态输入(由视频、文本、语音或音频组成)中提取信息,再以人类可以理解的方式,生成自然语言文本(例如:字幕、回答问题等)。
研究团队通过引入大型基准,来评估Vx2Text解释信息和生成自然语言的能力。
这些基准主要包括:用于图像或视频字幕、问答(QA)和视听对话的数据集。
为了在这些基准测试中表现出色,Vx2Text必须完成几个目标:
并且,将这些目标嵌入一个统一的、端到端的可训练的框架中。
整个过程可以分为三步:
△Vx2Text框架图解
具体而言:
Vx2Text接收视频、音频和语音作为输入。利用特定模态分类器,来识别输入的声音或动作等,得到相应类别的文本信息。
通过可区分标记化,将识别得到的不同模态的文本信息,嵌入同一语言空间中,以便执行多模态融合,实现端到端的训练。
多模态融合,简单来说就是,将从文本、图像、语音、视频等多种形式的数据和信息,进行转换和融合。
先前不同模态输入信号的组合方法,大多依赖于额外的跨模态融合模块,繁重且计算成本高。
而使用Vx2Text,无需设计专门的跨模态网络模块,这种设计不仅简单得多,还可以带来更好的性能。
采用通用的编-解码器语言模型,即自回归解码器模型,来融合多模态信息,以生成文本。
不同于以前的仅编码器模型,这一模型具有通用性,能直接适用于“不同模态生成文本”问题,无缝处理两种类型的任务,无需为每个任务设计专门的架构。
处理生成式任务,需要通过解码生成连贯的句子; 处理区分式任务,则需将候选答案集输入,在概率分布下,选择最高概率的答案。
对Vx2Text在三个任务中的有效性进行评估:包括视频问答、视听场景感知对话和视频字幕。 分别使用三个基准数据集:TVQA、AVSD和TVC。
使用不同的输入组合,评估各个模态对基于视频的文本生成性能的影响。结果表明:
将不同的模态融合机制(包括:多模态特征嵌入、冻结标记化、可区分标记化),在AVSD和TVQA中的性能进行比较,得到结论:
对四个模型的准确性进行评估,得到结论:
Vx2Text(这里使用冻结标记化,而非可区分标记化)与最新技术,在AVSD上进行比较,得到结论:
Vx2Text与最新技术,在TVQA上进行比较(数字代表Top-1准确性(%)),得到结论:
Vx2Text与最新技术,在TVC上进行对比,得到结论:
△AVSD验证集上的视听场景感知对话任务,Vx2Text生成答案示例
△TVC验证集上的视频字幕任务,Vx2Text生成文本描述示例
虽然输入内容中包含一些文本,例如:对话历史记录或语音记录,但生成的文本还包含了来自其他模态的信息。例如,上图中模型成功地识别了动作,例如,帮助站起来等。
实验表明:Vx2Text能够在多模态输入中,为视听场景感知对话和视频字幕,生成逼真自然的文本。
Vx2Text可以用于为录制的视频或流媒体视频添加字幕,以及服务YouTube和Vimeo等视频共享平台,依靠字幕以及其他信号来改善搜索结果的相关性。
论文一作蔺旭东,目前是哥伦比亚大学计算机科学专业的博士生,主要研究领域是嵌入学习、视频分析和生成模型,本科就读于清华大学。这项研究是在其担任Facebook AI实习生时完成的。
△蔺旭东(来自其个人主页)
想要了解更多细节,可戳文末链接查看~
参考链接: https://arxiv.org/abs/2101.12059 https://venturebeat.com/2021/02/02/researchers-Vx2Text-ai-framework-draws-inferences-from-videos-audio-and-text-to-generate-captions/
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。