李飞飞团队提出视频事件描述新模型，附849小时数据集

安妮 编译整理 量子位 出品 | 公众号 QbitAI

最近，斯坦福大学的李飞飞与与她的学生Ranjay Krishna、Kenji Hata、Frederic Ren，以及同事Juan Carlos Niebles向ICCV 2017提交论文，提出了一个新模型，可以识别视频中的事件，同时用自然语言描述出来。

△ 新模型的原理及应用案例

大多数视频都包含着大量事件。举个例子吧，比如在一段钢琴演奏的视频中，可能不仅仅包含钢琴演奏者，还可能包含着一群跳舞的人，或者一群鼓掌的观众，这些事件很可能是同时发生的。当一段视频中包含检测内容和描述内容时，我们称它为“字幕密集型事件”。

李飞飞团队的模型，可以利用过去和未来的上下文内容信息，来识别视频中这些事件之间的关系，并把所有事件描述出来。

上面这张流程图展现了新模型的运行原理。

同时，他们还发布了ActivityNet字幕数据集。这个数据集中包含了长达849小时的2万个视频，以及10万条带有开始和结束时间的描述信息，可以用来对字幕密集型事件进行基准测试。

相关资源

论文简介：http://cs.stanford.edu/people/ranjaykrishna/densevid/

数据集下载： http://cs.stanford.edu/people/ranjaykrishna/densevid/captions.zip C3D Features：http://activity-net.org/challenges/2016/download.html#c3d

论文：https://arxiv.org/pdf/1705.00754.pdf