专栏首页ATYUN订阅号Facebook创建了VideoStory数据集,训练AI将视频转化为故事

Facebook创建了VideoStory数据集,训练AI将视频转化为故事

编译:chux

出品:ATYUN订阅号

视频是社交媒体的命脉,仅Facebook的视频每天平均观看次数就超过80亿次,每天观看时间超过1亿小时,此外,超过45%的人表示他们每周观看超过一小时的Facebook或YouTube视频。

但是,视频的问题在于它具有排他性,残疾人或不能熟练使用互联网的人无法轻易参与其中。考虑到这一点,Facebook的研究人员创建了VideoStory,这是一个新的视频描述数据集,旨在帮助训练自动讲故事的系统。

团队在比利时布鲁塞尔自然语言处理经验方法会议(EMNLP)之前发表的一篇新论文“A Dataset for Telling the Stories of Social Media Videos”中,对此进行了描述。

“社交媒体平台上的视频内容构成了人与人之间交流的重要组成部分,因为它允许每个人分享他们的故事,”研究人员写道,“但是,如果有人无法使用视频,这严重限制了他们的沟通。使用视频的多句子描述自动讲述故事可以弥补这点。”

为了编辑20000个视频和123000个描述性句子的数据集,该团队着手在社交媒体上找到具有高度参与度的视频,即具有大量评论和分享的流行视频,促使人们之间的互动。

挑战在于将来自每个视频的信息整合到描述事件顺序的详细标题中。正如该论文的作者所指出的,斯坦福大学的ActivityNet Captions等现有数据集侧重于预选的人类活动集,而社交媒体视频则涵盖了广泛的主题和类别。

对于每个长度在20到180秒之间的视频,团队提供了带有注释的段落,描述了对象,情境和重要细节,并将句子与相应的时间戳排成一行。最后,片段平均有大约五个句子,每个句子平均约为18秒。

下一步是训练一个AI系统,该系统将使用VideoStory自动为视频添加字幕。共有17098个视频被保留用于训练,999和1011个视频分别用于验证和测试。

首先,该团队使用循环神经网络来描述给定视频的每个片段。并且为了确保整个系统考虑过去和未来事件之间的相关性,他们将来自每个先前段描述的上下文与第二机器学习模型相结合。

它产生的字幕并不总是正确的,但结果表明,在VideoStory数据集上训练的模型受益于额外的上下文信息。

团队表示“高质量的视频描述不仅仅是一句话,他们应该讲一个连贯的故事,我们的评估表明,由于更多样化的主题和选择引人入胜的视频来讲述故事,我们的数据集与之前的作品相辅相成。我们的VideoStory数据集可以作为构建故事理解和多句视频描述模型的良好基准。”

本文分享自微信公众号 - ATYUN订阅号(atyun_com)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【操作】这也可以?使用神经网络来“生成”视频并检测视频中的车祸

    人们认为理所当然的任务对于机器来说往往很难完成。这就是为什么通过CAPTCHA测试证明自己是人时,总是被问到一个简单的问题,比如图像是否包含道路标志,或者选择包...

    AiTechYun
  • NVIDIA研究人员利用AI将标准视频转换为高质量慢动作镜头

    来自NVIDIA的研究人员开发了一个基于深度学习的系统,该系统可以用每秒30帧的视频制作高质量的慢动作视频,超过了旨在实现相同效果的各种方法。研究人员将在本周C...

    AiTechYun
  • 谷歌资助的初创公司VeriFlix开发AI以检测假新闻

    假新闻目前已造成了诸多困扰,如果新兴技术加剧了这种情况,那么它也可能会提供补救措施。特别是机器学习可能成为从虚构中分出真相的有力工具。

    AiTechYun
  • 短视频头部效应加剧,秒拍整军三月强势归来

    2018年7月30日,在相关部门要求下,秒拍、波波视频等12款短视频应用在应用市场下架。前几天,下架已有2个月多的秒拍和波波视频逐步恢复上架。不过,内容监管却并...

    罗超频道
  • 监控视频用武之地 挖掘实时商业大数据

    零售商考虑视频监控,通常以损失预防和保障运维安全为背景。但监控视频在另外一个领域也能够提供巨大的价值:收集实时的店内情报信息,助力提高利润率。 假如您经营一...

    灯塔大数据
  • 你需要补哪些核心能力?

    毕业前,着力打造三种核心能力,让你在人群中脱颖而出,远离被人工智能淘汰的担忧和烦恼。

    王树义
  • 2020的短视频要走向何方?

    根据艾瑞发布的《2019中国短视频创新趋势专题研究报告》显示,在去年中国短视频用户规模2018年已达5.01亿人,2019年预计用户规模将会达到6.27亿人,高...

    翟菜花
  • 网络视听大会谢幕,腾讯云五大方案齐亮相!

    第六届中国网络视听大会12月1日在成都谢幕。 ? 中国网络视听大会素有“年度风向标”之誉,为了此次视频产业盛会,腾讯云特意准备重磅新品 ▽ 腾讯明眸-极速高清...

    腾讯云视频
  • Video ++孙兆民:人工智能行业报告——视频内容识别行业分析 | 分享总结 | 雷锋网

    像素的世界已经延伸到图像之外,虽然视频对于机器学习研究人员来说一直都是个挑战,但现在的技术能够使得从视频中提取信息变得跟从图像中提取信息一样简单。人工智能这个新...

    AI研习社
  • 短视频营销的关键:数据赋能+多元化玩法

    疫情下的2020年,各行各业都不可避免地裹挟到了这场灾难之中,线下销售在短期内难以快速反弹,转战线上已经成为诸多品牌的当务之急。

    盒子菌

扫码关注云+社区

领取腾讯云代金券