学习
实践
活动
工具
TVP
写文章

百度×科赛 PaddlePaddle AI 大赛开赛啦

2017年12月28日,百度 PaddlePaddle AI 大赛正式开赛了!

在上篇「百度和科赛,想让AI与你更近一些」中曾提到,PaddlePaddle AI 大赛“希望参赛选手使用PaddlePaddle深度学习框架、利用BROAD数据集、利用K-Lab,着手解决一些行业中的真实问题,从而让AI真正应用于行业、服务于行业。”

本次大赛,我们将目光放在这样一个行业——电视综艺。

在电视综艺的拍摄录制过程中,往往会有十几、二十多台摄像机同时拍摄,比方每两台或更多摄像机多机位跟拍一位艺人。而往往一次拍摄的时间较长,所以会产生大量的视频素材,因此通常在后期过程中,剪辑工作非常辛苦且枯燥。

一般这些视频素材会经历两个剪辑过程——先对所有的视频素材进行初剪,去掉明显不可用的镜头,之后再精剪。但不论在哪步,都需要导演和剪辑师们在剪辑的过程中时刻判断哪些是需要留下的、甚至未来会产生良好观众效果的镜头。固然他们会在这方面的判断上很有经验,但当素材的量很大时,或当需要在同一个时刻的几个镜头中作抉择时,如果这时有个声音可以给他们提供一些小小建议的话,那会不会对他们有所帮助呢?

因此我们设想,如果能通过算法,在素材导入的阶段就对素材进行自动标记,标记出那些将来会有一定概率成为观众眼中的“精彩片段”的时间段,那或许不仅可以成为初剪的参考、提高剪辑的效率,而且,往往毕竟每位导演都会结合脚本与自己的考量、经验来决定留下的镜头,因此这些标记出的“潜力精彩片段”或许也能作为导演从观众角度考量的参考之一,这样的话,在后期过程中便预知了“观众反馈”,从而甚至可以保障整个后期的效率与质量。

电视综艺的工作者们如此辛苦,AI是不是可以让他们轻松一些,睡得更充足些呢?

之所以现在这样的AI助力变为了可能,因为百度的BROAD数据集为我们提供了很棒的素材——1500个来自爱奇艺的电视综艺视频,总共约1200个小时,且视频已都直接转换为了视频帧的图片特征序列,但也都提供了观看链接;其中每个视频都被仔细地标注了“精彩片段”的时间戳,标记出了共18000段、约750小时的“精彩片段”——这是全球首创的公开精彩片段标注数据集。[1]

有了这样的数据,前面的设想便成为了一个深度学习问题——通过学习长视频的图像等信息(即视频帧的图片特征序列),检测其中精彩片段的位置,从而训练检测模型,从而可实现:给定任意一个新的长视频(如视频素材),输出其中精彩片段的时间戳。

但是,若要真正实现直接在素材中标记出“潜力精彩片段”的话,还得一步步来。我们这次先从“在已成片的综艺视频中标记出精彩片段”开始吧。即,我们希望选手们通过训练学习视频帧的图片特征序列得到的模型,对于给定任意一个新的长视频(还未被标注过精彩片段的电视综艺视频),大约时长30分钟到2小时,输出其中精彩片段的时间戳,其中精彩片段指精准切分出一段节目或情节的短视频,长约1到5分钟。

但对于深度学习问题来说,虽然百度的那篇研究报告中提到,随着训练数据的增多,深度学习模型的准确率会有可预期的提高。[2] 但数据量的越来越多往往会导致需要越来越长的训练时间,因此在这次大赛中我们也想做一些这方面的尝试,看若仅利用一小部分的数据,在一个不那么长的单次训练时间内,是否有可能得到一个比较准确的模型。

比赛阶段

本次大赛分为两个阶段。

第一比赛阶段

2017年12月28日0:00:00--2018年2月4日23:59:59

此阶段中,K-Lab使用百度云计算优化型CPU,4核8GB内存。K-Lab单次运行时长为3小时。

训练

使用已抽取的约10%的视频数据训练集(共124个视频),学习视频帧的图片特征序列数据,在K-Lab中训练精彩片段检测模型。

验证

使用验证集的数据与开放的测评脚本K-Lab,评价训练好的模型在验证集视频上的预测结果。

输出结果

对测试集中的视频使用训练好的模型,得出预测结果,通过K-Lab上传结果到测评系统得到评价分数。

2018年1月14日23:59:59,第一比赛阶段中期截止,分数排名第一的队伍获得鼓励奖。

2018年1月15日0:00:00起,用户通过K-Lab上传结果的同时也需上传K-Lab notebook报告。

2018年2月4日23:59:59,第一比赛阶段截止,且报名截止。选拔使用了PaddlePaddle训练模型且上传了K-Lab notebook报告的队伍中,分数前50名的队伍晋级到第二比赛阶段。

第二比赛阶段

2018年2月9日0:00:00--2018年3月15日23:59:59

此阶段中,K-Lab的配置为GPU(百度免费提供的英伟达深度学习开发卡,CPU:6核40g),单次运行时长为3小时。选手无需任何申请或安装,直接打开K-Lab在其中使用即可。

训练

选手必须使用PaddlePaddle训练模型,使用全量视频数据训练集(共1262个视频),学习视频帧的图片特征序列数据,在K-Lab中训练精彩片段检测模型。

验证

使用验证集的所有数据与开放的测评脚本K-Lab,评价训练好的模型在验证集视频上的预测结果。

输出结果

对测试集中的所有视频使用训练好的模型,得出预测结果,通过K-Lab上传结果与K-Lab notebook报告到测评系统得到评价分数。

2018年2月25日23:59:59,第二比赛阶段中期截止,分数排名第一的队伍获得鼓励奖。

2018年3月15日23:59:59,第二比赛阶段截止,百度专家对分数排名前10名的队伍评审K-Lab notebook报告,得出:

一等奖:1支团队,50000元

二等奖:2支团队,20000元

三等奖:3支团队,3000元

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20171229B046CB00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券