前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >这个「多模态视频人物数据集」里,藏了杨幂、吴亦凡和鹿晗丨资源

这个「多模态视频人物数据集」里,藏了杨幂、吴亦凡和鹿晗丨资源

作者头像
量子位
发布2018-12-18 16:58:07
1.1K0
发布2018-12-18 16:58:07
举报
文章被收录于专栏:量子位
郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI

爱奇艺最近公开了一个数据集,名叫iQIYI-VID

公开这个数据集的爱奇艺官方给它确认的类别名字叫“多模态视频人物数据集”,翻译成人话,就是有很多人,每个人用不同的“姿势”拍视频,收集起来攒成的数据集。

只不过,这些人相对比较有名,有杨幂、吴亦凡、鹿晗……

5000个明星艺人

整个数据集非常庞大,包含5000个艺人,近60万条视频,每条视频长1~30秒。

数据集中的每个视频片段都经过人工注释,错误率低于0.2%。

其中收录了一些同一个艺人都的不同造型,比如,有发型别致的吴亦凡

还有发型比较常规的吴亦凡

有穿红衣服的杨幂

还有穿蓝白衣服的杨幂

以及穿同样衣服的鹿晗和……抱歉,脸盲的量子位认出鹿晗已经是极限了。

整个数据集中,大部分明星都拥有10~50个视频,有50~100个视频或100~300个视频的也不少,但只有少量头部艺人拥有300个以上的视频。

而根据年龄来看,主力军竟然是30多岁的明星艺人,其次才是40多岁的明星,30岁以下的明星只有不到600个。原来年纪大了也可以出道啊?

最后,大部分视频都是在5秒钟以内,非常简短,节省计算资源。

有什么用

不过,把这些明星艺人的视频搜集到一起,究竟能炼什么丹呢?

主要可以做三件事:

第一,人脸识别

5000个人呢,辨认一下谁是谁。不过人脸识别实在是太普遍了。

第二,说话人识别

基于音频的说话人识别,训练机器听声音,判断是谁在说话。

目前这方面的资料不是很多,这方面最大的免费数据集是VoxCeleb和VoxCeleb2;另外美国国家标准技术研究院(NIST)曾经做过一些工作,但是那些数据集不是免费的。

第三,基于身体特征的人员重新识别

根据身体特征,判断不同镜头中的人是否为同一个人,目前主要还是用单帧的方法,从视频中抽取单帧图像,通过图像切割、骨架点定位、姿态校准进行比较。

综艺节目再利用

至于这些视频是哪儿来的嘛,自然是要感谢爱奇艺作为视频网站的老本行。

这些视频片段是从40万小时的电影、电视剧、综艺、新闻视频中剪出来的,内容源自爱奇艺网站上TOP 50万的热门视频。

将这些热门视频按照分镜头剪开后,不到一秒的视频因为信息不足被丢掉,超过30秒的视频考虑到计算负载过大也被删掉了。

之后,去掉噪声,根据每个人的衣服或人脸特征来归类,匹配到爱奇艺的名人数据库,从而生成针对每个不同人物的视频数据集。

传送门

论文 https://arxiv.org/abs/1811.07548

数据集地址(需要登录下载) http://challenge.ai.iqiyi.com/detail?raceId=5afc36639689443e8f815f9e

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-11-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 5000个明星艺人
  • 有什么用
  • 综艺节目再利用
  • 传送门
相关产品与服务
人脸识别
腾讯云神图·人脸识别(Face Recognition)基于腾讯优图强大的面部分析技术,提供包括人脸检测与分析、比对、搜索、验证、五官定位、活体检测等多种功能,为开发者和企业提供高性能高可用的人脸识别服务。 可应用于在线娱乐、在线身份认证等多种应用场景,充分满足各行业客户的人脸属性识别及用户身份确认等需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档