谷歌开源超大型视频数据库,含800万视频 (附技术报告)

9月28日,谷歌在官方博客上宣布,将含有800万个Youtube 视频URL 的视频数据库开源,视频总时长达到了50万个小时。一并发布的还有从包含了4800个知识图谱分类数据集中提取的视频级别标签。

这一数据库在规模和覆盖的种类上都比现有的视频数据库有显著提升。例如,较为著名的Sports-1M数据库,就只由100万个Youtube 视频和500个运动类目。谷歌官方博客上说,在视频的数量和种类上,Youtube-8M代表的是几乎指数级的增长。

“为了保证标签视频数据库的稳定性和质量,我们只采用浏览量超过1000的公共视频资源,随后,我们会构建一个多样化的词汇类目,这一类目在视觉上是可以观察得到的,也足够频繁。词汇的构建结合了频次分析、自动过滤、人为评价验证,并分为24个垂直分类”,谷歌博客写道。

下图是数据集的首页截图,展示了数据集的规模和多样性。

要在Youtube-8M 规模的数据库上理解视频,一般要求千万亿字节的视频存储和几十个CPU的消耗。未来让受计算机资源所限的研究者和学生也可以用上这一数据库,谷歌们对视频进行了预处理,并提取了帧级别的特征。使用的是最新的深度学习技术——通过ImageNet训练的开源 Inception-V3 图像注释模型。

这些特征的提取是在1帧每秒的瞬时分辨率上完成,从190万个视频帧中提取,并被压缩到可以放到一个硬盘中(小于1.5T)。

这样以来,只需要不到一天的时间,就可以下载这一数据库并在训练一个基本的TensorFlow模型。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-09-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

最适合中国开发者的深度学习框架:走向成熟的PaddlePaddle 1.0

自深度学习以分层逐步学习的奇思妙想崛起以来,深度学习框架就在不停地发展。在 AlexNet 还没有携带深度学习亮相 ImageNet 之前,由蒙特利尔大学 LI...

10530
来自专栏技术翻译

人工智能的10个最佳框架和库

人工智能已经存在了很长时间。然而,由于该领域的巨大改进,近年来它已成为流行语。人工智能曾经被称为总体书呆子和天才的领域,但由于各种图书馆和框架的发展,它已成为一...

1.1K20
来自专栏人工智能头条

Facebook如何运用机器学习进行亿级用户数据处理

28350
来自专栏机器之心

观点 | TensorFlow sucks,有人吐槽TensorFlow晦涩难用

选自nicodjimenez 机器之心编译 参与:李泽南、刘晓坤 作为当今最流行的深度学习框架,TensorFlow 已经出现了两年之久。尽管其背后有着谷歌这样...

345100
来自专栏机器之心

业界 | 英特尔开源nGraph编译器:从多框架到多设备轻松实现模型部署

选自ai.intel 作者:Scott Cyphers 机器之心编译 参与:刘晓坤、李亚洲 近日,英特尔的人工智能产品团队宣布开源 nGraph,这是一个面向各...

39780
来自专栏iOSDevLog

人工智能-总结

29860
来自专栏ATYUN订阅号

【行业】用于AI开发的最佳5个开源框架

AiTechYun 编辑:nanan AI和机器学习是目前流行的两个术语,有时甚至可以互换使用。然而,两项都不一样。虽然AI所涉及的机器可以执行具有人类智能特征...

33380
来自专栏深度学习与数据挖掘实战

干货|优化算法在菜鸟网络中的应用

作者: 本华 菜鸟网络-人...

21910
来自专栏新智元

深度学习大新闻:谷歌 Tensorflow 选择 Keras

【新智元导读】 Keras 的作者、谷歌 AI 研究员 Francois Chollet 宣布了一条激动人心的消息:Keras 将会成为第一个被添加到 Tens...

39480
来自专栏AI科技评论

视频 | 英特尔实验室让 AI 在伸手不见五指的夜里也能拍出精彩照片

本文为雷锋字幕组编译的技术博客,原标题 AI is Taking Low-Light Photography to the Next Level,作者为 MIC...

12720

扫码关注云+社区

领取腾讯云代金券