强化学习处理自适应码流播放,爱奇艺AI推荐提升观看率15%


新智元报道

作者:克雷格

【新智元导读】5月18日,爱奇艺世界·大会智能视频高峰论坛召开,爱奇艺CTO刘文峰向世界展现了AI在爱奇艺的全貌。新智元创始人兼CEO杨静女士作为论坛特邀主持人,主持圆桌论坛环节,对话重量级嘉宾,探讨AI技术如何在视觉、听觉、创作、体验上带来颠覆性升级。

AI已经深入到爱奇艺所有生产、运营领域。

5月18日爱奇艺世界·大会智能视频高峰论坛上,爱奇艺CTO刘文峰向世界展现了AI在爱奇艺的全貌,从创作、生产、标注到分发、播放、变现等,AI贯穿爱奇艺的每一个流程。

在会上,Akamai全球解决方案副总裁Dev Gupta介绍了在线视频行业发展中面临的挑战,hulu全球副总裁诸葛越介绍了AI视频应用的现状和未来。

新智元创始人兼CEO杨静女士作为论坛特邀主持人,主持圆桌论坛环节,对话重量级嘉宾,探讨AI技术如何在视觉、听觉、创作、体验上带来颠覆性升级,诠释AI娱乐的内核。

刘文峰:智能明星库纳入超2万明星,强化学习处理自适应码流播放

刘文峰认为,AI娱乐包括智能、交互、开放三个部分。

爱奇艺CTO刘文峰

智能又包括创作智能化、运营智能化、体验智能化。具体来说:

智能明星库:简单地理解就是明星的数据库。数据库不只是包含明星的信息,爱奇艺海量的数据里挖掘每一个明星不同的表现,通过人脸识别,可以将明星的表情、情绪、行为、着装以及演不同类型内容的信息汇聚在数据库中。目前,在数据库的明星已经超过两万位。

智能明星库可以不断地扩展,机器可以将明星所有的片段找出,爱奇艺有“只看TA”的产品,通过机器将明星的镜头摘出来,用户只需要看自己喜欢明星的镜头就可以,不需要把整个视频全部看一遍。

同时爱奇艺对全部的视频做人脸处理,分析后可以计算出每一个明星在每一天曝光的时长有多长,曝光的时长越长,意味着热度越高,这就是大数据+AI计算的价值。

智能选角:选角系统主要针对的是选配角。通过人工智能信息提取的技术,将非结构化的信息处理成可以用于挑选的标签,称之为角色标签。再通过爱奇艺大脑AI技术到海量视频里挖掘每一个明星的特点,特点能够形成艺人标签。加上经纪人对他的定义和描述,以及专家对他的定义和描述也会形成(艺人)标签。这两类的标签通过匹配可以得到一堆候选者。

将候选者放在一块,同时又经过AI将所有侯选者演过剧的片段挖取出来,在不同维度的比较,AI可以很清晰地进行选角,选角导演的时间可以节省。

智能生产:包括情节场景分析和智能剪辑等。把长视频拆成非常多的小场景,每一个场景可以拆成镜头,然后对这些镜头做非常准确地标签,实现整个视频从非结构化、不可描述的信息变成机器可以理解的可描述的信息。

这些数据信息可以用于裁成短视频,从而实现智能剪辑。智能剪辑有重要的应用场景——封面图。用AI将视频内部的精彩镜头找到,并且将它放在海报上,收视率会大幅度提升。大家一看就知道是什么类型的视频,里面有怎样的镜头。

智能推荐:爱奇艺私人影院会根据观影记录给推荐用户没有看过的,可能最想看的电影。私人影院上线以后,观看提高了15%。短视频联播是另外一套推荐的方式,电影的喜好和短视频喜好不一样,短视频联播的推荐和用户的习惯有很大的关系,给用户做短视频联播以后发现播放时长大量增加。

体验智能化包括三方面。

8K VR串流播放。因为VR看的视角有限,通过编码技术和传输技术,使得用户在任何时刻看到内容都可以提前准备好;通过应用预测的技术,来预测用户头部的变化。当用户头转向一个方向的时候,会提前将数据准备好。

AI ABS自适应码流播放,能够判断网速的变化从而选择最适合播放的码流。这个功能时利用了强化学习根据网络的变化来判断如何做进一步的处理,使之获得最大的收益——当前的网速下播放最清晰的内容。我们目前的wifi和蜂窝可能不稳定,AI ABS更加适合当前无线网络下,如何给用户提供当前限制条件下最好的体验方式。

ZoomAI超分辨。用人工智能对清楚的照片学习足够多以后,爱奇艺形成了一套模型,用它来处理那些不清楚的内容,使之可以变清楚。ZoomAI研发用于图片,再进一步应用于视频,使用ZoomAI处理老视频,可以获得比较好的体验。下图中,左边是标清的,右边是ZoomAI的结果。

交互和开放两个部分如表所示:

值得注意的是,爱奇艺视频大数据集是全球最大的影视明星的开放数据集,可以进行多模态的人物识别竞赛,将与中国自动化学会、计算机学会、人工智能学会以及中国图像学会一起,在PRCV2018的会议会发布竞赛,奖金高达35万。网址:

http://challenge.ai.iqiyi.com

接下来,Akamai全球解决方案副总裁Dev Gupta介绍了在线视频行业发展中面临的挑战。

Akamai全球解决方案副总裁Dev Gupta

Dev Gupta认为,技术会继续引领在线视频行业,有三方面是要关注。第一方面是能够提供的内容,减少延迟。第二方面是缓冲,观众希望可以获得非常好的缓冲功能,否则每次缓冲的时间会减少观众的参与度,减少14分钟左右。第三方面,比特率变化太多也会失去观众,用户的放弃率超过4倍以上。

hulu全球副总裁诸葛越介绍了AI视频应用的现状和未来。hulu在封面推荐、视频信息标注、广告中都应用到AI技术,这三个层次又可以把广告和视频连接起来,实现视频内容和广告内容的高匹配度。

hulu全球副总裁诸葛越

杨静:AI延伸进视频软硬件领域,未来一切人、物、景都可以变成数字资产

近年来,AI在视频领域的应用除了覆盖包括视频生产与创作,语音、手势等指令的交互等“软件”外,还在高复杂度的拍摄过程中,向灯光、摄影等“硬件”领域延伸。

在爱奇艺世界·大会智能视频高峰论坛上,新智元创始人兼CEO杨静女士作为圆桌论坛主持人,对话来自智能软硬件领域重量级嘉宾,探讨AI技术如何在视觉、听觉、创作、体验上带来颠覆性升级。

新智元创始人兼CEO杨静女士(左一)与圆桌论坛嘉宾对话

杨静认为,目前4K大有超越1080P成为主流视频分辨率的趋势,但AI如何应用到4K智能硬件,实现内容与交互的结合仍然面临挑战。

今年4月11日,电视果正式发布电视果4K创新的智能硬件,也是全球首款AI投屏的产品,在内容与交互上进行了大胆探索。

小果视讯CEO、电视果负责人谭涛认为,4K产品能在两个方面应用人工智能技术,一个是交互,一个是内容分发。人工智能语音的操作包括语音识别、自然语言处理,视频内容的分发包括通过HoomAI,加入大量的针对场景化的内容识别,针对用户的自身使用特性标签进行推荐。

除了上述软件领域,AI在硬件、系统集成中都已经开始渗入。

今年平昌冬奥会结尾出现了特别精彩的“北京8分钟”,这个节目是由北京电影学院科研信息化处副主任刘军牵头策划。

AI系统解决成本和效率问题,北京电影学院科研信息化处与北京理工大学开发了一套“预演模拟仿真系统”,包括投影的灯光、演员的表演、可以透视的冰屏等,一切的都仿真化。模拟仿真系统可以对前期所有预演的数据进行保留,后期直接输入数据跟冰屏计算机接口对接,演员按照系统训练就可以。

在大型节目制作现场,AI已经开始解决问题。

爱奇艺副总裁车澈介绍,《中国有嘻哈》有一百多个机位,所有角度不同的空间上百台摄像机同时工作,AI解决自动化的音视频对位问题,让剪辑前的准备工作时间大幅度缩小,效率非常高,成本会降低很多。

同时,视频的处理往往对CPU或GPU都要求比较高,特别是大规模、大场面的制作。杨静认为,AI算法的出现是让视频制作、运营效率提升的机会,这也对底层处理能力提出要求。

作为底层计算能力的提供商,英特尔针对传统视频的分发、编解码提供非常好的解决方案。英特尔全球软件合作部中国区总监李眈介绍,英特尔还针对AI框架进行深度的优化。

“我们也会提供相应的产品,比如最近刚推出的CVSDK,它可以提供跨平台的视觉推理引擎,不用在意计算平台到底CPU还是GPU还哪一个架构的计算单元。它提供了统一的平台,希望把编程者从软件编程中解脱。”

从台前到幕后,AI现在接手越来越多的“苦力活”,也是幕後英雄。展望未来,AI怎样才能在视频领域发挥更多作用、给观众更好的体验?杨静向现场嘉宾提出最后一个问题。

谭涛:AI能够帮助中国人重新回到大屏,享受最身临其境的临场体验。今天的中国人很忙,70%都是在手机上快速看视频,希望用AI的技术给大家带来完美的大屏体验。

诸葛越:我们想知道还有什么更有创意的场景,并且希望技术解决与人交流的问题。

李眈:AI将来一定能够让每个人生活变的更好,让每个人把自己的精力放在自己真正认为有价值投入的地方。我们相信机器今天或在不远的将来不会只满足做所谓低附加值的事情,一定会提供人类都无法企及的事情,改善我们的生活。

刘军:当一切的人、物、景都可以变成数字资产进入到加工世界的时候,每位用户拿起手机可以在很短的时间用自己或者你喜欢的明星做非常精彩的电影,AI自己可以拍关于自己的电影。让我们一起期待未来的智能影像时代。

车澈:之前很多做创意工作的人,特别是做内容创意的人对AI不是特别感冒,因为听起来好像有一点被替代的感觉。但在实际的工作和应用中,我会觉得做创意的人不是被替代,而是被辅助。AI可以辅助你做更多有创意的事或者把你的精力关注在创意上。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-05-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏VRPinea

打碎显示屏!Magic Leap为玩家带来惊人的MR体验

3345
来自专栏镁客网

为什么BAT杀不死“慢节奏”的网易? | 拔刺

1832
来自专栏企鹅号快讯

为什么3.9亿人对微信小游戏“跳一跳”这么上瘾?

元旦假期,小编也一直沉迷于这款小游戏,还挺好玩的。一起来看看本文作者对此的个人见解吧~ ? 请点击此处输入图片描述 如下图所示,2017年12月28日起,微信小...

2599
来自专栏灯塔大数据

灯塔原创|苹果如何稳住阵营,在AI、AR大战中自成一派?

此次WWDC17,苹果强势补齐了在AI和AR领域的短板,增强了自己生态系统和硬件产品的吸引力。不可否认,对苹果而言,AI、AR都是给自己平台带来体验提升的实用技...

3608
来自专栏大数据文摘

沈浩:通过大数据感知社会

4349
来自专栏程序员互动联盟

零基础,如何选择一门编程语言?

这种问题一般会被初学者问上N多遍,在这姑且分析下,选择什么语言决定性因素太多了,每个人的情况不一样,做出的决定又不尽相同。如果选择的出发点不一样选择的结果也是不...

35210
来自专栏企鹅号快讯

高度的自我约束带来成长的质变:从害羞男孩到顶级企业家

这是一篇来自云+社区的作者投的搞,感谢这位作者对云+社区的青睐! 今年8月,Instagram Stories公布了它的新用户数据,日活量已超2.5忆,超过了它...

20310
来自专栏CSDN技术头条

怎样判断一个人是否适合做数据分析?

网友问:部门要找几个人做数据分析。现几个人原来是在不同的岗位上的,以前没有做过数据分析,怎么样才能看看出他们是不是适合做数据分析呢,在进行竞聘时使用什么样的题目...

2056
来自专栏腾讯社交用户体验设计

故事怎么讲才有逼格? - 腾讯ISUX

1283
来自专栏互联网数据官iCDO

10个助燃商业增长的市场营销战略

引言:什么是最优营销策略?最重要的是建立真挚的顾客关系,那么就可以通过以下10种策略在线营销任何业务。

1522

扫码关注云+社区

领取腾讯云代金券