人工智能赋能流媒体

前言

人工智能(AI)、深度学习和自然语言处理将成为新一代流媒体行业的关键技术。从生产到消费的各个阶段,它们都将产生非常重大的影响。毫无疑问,随着人工智能在许多不同行业的逐步深入,它也将被更广泛地应用于流媒体领域。

近年来,一些公司已经取得了重要的进展,包括Google云视频智能API,Conviva的视频智能架构,NVIDIA DLA和IBM Watson技术。所有这些技术都在不同程度上部署了AI,尤其是在云计算领域。另外,我们很快也会看到AI被应用于流媒体的其他方面。

人工智能可以用来取代很多人力资源,甚至可以执行繁琐、重复和耗时的任务,比如工作量巨大的内容和数据管理。目前,人工智能被用于视频分析处理、网络和技术故障诊断以及广告推广等很多方面。当然,还存在很多尚未开发的潜在用途。

智能跟踪摄像机

目前市场上,有一些运动跟踪摄像机系统可以自动跟踪移动的物体,但它们都必须在被跟踪物体上安放发射器或者传感器,而人工智能的出现将会很好地解决这一问题。无需额外的传感器,人工智能也能实现在不同场合跟踪拍摄演讲者,运动员,或者艺人等移动目标。

其中,深度学习算法将会被用来分析视频,判断人的行为以及周围环境,从而使目标完美地出现在镜头中。现在来说,这项技术已经使无人机可以非常准确地追踪运动员冲刺的场景。如图1 所示,展示的是全自动体育运动追踪无人机AirDog。

图1 AirDog全自动体育运动追踪无人机[1]

视频帧合成

视频的生成与数学之间有着紧密的联系。视频成像的关键因素——帧率、焦距、光圈和构图是基于比例的,了解它们背后的数学知识将会有很大的帮助。比如,“黄金比例”可以用于深度学习的视觉感知算法。因此,人工智能相机能够自动捕捉最美观的视频图像,而不是由人来手动完成。近年来,生成对抗式网络(GAN)的出现,实现了生成质量极高、以假乱真的图像[2]。如图2所示,是NVIDIA的最新成果——GAN生成的高分辨率1024×1024图像。

图2 NVIDIA生成高分辨率图像1024×1024[2]

除了生成高质量的图像,人工智能也给视频帧合成带来了惊人的效果。例如ICLR 2016的论文[3],通过生成对抗式网络,成功实现了视频的预测。同样地,在超帧率技术方面,深度学习算法已经超过了传统的插帧算法,有效地提升了视频质量。传统算法上,超帧率往往是运用运动补偿技术,首先估计出运动矢量,然后通过补偿插值来生成中间帧,从而提高视频的帧率。但是,生成视频帧的质量受到运动矢量准确度的极大影响。而最新出现在ICCV 2017中的论文[4],采用端对端式的深度卷积神经网络,将预测运动信息和补偿插帧这两个步骤合为一体,直接生成了中间帧,如图3所示。由此看来,人工智能正在逐步改进、优化、甚至超越传统的视频处理算法。

图3 基于CNN的视频插帧模型[4]

实时视频切换

深度学习算法能够实现自动处理和生成视频,这也将有助于将AI引入实时视频切换。智能视频软件将通过分析面部表情、手势、衣服、身体、颜色和其他成像数据,选择最佳的相机镜头或角度,从而更好的跟踪拍摄整个事件。通过分析视频内容,将会确定镜头远近的选择,关键人物和题材的选取,从而自然流畅地进行视频切换。

这些视频分析的功能将有助于实现一个完全智能的实时视频切换系统。在不久的将来,它最终将会取代现场活动技术总监的角色。而基于计算机视觉的视频切换器可以独立工作在嵌入式系统或设备上,甚至可以利用网络化的云服务器。

流媒体码率自适应

传统的流媒体码率自适应方法面临着两大难题:复杂多变的网络环境和QoE指标。而在今年的SIGCOMM上,MIT CSAIL的一支研究团队提出了基于神经网络优化码率的自适应算法Pensieve[5],用来提高媒体传输质量,如图4所示。

图4 基于神经网络的码率自适应策略[5]

文章结果表明,与传统方法相比,Pensieve能平均提升QoE高达12%-25%。虽然该模型还比较简单,但给我们开辟了一个新的思路,可以将深度学习的方法用于流媒体传输优化上。由此可见,深度学习将会给传统的流媒体技术带来巨大的变革。

音频分析

自然语言处理(NLP)能够为会议、讲座或者其他场合提供自动的现场转录、翻译、口译、字幕以及音频描述技术。这将给很多跨国企业,甚至是政府部门在发布会或者其他交流场合提供多语言的技术支持。

另外,自然语言处理可以实现社交媒体监控。通过监控在线对话和情绪分析,可以实时跟踪观众反应。这将有助于商家及时调整内容,从而满足观众的喜好。同时,自然语言算法将会从数据中捕获重要话题和关键词,然后通过编译截屏和高亮剪辑等方式达到营销的目的,也可自动上传到社交媒体上。而在网络直播领域,音频检测也可以起到督查监控的作用。通过自然语言算法,可以自动分析检测音频内容,从而实时监控直播状态,及时关闭低俗内容。

视频分析和数据提取

随着越来越多的公司参与到流媒体服务中,视频生成的数据量正以指数级增长。从这些数据中获得的信息将会远远超过人类手动提取的信息。人工智能将通过对视频的分析处理,生成标签、类别和描述,自动提取视频中的数据。这将有利于视频内容的分析、理解和管理,从而实现智能化的广告投放等业务。

另外,对于城市的交通、安保来说,视频大数据分析承担了重要的作用。例如阿里云在杭州打造的城市大脑,通过对道路视频的分析检测,智能实时地改变红绿灯的策略,大大改善了交通状况。而在这个过程中,我们需要在复杂环境下对人、车、物的多重特征的信息提取,让计算机“看到”并且“领会”视频中的信息,这将是人工智能给我们带来的巨大改变。

总结

对于流媒体行业来说,人工智能将会是一个十分强大的工具。目前,在流媒体服务中人工智能的作用初步得到体现,还有很大的空间值得我们去开发。从以上谈及的一些例子中我们可以看出,人工智能可以大幅提升流媒体服务的吸引力和效率,同时也大大节省了从生产到发布各个环节的成本。人工智能将推动内容所有者,媒体生产商和广告商进入一个新的时代,创造出智能而优质的视频内容。

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2017-11-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯研究院的专栏

AI:真实的希望与隐忧

姚  星  腾讯集团副总裁、腾讯AI Lab负责人   过去的二十年是信息高速发展的二十年,它经过了几个发展阶段。从发展的方向上来讲,应该是在上世纪九十年代初期...

1957
来自专栏AI科技评论

Facebook、微软、谷歌三大研究巨头齐聚首,共同探讨人工智能发展现状和趋势

AI 科技评论消息,日前 AAAS 在 reddit 上组织了一场问答,Facebook 人工智能研究院 Yann LeCun,微软研究院院长 Eric Hor...

3275
来自专栏大数据文摘

AI测谎仪:通过微表情在法庭检测谎言,性能已优于人类

1102
来自专栏量子位

AI没有偏见?它们从人类的语言中学会了性别和种族歧视

李杉 编译自 IEEE Spectrum 量子位 出品 | 公众号 QbitAI 在性别和种族问题上,人工智能能够消除人类的偏见吗? 《科学》上发表的一项最新研...

3585
来自专栏人工智能头条

阿里iDST鄢志杰:深度学习不可一味强调大数据、大模型、大计算

1517
来自专栏机器之心

观点 | 人工智能的三个阶段:我们正从统计学习走向语境顺应

选自DataScienceCentral 作者:William Vorhies 机器之心编译 参与:黄小天、微胖、李泽南 我们处在人工智能的哪个阶段?我们将要去...

3329
来自专栏AI科技评论

业界 | Facebook 图像识别平台 Lumos 是什么?

大多数人懒得给照片加标签。如果你属于这一类(大概率事件),那么你一定知道搜索某张照片有多辛苦。 但这很有可能即将成为过去。 本周,Facebook 披露了其机器...

3576
来自专栏量子位

2018深度学习十大趋势:元学习成新SGD,多数硬件创企将失败

原作 Carlos E. Perez 李杉 编译自 Intuition Machine博客 量子位 出品 | 公众号 QbitAI ? 2018年,一切可能都会...

2915
来自专栏人工智能快报

谷歌人工智能赋予机器人“做梦”的能力

随着最近的神经科学发现展示了做梦对记忆巩固的重要性,谷歌旗下的人工智能公司DeepMind率先研发了一项可让机器人做梦的新技术,以便提高它们的学习效率。这些人工...

3465
来自专栏新智元

【独家】前百度资深科学家夏粉创业研发中国版Auto ML,两轮融资估值4亿

---- 新智元报道 作者:张乾 【新智元导读】创建先进的机器学习模型既需要专业的技术人员,也非常耗时耗力,是企业在应用机器学习中的一大痛点。现在包括...

3806

扫码关注云+社区