专栏首页媒矿工厂人工智能赋能流媒体

人工智能赋能流媒体

前言

人工智能(AI)、深度学习和自然语言处理将成为新一代流媒体行业的关键技术。从生产到消费的各个阶段,它们都将产生非常重大的影响。毫无疑问,随着人工智能在许多不同行业的逐步深入,它也将被更广泛地应用于流媒体领域。

近年来,一些公司已经取得了重要的进展,包括Google云视频智能API,Conviva的视频智能架构,NVIDIA DLA和IBM Watson技术。所有这些技术都在不同程度上部署了AI,尤其是在云计算领域。另外,我们很快也会看到AI被应用于流媒体的其他方面。

人工智能可以用来取代很多人力资源,甚至可以执行繁琐、重复和耗时的任务,比如工作量巨大的内容和数据管理。目前,人工智能被用于视频分析处理、网络和技术故障诊断以及广告推广等很多方面。当然,还存在很多尚未开发的潜在用途。

智能跟踪摄像机

目前市场上,有一些运动跟踪摄像机系统可以自动跟踪移动的物体,但它们都必须在被跟踪物体上安放发射器或者传感器,而人工智能的出现将会很好地解决这一问题。无需额外的传感器,人工智能也能实现在不同场合跟踪拍摄演讲者,运动员,或者艺人等移动目标。

其中,深度学习算法将会被用来分析视频,判断人的行为以及周围环境,从而使目标完美地出现在镜头中。现在来说,这项技术已经使无人机可以非常准确地追踪运动员冲刺的场景。如图1 所示,展示的是全自动体育运动追踪无人机AirDog。

图1 AirDog全自动体育运动追踪无人机[1]

视频帧合成

视频的生成与数学之间有着紧密的联系。视频成像的关键因素——帧率、焦距、光圈和构图是基于比例的,了解它们背后的数学知识将会有很大的帮助。比如,“黄金比例”可以用于深度学习的视觉感知算法。因此,人工智能相机能够自动捕捉最美观的视频图像,而不是由人来手动完成。近年来,生成对抗式网络(GAN)的出现,实现了生成质量极高、以假乱真的图像[2]。如图2所示,是NVIDIA的最新成果——GAN生成的高分辨率1024×1024图像。

图2 NVIDIA生成高分辨率图像1024×1024[2]

除了生成高质量的图像,人工智能也给视频帧合成带来了惊人的效果。例如ICLR 2016的论文[3],通过生成对抗式网络,成功实现了视频的预测。同样地,在超帧率技术方面,深度学习算法已经超过了传统的插帧算法,有效地提升了视频质量。传统算法上,超帧率往往是运用运动补偿技术,首先估计出运动矢量,然后通过补偿插值来生成中间帧,从而提高视频的帧率。但是,生成视频帧的质量受到运动矢量准确度的极大影响。而最新出现在ICCV 2017中的论文[4],采用端对端式的深度卷积神经网络,将预测运动信息和补偿插帧这两个步骤合为一体,直接生成了中间帧,如图3所示。由此看来,人工智能正在逐步改进、优化、甚至超越传统的视频处理算法。

图3 基于CNN的视频插帧模型[4]

实时视频切换

深度学习算法能够实现自动处理和生成视频,这也将有助于将AI引入实时视频切换。智能视频软件将通过分析面部表情、手势、衣服、身体、颜色和其他成像数据,选择最佳的相机镜头或角度,从而更好的跟踪拍摄整个事件。通过分析视频内容,将会确定镜头远近的选择,关键人物和题材的选取,从而自然流畅地进行视频切换。

这些视频分析的功能将有助于实现一个完全智能的实时视频切换系统。在不久的将来,它最终将会取代现场活动技术总监的角色。而基于计算机视觉的视频切换器可以独立工作在嵌入式系统或设备上,甚至可以利用网络化的云服务器。

流媒体码率自适应

传统的流媒体码率自适应方法面临着两大难题:复杂多变的网络环境和QoE指标。而在今年的SIGCOMM上,MIT CSAIL的一支研究团队提出了基于神经网络优化码率的自适应算法Pensieve[5],用来提高媒体传输质量,如图4所示。

图4 基于神经网络的码率自适应策略[5]

文章结果表明,与传统方法相比,Pensieve能平均提升QoE高达12%-25%。虽然该模型还比较简单,但给我们开辟了一个新的思路,可以将深度学习的方法用于流媒体传输优化上。由此可见,深度学习将会给传统的流媒体技术带来巨大的变革。

音频分析

自然语言处理(NLP)能够为会议、讲座或者其他场合提供自动的现场转录、翻译、口译、字幕以及音频描述技术。这将给很多跨国企业,甚至是政府部门在发布会或者其他交流场合提供多语言的技术支持。

另外,自然语言处理可以实现社交媒体监控。通过监控在线对话和情绪分析,可以实时跟踪观众反应。这将有助于商家及时调整内容,从而满足观众的喜好。同时,自然语言算法将会从数据中捕获重要话题和关键词,然后通过编译截屏和高亮剪辑等方式达到营销的目的,也可自动上传到社交媒体上。而在网络直播领域,音频检测也可以起到督查监控的作用。通过自然语言算法,可以自动分析检测音频内容,从而实时监控直播状态,及时关闭低俗内容。

视频分析和数据提取

随着越来越多的公司参与到流媒体服务中,视频生成的数据量正以指数级增长。从这些数据中获得的信息将会远远超过人类手动提取的信息。人工智能将通过对视频的分析处理,生成标签、类别和描述,自动提取视频中的数据。这将有利于视频内容的分析、理解和管理,从而实现智能化的广告投放等业务。

另外,对于城市的交通、安保来说,视频大数据分析承担了重要的作用。例如阿里云在杭州打造的城市大脑,通过对道路视频的分析检测,智能实时地改变红绿灯的策略,大大改善了交通状况。而在这个过程中,我们需要在复杂环境下对人、车、物的多重特征的信息提取,让计算机“看到”并且“领会”视频中的信息,这将是人工智能给我们带来的巨大改变。

总结

对于流媒体行业来说,人工智能将会是一个十分强大的工具。目前,在流媒体服务中人工智能的作用初步得到体现,还有很大的空间值得我们去开发。从以上谈及的一些例子中我们可以看出,人工智能可以大幅提升流媒体服务的吸引力和效率,同时也大大节省了从生产到发布各个环节的成本。人工智能将推动内容所有者,媒体生产商和广告商进入一个新的时代,创造出智能而优质的视频内容。

本文分享自微信公众号 - 媒矿工厂(media_tech),作者:张智峰

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-11-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • IMF中的辅助视频轨道

    本文来自SMPTE 2019的演讲,演讲者是来自DPP的Rowan de Pomerai和来自Marquise Technologies的Dan Tatut。这...

    用户1324186
  • 【视频编码】Content Aware ABR技术(十)

    在本系列前面的帖子中,我们连续梳理了Netflix、YouTube、Beamr、EuclidIQ、Bitmovin、Harmonic、V-Nova、Cisco及...

    用户1324186
  • 衡量流媒体视频质量的行业标准

    本帖来自Discovery Track East 2019,主题为:“好”是什么样子的:朝着衡量流媒体视频质量的行业标准迈进(What does ‘good’ ...

    用户1324186
  • 剑桥科学家用两百万段视频教会人工智能预测未来

    人工智能系统可以预测场景如何展开,也可以设想不久的将来。 对于静止画面,深度学习算法生成的微视频可以预测接下来可能发生的场景。例如,如果展示的是一幅火车站的场景...

    人工智能快报
  • Wolfram语言12.1版本中的可计算视频功能

    Wolfram语言的12.1版本引入了期待已久的Video对象。Video对象完全是(而且只能是)核外算法,它可以用任何codec编码连接到视频文件的外部列表。...

    WolframChina
  • Video ++孙兆民:人工智能行业报告——视频内容识别行业分析 | 分享总结 | 雷锋网

    像素的世界已经延伸到图像之外,虽然视频对于机器学习研究人员来说一直都是个挑战,但现在的技术能够使得从视频中提取信息变得跟从图像中提取信息一样简单。人工智能这个新...

    AI研习社
  • 向怡宁:如何做中国人用的可穿戴设备?

    本期跟大家推荐新一期【产品家】视频. 中西文化不同,可穿戴设备的产品思维也应不同。 当下,用于记步的可穿戴设备越来越多,但怎样的计步器才适合中国人穿戴呢?我...

    腾讯大讲堂
  • 5G:中国硬核新巨头,也是每一个中国人的机遇

    从2018年末频谱发放,到今年6月发放牌照、如今正式启动商用,我国5G商用推进速度比预期的早了一年。

    华章科技
  • 开发直播app当务之急先把视频质量提上去

    相关数据显示,我国成年人平均每天在移动设备上花费 2 小时 39 分钟,比 2017 年增长 11%。与此同时,看电视的时间将减少 2%,每天只有 2 小时 3...

    用户4372465
  • 机器学习1--线性回归模型

    3),给定x, 残差e_i要服从正态分布(Normal Distribution);

    用户5473628

扫码关注云+社区

领取腾讯云代金券