技术引领直播未来 腾讯音视频实验室解读直播前沿技术

3月20日,2017“云+视界”大会在北京召开,聚焦视频、直播行业的“新洞察、新趋势、新格局”,集结视频、直播行业的一众行业巨擘。文化部市场司副司长马峰、人民日报总经理叶蓁蓁、腾讯集团高级执行副总裁汤道生、腾讯公司副总裁腾讯云负责人邱跃鹏、腾讯音视频实验室总经理刘晓宇等500余位来自视频、直播、广电、新媒体、金融、电商、文化、娱乐相关全产业链的行业领军人物集聚大会现场,共同探讨直播行业的未来之路

现场,腾讯音视频实验室总经理刘晓宇分享了音视频实验室在直播技术上的发展现状,根据应用场景进行了展示和解析,同时也展望了直播技术的未来趋势。在直播上半场面临挑战之下,技术将引领直播行业未来,助力直播行业高速发展。

以下为刘晓宇演讲实录

大家好,2016年是整个直播元年,我们直播SDK从去年开始对外开放,到现在已经有两亿多的终端用户用了我们的SDK。去年其实有很多的直播APP成长出来,但是提供低延迟高互动的直播平台并不多,因为这里面涉及到的技术相当多,这里仅仅是列出了所有用到直播技术的冰山一角。

直播技术在垂直行业场景的深耕

在直播通用方案的基础上,我们持续的在垂直行业场景上深耕细作,不断的针对场景特点进行技术上的创新,将细微的体验做到极致,下面会详细讲两个场景的案例。

首先是K歌场景。音乐对音质的要求非常高,正常情况下人的感知损伤,对音乐的感知非常明显。假如是普通的语音通讯,其实60毫秒的丢包基本上人耳有所感知,但是换作音乐场景,20毫秒可能就会听得非常明显。我们会从采集到传输到播放,将整个链路进行优化,降低整个的感知损伤。第二,我们还给音乐信号做了拉伸、压缩的技术,都是为了抗抖动、丢包产生的损伤以后怎么样去弥补。

另一个是金融直播场景。金融场景的屏幕分享不仅是讲K线图,其实在教育场景用的也比较多,这里有一个技术难点,对屏幕编码的要求非常高,这里面会涉及到对屏幕压缩后怎么样传输,还有CPU怎么样去控制。在屏幕分享的过程中,还涉及到一些问题。比如,从语音、视频到屏幕,三方的流量是完全不一样的,怎么样控制这三方的同步,我们也是花了很长时间去解决。

技术创新促进直播+AI&VR发展

2016年是直播的元年,也是人工智能和VR的元年,我们在这些技术方面有一些思考和研究。首先是语音识别和自然语言处理,直播加上语音识别,会有很多的玩法。QQ早在今年春节的时候,已经有了这样的尝试。在QQ视频聊天的时候,大家可能会出发一些彩蛋,假如跟对方聊天的时候说恭喜发财,我们的界面上就会飘出一个红包,类似这样的语音命令,在直播的场景下也是非常契合的。还有实时字幕和翻译,假如一个老外在你的直播平台,他边说自己的家乡话,他下面会有翻译出来的字幕,他作为一个外国的主播,是不是可以和中国的观众进行无缝的交流。实时变声,QQ本身已经实现了很多,可以变为变形金刚的声音或者搞怪的声音。接下来我们会把某一个人的声音,或者你自己的声音,变成某一个明星的声音。在K歌场景,假如你可以把自己变成某一个歌星,在上面唱歌也是挺有意思的一件事情。

在机器视觉方面,外面展台有我们的直播和绿幕的技术。之前技术只是用作于电影制作,现在这种技术已经可以慢慢地民用。我们同事也在尝试非绿幕的一些算法,通过人工智能怎么样可以进行更好的前景和背景的分割,我相信不远的将来这方面会有一些成绩出来。

还有手势识别,涉及到人机交互的方向,传统的算法进展不是很大。去年AR的发展,我觉得手势识别技术方向,可能是下一个突破口,因为通过人工智能可以把这方面技术很快突破。有了这样一个全新的进展以后,我们在直播、互动方面,可以让主播和我们的观众进行一个更多花样的互动。

最后我会讲一下VR的方向,虽然VR在整个行业来看不是特别成熟,毕竟会有一个起步的阶段。首先会有一些360度全景的视频,在这个过程中我们在不断地打磨我们的基本算法和能力,比如说一些拼接的能力,怎么样进行一些双目渲染,为我们将来做VR做储备。

刚才说到很多技术并不是科幻,也不是离我们很远的事情,这些技术很多已经在我们的产品中使用,后面很多都会加入到开放,给更多的合作伙伴提供这样一些能力。

我觉得可能从技术来讲,直播的未来可能更多是一种技术创新,不管是AI或者VR,技术创新可能才是直播下一个真正的战场,谢谢大家。

据了解,腾讯在音视频实时通信、音视频直播、图像处理、视频处理和语音处理等技术领域拥有十多年的经验沉淀,技术水平已在业内领先。为行业数百个产品提供了音视频技术支持与服务,如QQ电话/视频电话、腾讯云、QQ空间、全民K歌、快手、斗鱼、虎牙、蘑菇街等。

腾讯在2011年成立了音视频中心,2015年底向行业开放了其自主研发的SPEAR音视频引擎,目前仅QQ音视频每天的通话就高达12亿分钟,2016年成立的腾讯音视频实验室致力于音视频及图像处理技术创新,为更广大的用户和行业客户提供稳定优质的音视频及图像处理服务。

本文分享自微信公众号 - 腾讯音视频实验室(TencentAVLab)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-03-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

CBinsight重磅报告 | 如何从谷歌亚马逊苹果微软脸书的9年专利之争,看5大巨头在AI行业的未来10年之争

说到企业专利,乔布斯传记中的这样一段记载,把当年移动专利大战中惊心动魄的一面描写得淋漓尽致: ‘谷歌,你他妈的抄袭了iPhone,完全抄袭了我们。’这是偷窃,如...

28660
来自专栏大数据文摘

宜信大数据负责人Joyce:当金融遇上大数据

25860
来自专栏数据科学与人工智能

大数据能为银行做些什么?

导读:金融是与我们数据人紧密关联的属性,我们总是要与钱打交道的。说道金融,自然会想到银行。大数据能够为银行做些什么呢? 随着移动互联网、云计算、物联网和社交网络...

1.4K60
来自专栏企鹅号快讯

AI技术五年内必将颠覆现有医疗领域?

近日,著名“互联网女皇”KPCB合伙人玛丽·梅克尔在《2017年互联网趋势报告》中表示:医疗保健领域充满了商机。该报告还提出,由多种融合技术驱动的医疗保健市场正...

221100
来自专栏数据猿

专访DataHunter程凯征:押注可视化市场,消除企业内部的“数据孤岛”

2016年,DataHunter在企业级市场展开布局,希望通过数据分析技术帮助企业挖掘出业务数据蕴含的价值。 记者 | 郭敏 官网 | www.datayuan...

33560
来自专栏大数据文摘

2017年关于数据科学六大预言

17050
来自专栏大数据文摘

[抢鲜,多图]百度开放大数据引擎

30350
来自专栏孟永辉

从BAT到TAB,你看到了什么?

32850
来自专栏量子位

独家 | BAT人工智能人才报告:阿里薪资最高,百度成黄埔军校

量子位 出品 | 公众号 QbitAI վ’ᴗ’ ի 追踪AI行业和技术动态 ? 人才争夺,是人工智能领域最火的主题。 到底有多火?最好的答案就是数据。为此,...

40350
来自专栏编程

从概念到成功落地,技术大咖分享云基础架构最前端技术

“ “第七届中国云计算标准和应用大会”作为国内云计算领域的重要会议之一,得到了国家工信部、国标委等指导单位的高度重视和大力支持,旨在对中国云计算产业标准制定与应...

23250

扫码关注云+社区

领取腾讯云代金券