RTC2018互联网大会参会总结

一，行业趋势

今年在RTC界影响较为重大的事件:

• WebRTC 1.0 Feature Complete

    WebRTC项目从2011年至今，经历了7年的时间。从最初项目的开源到标准的逐步完善，到各大浏览器厂商到支持，到今年所有的功能特性敲定，标准的最终定稿，标志这WebRTC项目迈向成熟，且将迎来更大的一波爆发。

• AV1定稿

    AV1编码标准是AOM联盟发布的首个Codec。AOM联盟在今年3月份，宣布AV1完成最终定稿，并且苹果也宣传加入AOM联盟，将支持AV1。有了苹果的支持，AV1有望成为下一代一统江湖的编码规范。

• AI与深度学习在RTC技术的深度结合

    除了标准相关，随着人工智能的发展，实时音视频领域跟人工智能结合也给行业带来了更多的创新机会（基于机器学习的编码，带宽实时估计，实时图像识别等。

• 5G商用时间表落地

    今年，各国5G商用时间表落地，将催生更多的RTC场景。

    除了以上关键事件，今年随着RTC技术的发展，RTC技术在教育/医疗/游戏行业/政府民生有了更多的应用的场景，实时音视频技术的结合也将有一轮新的浪潮。

• 教育行业

    随着实时音视频技术的普及，在线教育的互动能力，在线教育的教学模式也迎来了新一轮的创新突破，比如举手连麦，1v1，双师模式，小班课，学生表情分析等。另外，更多垂直领域相关的教育服务场景，如互动英语教学，实时乐器/声乐教学，都需要低延迟的RTC服务。

• 游戏行业

    基于实时视频游戏互动的游戏场景，如狼人杀，棋牌游戏等。将之前的陌生人纯对战游戏方式，变成基于熟人之间的音视频社交游戏体验。在线娃娃机也是今年比较火爆的一个游戏与RTC结合的场景。另外在VR/AR方面，也有一些结合RTC技术的游戏体验尝试。

• 其他

    重庆上线120急救服务，用于在救护车到达前通过实时音视频技术，让专业医生指导患者紧急诊断处理，避免错过最佳的治疗抢救时间或者因为误操作造成2次伤害。其他的场景，比如实时警务，证券开户，在线答题等，都是今年在RTC行业上爆发的新应用场景。

二，议题

    大会分为2天，第一天上午主会场主要是声网对行业趋势讲解，下午分为机器学习与实时技术专场，实时互动架构设计专场，编解码技术专场。9月8号上午则为国际峰会，主要邀请了WebRTC规范作者以及WebRTC产品经理还有其他音视频领域外籍专家讲解一些标准以及新方向。下午为大前端实时技术专场，实时网络与质量专场，社交游戏专场。

1，编解码技术专场

    主要讲解了一些较为前沿的编码技术方向 ，比如：

    声网的面向实时通讯的高质量视频编码优化的方案的介绍，大概的优化策略为：

• 编码前：基于机器学习的带宽估计；帧率，分辨率自适应；图片内容检测及ＲＯＩ编码。
• 编码中：码率控制算法优化；软硬件动态切换编码；视频质量主观评分系统；

    另外一个专题介绍了，声网耗费2年时间自研音频解码器solox - 兼容 WebRTC 标准的抗丢包语音编码器。

    主要分享了声网研发的一个solox的音频编码器方案，并且兼容WebRTC标准，在抗性这块优于opus。其思路大概为将原本32k码率的音频，编码阶段拆分成2组16k码率 流，并且他们是分组频互补关系。这样当用户接收时，网络不好，丢了一组码率，也能正常用一组低码率流播放，网络好时，则2路一起处理，音质效果更佳。

2，海外专场

    本次国际峰会邀请了2位谷歌WebRTC方向相关工作者来给我们分享。

Daniel Burnett作为W3C WebRTC规范编写者之一，分享了WebRTC继1.0定稿后，下一个版本的增强的一些特性方向 - What is next for the WebRTC standard?，主要内容：

• 身份验证与同播:

只有指定的对端才能解密捕获后加密的媒体流;同一时间同时接收以及发送多分辨率视频流。

• 可伸缩编码（H265/AV1）:

视频可以在时间以及空间纬度压缩。时间纬度：发送低帧率视频，并插入高帧率视频流；空间纬度：发送低分辨率帧，插入额外高分辨率帧。根据实时带宽，接收低/高的帧率或者分辨率的流。

• 后台运行

WebRTC运行时，不依赖浏览器窗口打开。

• javascript更多能力

对于前端开发人员来说，之前WebRTC提供给浏览器接口的能力比较受限，很多底层逻辑(解包，解码)都无法在javascript层面去干预。下一版本将着重提高javascript在WebRTC中的操作能力，比如：可以处理getUserMedia获取到的媒体流；替换编解码器，设置编解码器参数等。

• Quic用于替换DataChanel SCTP

    另外一个谷歌的WebRTC产品经理Huib Kleinhout概述了WebRTC涵盖的许多组件、标准和技术挑战，以及它如何改变了通信行业 - WebRTC 1.0 and beyond。 从该分享中可以提炼几个点：

• WebRTC的使用用户越来越多，其中近2年中国增速较快；
• SDP的标准将从Chrome72默认采用Unified Plan；
• 目前除Chrome外，其他浏览器的WebRTC都落后几个版本；
• WebRTC在各个浏览器版本中的测试情况，以及谷歌专门设计的一套测试工具介绍；
• 谷歌在解决的一些issue情况。比如，mac上面声音获取异常等；
• WebRTC跟其他技术结合，能做一些更有趣的场景(WebGL，AI，屏幕捕获，Canva，PWA)

3，实时架构设计专场

    由于IMWeb目前主要做腾讯在线教育业务，大会也有很多关于教育领域的话题，其中来自vipkid的技术副总裁张燕静做了一个《技术创新改变教育未来》的分享。他们是一个让美国外教教中国小朋友学英语的业务，主要也是依靠RTC实时音视频技术来做技术支撑。分享了他们业务的一些数据跟技术上面的架构。

数据：

• 1000万+的老师客户端，1.5亿学生客户端
• 6万北美外教，50万付费学生（这里的数据个人感觉跟上面的客户端占比不大符合），分布63个国家地区

技术架构：

• 跨全球的第延迟通讯网络，网络节点遍布16个国家，55个城市
• 全球9个计算中心，100台gpu集群
• 基于机器学习的学生表情识别，语音评测，智能客服

业务：

• 根据学生性格分配老师，根据老师的能力图谱分配特定年级的老师，以及根据学生学习能力分配特定教材，根据错题定制化强化教学服务
• 课前通过趣味性交互，提前预热，让学生更早进入状态
• 根据学生行为通过数据化指标去衡量学生的学习情况，针对听说读写弱项做强化，课后发送学习评测报告反馈家长。

    其他讲题由于篇幅关系，就不一一展开。

三，总结

    本次参加RTC大会，无论从行业视角或者技术内容相关的，都能带来不少收获。特别是很多教育领域的很多公司也应用了WebRTC相关的技术去做，在1 对多直播架构架构，Web上行这块也有很多踩坑经验可以借鉴。还有就是Google Daniel Burnett的WebRTC下一标准特性的介绍，确实给了js开发者很多信心，相信今后前端通过JS在浏览器上面处理音视频的能力以及权限，能力越来越大，这样也能做更多好玩的事情。最后，音视频领域水很深，作为前端来说，太多知识需要继续恶补，不断学习了解，共勉！~