新知 | 虚拟世界互动新场景及应用方案

新知系列课程第二季来啦！我们将为大家带来全真互联时代下新的行业趋势、新的技术方向以及新的应用场景分享。本期开始，我们将分三期为大家带来虚拟世界及云渲染相关的详细分享。今天，我们邀请到了腾讯云音视频技术导师——张驰，为大家分享虚拟世界互动新场景及应用方案。

今天的分享分三个部分，首先带大家了解互动应用的发展趋势，之后为大家讲解虚拟互动新场景的探索实践，一起看看有哪些具体的应用APP和新鲜的场景，最后还会介绍一下我们提出的虚拟世界解决方案。

从电影《头号玩家》里“绿洲”的沉浸式体验虚拟世界，《失控玩家》中逼真还原的数字孪生世界，到现实中腾讯QQ推出的Z时代用户全新数字形象——超级QQ秀，以及Facebook All in“元宇宙”打造的虚拟生活和办公空间，“元宇宙”的概念，开启了人们对虚拟世界的无限想象。

回顾互动应用的发展，从2010年的图文消息进化到2016年的互动直播，再到2020年疫情爆发以来，逐渐兴起的“一起+”共享体验，最后到2022年的虚拟世界玩法和场景，为用户提供了更丰富的虚拟形象、空间和多人连麦的能力。伴随着应用的进步和底层技术的突破，用户体验从最早的“在线”变成了现在的“在场”，比起一串文字，能够实时彼此听到、看到，这样的分享，是比表情包或者是图文更有感染力的。

在场景上，虚拟世界互动应用最早从游戏发展而来，之后逐渐扩展到社交和泛娱乐场景，再到线上活动、在线展会以及办公协作等场景。未来，我们可能会看到全场景的应用，这样《头号玩家》中的幻想也将真正来到现实。

在虚拟互动新场景探索上，我们先来看看语聊上的升级。Sonar是一款传统的语聊场景APP，但它的定位是Create worlds together，也就是大家一起去创建一个小世界。我们可以看到这个世界其实非常简单，用户的头像加上简单的emoji表情，就可以快速地搭建自己的私人空间或者说虚拟空间。红色砖块、蓝色砖块就搭起了一个舞台，麦克风就是开麦的位置，这样的设计可以让用户更有参与感，又非常低成本的快速加入了虚拟空间的形式。另一款APP是AmongChat，它会在语聊的空间中加上虚拟摇杆，并结合空间音频效果，当用户通过摇杆操纵自己走来走去时，根据虚拟空间内的相对位置可以听到不同的声音效果。比如说图中的Lisa就可以听到1号用户在她的左前方，而6号用户则是在她的左后方，并且当她向右移动，越走越远时，还可以逐渐听到左边其他人的声音越来越小。这也是3D空间音频技术在语聊场景推动虚拟空间升级的一个应用。

接下来我们看看视频派对场景。首先是Itsme这款APP，它的玩法和派对玩法非常相像，只是它将用户的形象全部换成了虚拟形象，通过开启摄像头用户面部去驱动虚拟形象的表情随动，然后以这样的形象进行社交。这样的方式能够大大降低用户开麦开摄像头的心理压力，并且用户之间还可以结合你画我猜，Quiz答题等经典玩法，丰富视频派对的娱乐性。在国内，我们也看到Soul这款APP，同样是视频派对的场景，但和Itsme思路上有些不同。Soul通过脸基尼将面部盖住，但身体、背景等其他元素还是正常的现实世界，通过虚实结合的形象效果，去做社交和破冰。

再来看看3D虚拟社交的玩法。在缓缓星球、啫喱等APP中，用户以一个虚拟的3D Avatar全身形象在虚拟世界中走动，走到人群中就会自动开启对话，千人千面的虚拟化身组成社区和社群，形成很自然的虚拟社交空间场景。啫喱也是自2019年来，首款在应用商店社交分类下，下载量超过微信的应用，可以想象它在当时的火爆，以及市场和用户对于这样一款虚拟空间社交APP的期待。

除了3D，还有2D虚拟世界的玩法。这里我们介绍一下Gather这款海外最近融资非常快的应用，它是2D像素风的虚拟空间场景，也包含了走到人群中就自动开启摄像头，并加入对话这样的设计。它的整个世界都支持自定义编辑，可以自由设计篝火区、音乐区、钢琴区、棋牌娱乐区等等。通过自定义编辑可以在Gather上实现各种各样的场景，包括在线教育、公司团建还有在线活动大会等等。

除了2D像素风以外，腾讯音乐的TME Town，将2D地图结合伪3D物件、人物，做出了2.5D的虚拟世界。用户同样可以通过共创编辑这个世界，甚至可以和世界里的物件进行互动。结合全民K歌原有的合唱、点歌以及房间内小游戏等玩法，用户可以在虚拟空间中和他人社交。TME Town是虚拟形象聊天以及虚拟空间在2.5D上的应用，比起Gather的2D像素风，它在画风上做出了改变，并且结合业务场景融入了更多特色的玩法和功能，比如双人K歌台、视频大屏播放MV、点歌机、专辑展览柜等等。

在更多行业和应用场景中，我们也能看到3D虚拟世界的身影。比如说我们的客户——花动科技，在虚拟办公场景，将线下的办公室完全还原并搬到了线上，通过Web端即可加入进行线上沉浸式办公。在这个虚拟办公空间中，用户走近其他人就能够看到对方的摄像头画面，和他们进行沟通。在教育类的场景，面向幼儿教育，koala这款产品向老师和学生提供了虚拟空间的编辑器，老师可以自由设定整个空间的构成，与学生在其中玩耍互动并且进行教学。在虚拟互动直播间这样的新场景，我们也结合腾讯云渲染和斗鱼合作落地了“斗鱼云舞会”的案例。用户可以在虚拟空间中自由移动，并且参与直播互动，比起纯观看或简单的弹幕互动，参与性更强。除此之外，还有数字孪生场景复原、虚拟活动展厅等等，这些都是3D虚拟世界的最新应用场景。

针对虚拟互动的这些应用场景，我们推出了“虚拟世界”解决方案。在数字资产方面，我们提供正版曲库、虚拟形象、虚拟空间、虚拟道具等资源，包括虚拟空间Demo、搭建素材，虚拟道具美术设计素材等等，帮助客户快速上线。在制作工具方面，我们会为客户提供虚拟形象、虚拟道具、虚拟空间的创作能力，包括通过拍照自动生成虚拟形象，DIY捏脸定制，皮肤衣物道具选搭，动态效果展示，变声，人物交互等等。我们还提供完善的驱动能力，面部驱动能够让虚拟形象的表情随着现实中人物的喜怒哀乐而变化。手势识别能够识别用户手势，驱动虚拟形象做出对应的动作。语音驱动可以在用户不想或无法开摄像头的情况下驱动形象的动作。这些能力全部基于我们自研的渲染引擎，超轻量化的设计，能够对业务造成最轻量的侵入和影响。最底层是腾讯云音视频的实时互动底层技术能力，为虚拟世界提供低延时、高品质的实时互动能力。

这里我们展开讲一下“虚拟世界”解决方中的几个互动技术能力。第一个是TRTC提供的千人音视频互动能力，它突破了单房间主播上限，支持千人同时开麦开摄像头成为主播角色加入互动。并且在如此多上行的情况下，服务端可以智能选音视频流进行转发，降低下行拉流的压力，同时防止因多人同时开麦说话造成嘈杂的不良听感体验。第二个是空间音频技术。我们通过自研的3D音效技术，模拟声音从不同方向、不同距离传来的效果，将无方位感的声音处理成带有声源方位感的声音，从而虚拟出空间中任意位置声源方向的空间感。这个能力在前面提到的应用场景已经有非常多的应用案例和玩法。

在虚拟形象和虚拟世界的结合上，我们也做了很多的优化让形象与空间的连接更自然顺畅。比如说形象在虚拟世界中物理引擎的碰撞，攀爬、翻越等各种动作以及不同动作之间的过渡和切换，还有多个动作同时进行，比如边走边鼓掌，这些我们都进行了深度的打磨让它们变得更自然。还有人物与空间、道具的交互，比如在点歌台点歌、打开屏幕放电影等。

最后是云渲染的能力。在渲染要求比较高，机器性能又不足的情况下，我们也可以通过云渲染技术，把3D应用一键部署到云端，并且结合我们丰富的生态伙伴资源去搭建您所需要的虚拟空间，如展会、发布会、云端车展等等。这样我们可以将所有的应用都部署在云端，配合全端的SDK支持，只需要拉取渲染的视频流，就能用户做到无需下载即开即用。

关于新知

随着行业数字化转型加速，线上线下一体化、数字技术与真实世界融合的全真互联时代正加速到来。腾讯云音视频技术导师将在新知栏目中分享在全真互联时代下新的行业趋势、新的技术方向以及新的应用场景与大家共同探索视界，创见未来！

腾讯云音视频在音视频领域已有超过21年的技术积累，持续支持国内90%的音视频客户实现云上创新，独家具备 RT-ONE™ 全球网络，在此基础上，构建了业界最完整的 PaaS 产品家族，并通过腾讯云视立方 RT-Cube™ 提供All in One 的终端SDK，助力客户一键获取众多腾讯云音视频能力。腾讯云音视频为全真互联时代，提供坚实的数字化助力。