新知 | 云渲染重构虚拟世界最佳沉浸式体验
新知系列课程第二季来啦！我们将为大家带来全真互联时代下新的行业趋势、新的技术方向以及新的应用场景分享。本期开始，我们将分三期为大家带来虚拟世界及云渲染相关的详细分享。今天，我们邀请到了腾讯云音视频技术导师——张欣玮，为大家分享云渲染在虚拟世界中的应用及我们的一些落地案例。
今天的分享分四个部分，首先带大家了解当前虚拟世界场景相关行业现状，之后为大家介绍我们的云渲染产品，并和大家分享虚拟空间的一些落地案例，最后还会和大家一起探讨一下未来会有哪些新的玩法和场景。
最近一两年，市场上关于虚拟世界、虚拟活动的案例越来越多，我这里也罗列了一些案例，比如线上展览，线上拍卖会、云端构建虚拟城市等等。还有很多企业选择用虚拟的方式召开线上会议，线上分享，甚至一些产品的发布会也采用了线上虚拟的形式。除此之外，还有偏向娱乐性质的线上演唱会，云蹦迪等等场景。越来越多的内容形式，正在被加入到虚拟世界中。
我们也捕捉到了其中的一些市场趋势，比如虚拟空间正在从原来的2D画面，慢慢向3D场景演进，现在很多主打元宇宙业务的活动，都是以线上3D的方式呈现的。另一个方面，虚拟世界开始从最初的功能演示向更场景化、生活化的方向延伸。最初可能仅仅是简单地将一个人物加入到虚拟场景中，实现移动、对话这样的初级功能演示，后面慢慢结合实际的场景，融入越来越多场景化的能力。
但现在我们看到的大部分项目，依然存在很大的局限性。虽然整个行业的内容形式在不断丰富，制作水平在不断提高，但大部分项目仍处在给小范围用户体验和使用的状态中，大部分项目更多的是为了POC，或是为了承载企业自身对外宣传的任务，而没有考虑大规模的推广应用。另一方面，内容不断丰富，质量不断提升也导致应用包体的大小不断增加。目前大部分虚拟世界内容，使用Unity、UE4/UE5这样的引擎制作，应用的包体动辄几个GB，用户下载安装体验的门槛很高，也导致虚拟世界项目往往局限在小范围用户之中。
那么随着技术的发展，这样的情况会不会有所改观呢？我们可以回顾一下获取信息方面，各种方式复杂度的发展趋势。最早，在2000年左右，我们可以在网上浏览帖子、小说等等文字信息，但音频、视频等内容必须下载之后才能观看。之后，就出现了很多在线音频的网站，我们可以不用下载，直接在网页上收听歌曲、电台等音频内容。再之后，就是在线视频网站的爆发，各种视频内容我们也无需下载就可以直接在网页上快速的进行浏览。小程序的出现，进一步宣告了一个即时应用时代的到来，各种应用都可以通过H5的方式，无需下载即点即用，让广大的用户可以快速低成本的体验各种服务。对于虚拟世界这样的3D应用，最后肯定也需要向大规模、即时化的方向发展，而不是停留在下载大型包体，小范围体验的阶段。而实现大型3D应用的即点即用，就需要云端渲染。云端渲染这个技术的实质，就是为了去解决超级内容的快速体验问题。
首先我们快速地介绍一下云端渲染概念。以往，当我们使用一些软件或者应用，尤其是像3A游戏这样的大型应用，往往需要经历漫长的下载过程。同时，想要流畅运行这些大型应用，往往会对存储空间、内存、CPU等等硬件提出比较高的要求。而云端渲染，则是将这些应用从本地运行搬到了云端的GPU服务器上面运行。用户其实是把他的实时操作指令，比如说键盘、鼠标、手柄或者是一些触控的操作，上行到云端的GPU服务器，经过渲染运算之后，再以低延时的音视频流串流的方式，下发到用户的终端上。整个过程耗时非常短，给用户一种类似在本地使用的体验。
云端渲染最早被运用在云游戏中，之后也衍生到了很多非游戏的行业中。我们腾讯云渲染团队其实就是以云端渲染作为核心技术，衍生出各种不同的产品和解决方案。在游戏行业、娱乐行业，我们推出了云游戏、虚拟直播、应用微端试玩等产品和解决方案。在非游戏的传统行业，我们也推出了云桌面、应用云渲染等针对于非游戏应用的产品，以及虚拟互动空间、虚拟人&虚拟活动等元宇宙相关的解决方案。
我们这个团队在这个领域已经深耕了很多年，适配的应用很多。目前，我们的端到端的延时，可以控制在60到80毫秒。另外，我们还提供全端的快速接入能力，包括H5小程序、安卓、iOS以及Web端。当然我们也服务了非常多的客户，像各种直播平台、云游戏的聚合平台以及像万科这样的非游戏传统行业客户。
下面我为大家介绍几个落地案例，并把里面用到的一些技术和我们对于这块市场的判断，也分享给大家。
首先是关于互动空间的一些案例。在文旅的场景下，我们跟合作伙伴万翼合作，将深圳的一个文化景点——南头古城，用高级的场景复原技术搬到了云端。本身这个应用是很大的，超过十个G，但最终我们通过云渲染的技术将它放到了一个小程序上面去进行呈现。观众在这样的虚拟空间中，可以看到有关于街景、地区、店铺的各种信息，并且能够随时分享给他的朋友。在文旅这样的场景，一旦景区建设完成后，再进行各种运营活动，翻新、加盖的成本就会很高，那么将这些运营活动搬到线上，在线上更新内容就成了一个很好的方向。通过云渲染实现线上线下并行的运营模式，对文旅场景来说是一种很好的解决方案。
另外，我们配合央视三星堆考古节目，同步在央视频APP上推出的“三星堆云上考古”虚拟空间，也是在云端实景复原了三星堆考古现场。用户在观看纪录片的同时，可以通过H5的方式，便捷的加入到虚拟场景中，去实际体验三星堆考古，可以在这个虚拟的空间中发掘到黄金面具、黄金权杖、青铜树等等三星堆文物古迹。
再说一下虚拟会展的场景，案例是去年的腾讯数字生态大会。我们在线上1：1的复原了线下的展馆，用户可以在云端展厅中自由移动，进行线上逛展。当时因为疫情的管控，线下的人流被严格控制，很多有兴趣的观众无法来到现场就可以通过线上的小程序，在云端展厅参与我们的数字生态大会。在这个云上的展厅中，我们也融合了很多其他的技术，比如在虚拟场景中插播PPT、视频等内容，还将线下的直播流串接到了线上虚拟的演播厅和会议室里，让用户可以在虚拟展厅中直接观看直播。
除了上面的这些案例，我们也与合作伙伴落地了线上虚拟会议的一些项目。这些案例在前面提到的虚拟空间场景搭建和复原的基础上，增加了更多的多人互动内容。另外在虚拟会展、虚拟活动这些场景，我们也有很多案例落地。
从这么多的案例中，我们可以看到虚拟世界的实现需要丰富的功能支持。而云渲染，就是将这些需要很高算力和很大内容包体才能实现的功能，以非常快捷的、低延时的音视频流的方式提供给用户。我们还可以通过丰富功能的融合，塑造出更加沉浸式的体验。除了多人在线互动外，我们可以增加线上的虚拟NPC去做AI的智能问答。另外，在虚拟会议中，我们可以通过复杂的播控能力，在虚拟世界中实现内嵌PPT/视频/直播流以及人员控制等等功能。3D场景制作/孪生复原也是必不可少的功能。现在实现复原的工具非常多，从最早的制图搭建，到点云扫描，随着工具的复杂化，场景复原的效果会越来越好，但同时对硬件的算力要求也变得越来越高。其他还有很多辅助性的能力，比如账号信息的打通，3D场景信息的数据统计，以及各种游戏性互动等等。
下面再介绍一下我们与直播场景相关的一些落地案例。目前很多直播平台在探索弹幕互动的直播玩法，也就是用户通过弹幕的形式参与互动直播，比如通过弹幕输入「我要参加」，那么后端的服务器，就会抓取这些IM的信息，在对应的场景中加入一个属于该用户的角色，能实现在一个虚拟场景中，千人互动的场面。这也是最近在许多直播平台比较热门的一个分支场景。
这样的一个虚拟弹幕互动场景，有意思的点在于用户不仅在观看主播直播，他的一些弹幕、信息以及礼物信息，能够影响到主播的虚拟场景。但是同样也存在一些局限性，比如观众只能看到主播的视角，弹幕与直播最终呈现有一定的延迟……这也使得一些比较沉浸式的内容，或者一些需要即时操作的内容，在这样的技术架构上无法承载。因此我们就用云渲染的方式，将原来这种云蹦迪1.0的效果进行了升级。观众通过一个H5的链接，就可以加入到虚拟场景中，并且能够自由控制自己的角色，像玩游戏一样，能够控制移动方向和视角。升级之后，这个虚拟空间就具备了承载更多互动内容的能力。同时，我们还将账号信息同步、开播工具、多应用云化等等功能也加入其中。
这样的直播互动2.0玩法，将观众简单观看主播的直播形态进化成了一个观众以互动角色的方式，加入到场景中去跟主播互动的形式。在商业化方面，平台可以做一些内容的授权，可以售卖直播间的流量。另外，在toC的方向，这种互动玩法可以刺激用户做更多的打赏，包括局内各种道具收费、外部的广告收入等等玩法。
在这方面，我们已经落地了一些外部客户，比如我们跟斗鱼合作落地了3D云舞会。当时请了一些主播在虚拟空间中做现场的粉丝见面会。这样的云舞会形式，主播不再是一个人坐在镜头前单方面跟观众进行沟通和交流，而观众也会很及时的在虚拟场景中与之进行各种交互。基于这样的交互，有很多节目效果可以呈现，主播直播就会相对来说轻松一些。
针对虚拟互动直播，后续我们还会在场景中加入文字聊天、语音聊天等功能，可以根据不同的环境提供定制的场景，并且将虚拟空间与直播间的礼物系统打通。通过云渲染的方式，我们也希望虚拟世界能够帮助直播平台挖掘到一些更新奇的玩法。
除了功能方面，我们在易用性方面也做了很多的准备。我们考虑到平台本身追加一些新能力时，往往非常谨慎，尤其是这种大型的平台，他们对于APP的包体大小、直播间内的功能模块布局都有很高的审核标准。所以我们采用了SaaS化快速交付的方式，他们能够快速的进行体验。我们将云端渲染的这些虚拟世界应用放到了腾讯云的控制台上，并对整个业务流程进行了拆解。开启一场虚拟活动，首先要创建房间，之后设置场景及人物，再生成专属互动链接让主播开播并让观众去体验。对于直播平台来说，在直播间中放一个链接，用户点击链接就可以快速进入到虚拟场景中，而场景中的各种功能，比如连麦、虚拟摇杆移动等等，我们都已经为直播平台预先准备好。
这样轻量化的SaaS快速交付方式可以让想要尝试虚拟活动的直播平台快速地通过链接进行POC的测试。而对于那些有明确意向深度接入虚拟直播方案的平台，我们也提供了PaaS的接入方式。同时，我们还对前面提到的这些功能进行了原子化拆解，以API的方式将虚拟房间增删改查、虚拟资产管理、直播设置等等原子化能力提供给有意向接入的平台。平台可以在此基础上进行接入和进一步的改造，最终封装成自己想要的产品形态。目前我们的能力可以覆盖会议会展、虚拟表演、弹幕游戏、电商直播等大型场景。
前面介绍了我们目前的一些落地案例以及已经具备的一些产品能力。下面我想跟大家再进一步探讨一下，基于云渲染，围绕虚拟世界的话题，未来还会有哪些新的玩法和场景。
首先总结一下，关于虚拟世界，我们梳理后认为当前主要有4大场景。第一类是虚拟会议/会展，以内容展示为主的场景。第二类是虚拟活动，强调娱乐性和互动的场景，比如前面提到了虚拟演唱会、云蹦迪以及云节庆等等。第三类是孪生复原，以呈现线下的真实存在为主的场景，可以是复原一块区域，也可以是复原一个器物。这个场景对渲染效果，模型的制作效果、复杂度有更高的要求。最后一类是多行业的整合营销方案，主要是满足服装、地产、汽车等传统行业对外进行产品展示或者预售、发布的需要。这是目前我们看到的虚拟世界玩法，而这些玩法实际上还没有向元宇宙这方面做很深入的探索。所以在玩法上，我们还有很多探索的空间。
虚拟观赛是我们正在探索的一个新方向。目前各种线上的电子竞技比赛，都是通过传统直播方式向观众播放赛事画面的。这种方式观看效果有限，主要依靠弹幕信息以及现场解说的个人发挥来营造观赛效果。而我们则想要借助3D建模以及云端渲染的技术，让更多观众，以沉浸式观赛的方式加入到现场。只要一条链接，观众就可以直接进入虚拟场馆中。并且这个虚拟场馆承载的内容和丰富度，相比普通直播会有很大的提升。
在这个虚拟场馆中，我们可以与直播间的弹幕进行打通，并在虚拟场景中触发更炫酷的礼物特效。另外，动作、表情等互动元素都可以与赛事进行关联，你可以用战队专属的动作、表情为自己喜欢的战队打call，甚至可以让自己的虚拟人物穿上同款队服，装扮上定制化的NFT。同时，我们会为沉浸式观赛提供多视角的能力，这里会涉及到较复杂的导播控制能力，后面再为大家详细介绍。最后，玩家在虚拟场馆中还可以像线下一样，进行互动游戏。虚拟观赛带来更多内容、玩法的同时，也会带来更多的增值内容点，比如虚拟门票、付费礼物。在虚拟场馆中，主办方也可以设置广告位，通过赛事广告为广告主以及平台带来更多收益。
上面是我们关于虚拟观赛的想法，它也代表了我们对虚拟世界探索的方向，也就是在虚拟世界中以更丰富的内容形式的去呈现。我们不能狭义的认为将原来的3D游戏形式做个换皮，放到虚拟世界中，就是元宇宙了。真正的元宇宙应该更多的与场景和生活化的东西做结合，碰撞出更多的火花。
比如我们前面提到的虚拟观赛的场景，这个场景并非简单地完成3D建模，加入虚拟人物就能实现，还需要结合很多赛事导播和管理能力。如何高效地管理赛事，场景中的各个屏幕分别呈现哪些内容，虚拟空间中互动如何实现，场景中的人员如何管理，付费观众和免费观众如何分区等等活动运营及交互性方面的问题都需要我们根据场景去思考、解决，并融入到虚拟世界中。通过云端实时渲染的能力，我们想在云端承载更多的内容，更丰富的模型细节，更强的交互性，为用户带来更沉浸的体验。
关于新知
随着行业数字化转型加速，线上线下一体化、数字技术与真实世界融合的全真互联时代正加速到来。腾讯云音视频技术导师将在新知栏目中分享在全真互联时代下新的行业趋势、新的技术方向以及新的应用场景与大家共同探索视界，创见未来！
腾讯云音视频在音视频领域已有超过21年的技术积累，持续支持国内90%的音视频客户实现云上创新，独家具备 RT-ONE™ 全球网络，在此基础上，构建了业界最完整的 PaaS 产品家族，并通过腾讯云视立方 RT-Cube™ 提供All in One 的终端SDK，助力客户一键获取众多腾讯云音视频能力。腾讯云音视频为全真互联时代，提供坚实的数字化助力。
