点个关注👆跟腾讯工程师学技术
导语|2021年元宇宙概念已无处不在,也寓意数字虚拟世界和现实世界新一轮的大融合已开启。要构建以假乱真、令人沉浸、承载多人实时交互的虚拟世界,需要庞大的渲染算力支撑,仅依靠终端设备算力无法实现。本文介绍实时云渲染技术,使用云端高性能海量算力满足虚拟世界实时渲染需求。
3D应用场景案例
随着数字化、场景化趋势发展,3D 应用越来越广,聚焦公司内部,业务场景在社交,赛事直播,虚拟主播,虚拟演唱会,会议以及未来腾讯云上的一些第三方应用都有被涉及。下面对某些行业应用场景进行分析,提出对云渲染的需求。
(一) 社交娱乐虚拟大世界
随着Roblox上市、元宇宙概念的流行,越来越多的虚拟世界平台推出,比如,公司内部的Zplan项目、百度的希壤、元象的XVERSE大世界、Meta公司的Horizon worlds等,这些平台和活动是对现实世界的补充和拓展,满足人们社交娱乐等基本需求。这类应用场景复杂、模型较大,采用端渲染方案时,用户需要先下载大场景APP,应用启动时还要等待加载场景模型,APP包体积大和加载时间长都会劝退一部分用户。另外低端机型的用户,画质和流畅方面体验感不太好,平台对重型游戏的拓展也极大受限。
主要痛点/关注点:场景加载和切换时长,以及对低端机型画质和流畅度体验的支持有待提高;对画质清晰度需求大,追求真实感和操作流畅度。
(二)虚拟直播和虚拟展会
传统的直播间多由实景搭建构成,布置直播间时需要考虑打光方向、景物摆放、广告位排布等;之后,一部分公司利用虚拟背景技术打造了绿幕直播间,但“抠图明显”的技术缺陷依旧无法满足用户更高的视效需求。使用实时云渲染,主播在直播间内想要实现更具购买吸引力的现场效果,无须实景铺设、无须额外购置价格昂贵的服务器与高配置硬件设备,能大大降低虚拟直播的成本与门槛。3D虚拟直播能带来比传统直播更具沉浸感的体验,吸引更多用户的关注。
虚拟展会将展陈的3D可视化内容发布到线上,通过URL可以嵌入到官网或宣传页面,助力策展方提升展陈的影响力、吸引潜在观众,打破了常规线下展会中由时间、地域、面积等限制,能够使展会面向世界各地的用户,并随时都能进行参展。
主要痛点/关注点:需要直播间虚拟场景效果更吸引眼球,直播间装修成本降低;要求构建虚拟场景和场景渲染效果优化,追求真实感和操控流畅度。
(三)数字孪生领域
数字孪生是今年才火起来的概念,一般针对B端企业,比如数字孪生工厂(也叫智慧工厂)、数字孪生城市(即智慧城市、城市大脑等概念)。随着数字孪生模型和物理世界的相似度越高,整个程序就会越大,如果是选择本地电脑安装,则每次使用或者展示效果都需要去特定的空间和设备上。而实时云渲染技术解放了时间和空间的限制,只要网络允许,在任何空间和时间都可以随时随地操作服务器上的程序,查看效果,方便做各种演示和决策。另外,实时云渲染也可以让更多人同时协作,适合参与人数更多的场景下使用。
主要痛点/关注点:低端设备运行项目文件或者打开文件过慢、操作不流畅等问题;希望应用实现无需下载或者预下载,无需高端的电脑配置,随时随地通过电脑、平板、手机等多终端访问体验应用。
云渲染和端侧渲染技术对比
云渲染是渲染技术的服务方式之一,与之对应的是端侧渲染。过去,在云服务普及前,实时渲染以端侧渲染服务为主,受计算机能力限制,往往会牺牲画面效果来满足实时系统的要求。现在,随着国内云服务趋于成熟,出现了一些可以提供实时渲染的云平台,如云架平元渲染平台,在云端提供强大的图形实时渲染计算服务,平台配备弹性GPU资源集群,支持自动负载均衡和伸缩扩容,对比端侧渲染,实时计算的速度快,计算画面的精度高,使得实时渲染的效果越来越逼真,同时,还可实现降低研发和运维投入成本。
对比端侧渲染,云渲染具有以下一些优势:
端侧渲染方案 | 云渲染方案 | |
---|---|---|
终端门槛 | 对终端设备要求高终端设备性能参差不齐,性能不太好的低端机渲染画质会比较差,甚至无法使用特别是 VR 设备对分辨率和帧率要求更高,需要使用更高端的芯片(如高通的XR2),往往需要配置高端 PC 配合使用,导致用户使用门槛高,普及率难以提升 | 终端设备要求低目前市面上 97% 手机支持 H265 硬解,绝大多数可以达到 1080P 60fps,基本上用户有手机就能使用云渲染VR 设备,云渲染可以取代高端 PC 的串流,甚至降低 VR 设备对高端芯片的依赖 |
应用门槛 | 端侧应用体积大,下载劝退用户由于3D模型精度越来越高,特别是一些开放式应用,3D模型繁多,导致应用体积大,如原神手机版超过15G。使用成本高,很多用户在下载阶段就选择放弃 | 客户端体积小,即点即玩目前云渲染 ARMv8 安装包增量大小在 2.6MB 左右,打包的应用小,用户只需要下载一个小体积客户端,甚至下载一个客户端可以尝试多个云应用云渲染目前传输使用 WebRTC 技术,可以通过微信分享,手机端浏览器等打开,做到无安装使用 |
并发用户 | 单场景并发用户有限,需要特定场景优化端侧渲染方案受限于算力瓶颈,能支撑同屏互动的人数很有限。 | 单场景并发用户数多,可以满足虚拟大世界需求云端针对超多人同屏互动的场景,可以采用分布式渲染方案,云端渲算力强、网络稳定,有利于运营大型分布式应用。 |
运营成本 | 需要多样设备兼容,应用发布多平台投入端侧渲染方案需要针对多平台,不同芯片的设备做兼容性适配和测试,每次应用发布都需要多平台投入 | 研发&运维成本投入下降云渲染方案,核心渲染工作都在云端完成,云端渲染和算力平台基本统一,兼容性适配工作简单。另外,云端采用云原生架构,支持版本快速迭代、资源弹性扩缩容、自动化运维等,提升运维效率同时保证较高的服务稳定性。 |
终端设备性能参差不齐,性能不太好的低端机渲染画质会比较差,甚至无法使用 特别是 VR 设备对分辨率和帧率要求更高,需要使用更高端的芯片(如高通的XR2),往往需要配置高端 PC 配合使用,导致用户使用门槛高,普及率难以提升
目前市面上 97% 手机支持 H265 硬解,绝大多数可以达到 1080P 60fps,基本上用户有手机就能使用云渲染 VR 设备,云渲染可以取代高端 PC 的串流,甚至降低 VR 设备对高端芯片的依赖应用门槛
由于3D模型精度越来越高,特别是一些开放式应用,3D模型繁多,导致应用体积大,如原神手机版超过15G。使用成本高,很多用户在下载阶段就选择放弃
目前云渲染 ARMv8 安装包增量大小在 2.6MB 左右,打包的应用小,用户只需要下载一个小体积客户端,甚至下载一个客户端可以尝试多个云应用 云渲染目前传输使用 WebRTC 技术,可以通过微信分享,手机端浏览器等打开,做到无安装使用 并发用户
端侧渲染方案受限于算力瓶颈,能支撑同屏互动的人数很有限。
云端针对超多人同屏互动的场景,可以采用分布式渲染方案,云端渲算力强、网络稳定,有利于运营大型分布式应用。运营成本
端侧渲染方案需要针对多平台,不同芯片的设备做兼容性适配和测试,每次应用发布都需要多平台投入
云渲染方案,核心渲染工作都在云端完成,云端渲染和算力平台基本统一,兼容性适配工作简单。另外,云端采用云原生架构,支持版本快速迭代、资源弹性扩缩容、自动化运维等,提升运维效率同时保证较高的服务稳定性。
对比端侧渲染,云渲染需要重点解决两个问题:
元渲染PaaS平台
TEG云架平推出“元渲染PaaS平台”,面向想要构建虚拟世界的客户,虚拟世界拥有强实时互动、多人协作等特性。我们的目标是为客户构建虚拟世界提供基础平台能力、上层应用插件和数字资产,帮助客户提升生产和运营效率。此外,元渲染平台拥有突出的成本和体验优势。
(一)平台能力
我们构建元渲染 Paas 平台,目标是通过对现有算力资源、技术进行整合,帮助用户快速构建虚拟应用(小世界)能力。元渲染PaaS平台能力由基础设施、核心能力、场景能力和场景Demo四个部分组成。
(二)打通元渲染+多人互动+全景直播全流程:
元渲染PaaS平台满足虚拟世界里的两类用户:互动用户和直播用户。
互动用户可以通过PC、手机、Web和VR 设备接入,可以实现 6DOF 的观看模式,以Avatar形式在场景中自由活动,与场景交互,与其他互动用户交流。
直播用户只能观看,观看的视角可以是场景中导播控制的,也可以是场景中预设的一些全景采集位置,只能实现 3DOF 的观看模式。平台满足互动用户与直播用户的无缝切换。
(二) 平台优势
点击下方空白 ▼ 查看明日开发者黄历
summer
time
2022
/
07.23