100万人沉浸式「云斗舞」！这个节目凭啥火了？

新智元报道  

编辑：好困 桃子

【新智元导读】五一宅家，无迪可蹦？你可能错过了一场和虚拟人的超级狂欢！

上方是演出大屏，下方是人潮嗨舞的迪厅，两侧滚动的是表白宣言，身旁还有「虚拟」的央视主持人尼格买提。

央视一场自带话题度的五四特别节目，当晚便冲上热搜。

它，凭什么火了？

100万人「云斗舞」

时间回到2021年，「TMELAND」腾讯音乐虚拟世界在12月31日正式亮相。

当晚，在高雄世运主场馆线下开唱的五月天，也空降到了TMELAND这个「虚拟音乐嘉年华」。

全球110万乐迷陆续「登岛」共同狂欢跨年。这个量级，相当于在鸟巢开了12场满座演唱会。

而此时距离TMELAND的立项，才过了五个月。

正值盛夏7月，设计团队突然接到任务，说要打造一个「虚拟音乐世界」。

就像一万个人心中有一万个哈姆雷特，团队中的每个人也有自己理想中的虚拟世界。

在大家一筹莫展、甚至连名字都还没想好的时候，一位设计师便凭着自己的感觉开始尝试手绘整个乐园。

没想到画着画着，突然灵光一现，就想到了TMELAND这个名字。再加上那张蓝图，一个清晰的「岛屿」仿佛出现在了所有人的面前。

紧接着，技术团队也在10月份加入到了项目的研发之中。

随着设计的逐渐完善，问题也接踵而至，这些效果该如何呈现出来呢？

摆在技术团队面前的路有两条，「终端」和「云端」：

1. 把所有的内容和素材都装进一个庞大的APP里，在用户的设备上运行；

2. 把所有的渲染等计算都放在云端进行，用户只用接入网络即可。

第一条路相对成熟，有大量的游戏都采用这种机制，比如大家熟知的「和平精英」或者「王者荣耀」。

抛开游戏对操作的苛求，可以说只要能接入网络，基本上都不会有太高的延迟。

但如果让用户的手机或其他终端设备来承载所有的渲染压力，不仅需要强大的硬件性能支撑，而且在集成了渲染引擎和各种素材资料之后，软件安装包的体积单位也将以GB来计算，占据庞大的存储空间，体验并不友好。

第一条路不好走，那么第二条路又如何呢？

还别说，这个的难度更大。

用户看似是零成本地接入，但由于所有的内容都在云端，用户必须在极高的网络带宽下才能有流畅的体验。

而运营商的成本则是直接被拉满了，由于每一个用户都需要进行独立的渲染和输出，运营商必须投入巨量的服务器资源才能维持。

显然，对于一个需要极高迭代速度的全新产品来说，这两条路都太劝退了。

经过一波头脑风暴之后，TME的技术团队选择了——「第三条路」。

既然纯粹的「云」或者「端」行不通，那么，如果把这两者结合起来又会如何呢？

比如，让云端负责大场景的渲染，让终端则负责轻量级的交互。

这是一个非常大胆的想法，毕竟把整个流程分拆成两个部分来进行处理的方式，在国内也是实属首次。

而且，TMELAND本身又是极具创新性的项目，这就要求方案必须能够实现极高的更新速度，以适应不同玩法和内容的变化。

这时，压力就来到了技术团队这边。因为想要让「端」和「云」的结合真正在项目上可用，就必须在迭代和性能之间找到一个平衡点。

经过反复地摸索，TMELAND与元象XVERSE的联合团队决定采用H5来打造这个全新的虚拟世界。

利用H5的灵活性，团队不仅优化了编解码系统，而且在对图片以及一些素材进行渲染时，采用了例如纹理压缩等技术，显著地减少了开销，从而降低了对本地性能的需求。

‍

不过，团队当时还不确定这套方案的可行性，于是初次试水选在了「全民K歌」的虚拟直播间里。

没想到的是，效果出奇得好。很快，各种新的玩法和场景应运而生。

深受鼓舞的技术团队紧锣密鼓地研发了2个多月，名为「端云协同」的全新3D互动技术方案就此诞生。

借助于「端云协同」的优势，TMELAND能同时容纳10万人同屏在线。

而更重要的一点是，TMELAND不仅可以将面积超13万平方米的虚拟音乐世界压缩成一个极小的下载包，而且用户也无需辅助的硬件，甚至连独立的软件都不用下载和安装。

只要手机能连网，就能随时随地进入这个游乐园玩耍。

时间来到2022年5月4日，在这场和央视联动的五四特别节目中，累积共有超百万用户化身「数字人」进入TMELAND。

主持人尼格买提的「分身」先在虚拟世界中来了段「赛博报幕」。

紧接着，腾讯互娱旗下的吉莉、童和光、星瞳也集体「空降」现场，与青年演员联合出演情景歌舞《New Youth》。

随着镜头切换，虚拟人还现身中国人民大学、北京航空航天大学、武汉大学3所高校校园，并与黑龙江大学、西安交通大学、广州大学的青年学子们同屏起舞。

‍

‍

从0到1的虚拟人成长之路

此次演出的三个虚拟人，风格各有不同，细看他们的故事，却可以大致描摹出来腾讯这样的中国互联网公司，开发虚拟人的路径。

以星瞳为例，作为《QQ炫舞》的NPC，星瞳如今已经是一个有着庞大粉丝群体，能出歌唱作品，能和舞蹈家杨丽萍共舞，还能参加综艺节目的虚拟偶像。

随着背后的直播流程管线成熟，星瞳又成为了用UE4引擎做全3D直播的第一位虚拟人。

这套流程厉害的一点在于，可以实现实时渲染，所见即所得。

也就是说，需要离线制作2到3个月的动作，只要准备好前期的资产，2到3星期即可完成。

基于此，星瞳也成功地在2021年完成了24小时极限直播的调整。

如果星瞳和《和平精英》的吉莉都是NPC借助虚拟人技术，从二次元走进了现实世界。

童和光则是介于超写实数字人和高保真数字人之间的虚拟人，更重要的是，童和光底层的虚拟人技术，走了一条完全自研的道路。

而这个故事，还要从第一代高保真数字人「Siren」讲起。

2017年5月，Siren正式立项，其背后是来自四个国家的联合开发团队。腾讯NExT Studios为项目所有者，负责Unreal引擎的渲染增强和性能优化。

联合开发期间，跨国沟通为项目带来了巨大的风险和挑战，无论是时差和文化多样性，还是反复的海量数据协作。经过近一年的研发，Siren终于在次年3月现身GDC 2018。

但说到底，即便拥有这个项目，背后的底层技术还是掌握在别人手里。

显然，腾讯想要的可不只是「复用」现成的模型就完了。

于是，腾讯开始尝试用内部的人员和技术能力去开发虚拟人，不再单纯地依赖国外的技术。

高保真数字人Matt、WL.S成员童和光等自研虚拟人便在这样的背景下启动了。

2021年腾讯和新华社合作，开始从零打造全球首位数字航天员小诤。

仅3个月之后，实时高保真数字人小诤诞生了。

‍

‍

她有五千多个微表情，皮肤能随光线变化而变化，她身体能够自由转动，带领地球上的人们360°观赏难得一见的火星风光。

能够做到这一点，腾讯的两套自研的管线功不可没：

1. xMoCap®动捕动画全流程生产
2. xFaceBuilder®数字角色制作

在xMoCap®管线中，集成了绑定、动捕、资产管理、动画工具及NExT动捕数据库，并提供涵盖动捕服务、数据处理、数据输出等一站式服务。

原来2到3个人需一周时间才可完成的动捕数据处理，现在1个人在动捕完成次日就能轻松搞定，角色动画生产效率大大提升的同时，质量也得到了提高。

而xFaceBuilder®数字角色制作管线，则通过大量算法优化提升了角色人脸制作效率，能够逼真制作人脸、毛发、服装，打磨成了一套涵盖建模、绑定、动画的全流程制作过程。 

加上星瞳背后的自研直播管线、吉莉的自研骨骼绑定管线…… 经过五年的探索，不管是离线还是实时，腾讯的虚拟人在实现「千人千面」的同时， 工业化的生产也越来越成熟。

虚虚实实，未来怎么走？

其实，此前《堡垒之夜》也在虚拟演唱会上做过不少尝试。 

周杰伦在元宇宙平台沙盒（Sandbox）里举办的演唱会也是嗨翻了不少歌迷。

不过这些是纯粹的虚拟体验，这次央视和腾讯基于TMELAND打造的虚拟音乐世界体验，更多是基于真实晚会和虚拟体验的互动，是对传统电视节目体验一次突破。

而且这些虚拟技术目前的应用，也远不仅仅在虚拟世界，而是正在快速复用到实体行业中。

感觉不是很直观？没关系，举个例子就好理解了。

不知道你有没有这样的感知，现在AI的发展或多或少都受了当年AlphaGo的影响。

毕竟，DeepMind告诉我们，一个成熟的游戏环境是可以用来协助研发人工智能的。

也就是说，摆在你面前的游戏并不只是一个单纯的游戏，而是一个能够提供更多场景、保证更快速度、以及更低成本的「AI训练营」。

这么看来也就不难理解为什么一群清华、北大的学霸会在《王者荣耀》里研究人工智能了。

再比如，自动驾驶是人工智能技术的「皇冠」，其中重要的环节之一是路面测试。

通过采用数字孪生技术打造虚实交互的时空，测试能够在「平行世界」中模拟进行，这将极大加速无人驾驶时代的到来。

2018年，腾讯推出自动驾驶虚拟仿真系统TAD Sim，可以高效构建还原度极高的测试场景，完成自动驾驶汽车感知、决策、控制算法的闭环仿真测试。

当然，用于打造虚拟世界的数字技术，其对实体行业的影响不会仅仅局限于AI和自动驾驶。

另一个极具代表性的领域就是数字文化产业了。

2022年北京冬奥会通过5G、超高清视频、自由视角、虚拟现实、云渲染、智能创作与分发等新技术，将开幕式上的空灵与浪漫，高速冰雪运动的精彩瞬间呈现给了全世界。

在影视文娱行业，随着游戏引擎的应用和虚拟人技术的逐渐成熟，传统电影电视的生产管线也正在被颠覆。

新的模式将不再受限于绿幕技术和实景拍摄，虚拟制片在前期拍摄阶段的介入能够进一步拓展影片的创意边界，提升制片的流程和效益。

文物遗产保护领域，腾讯也在不断探索力所能及之事，将数字化的理念合计数融入文物信息采集、信息存储和信息传播方面。

除了满足你宅家斗舞以外，依托腾讯的数字技术还能让你足不出户「爬」长城。

云「游」各地博物馆。

2021年12月，腾讯联合北京市文物局启动「数字中轴」项目。借助数字化技术，将一些在历史沿革中已经消失的古建筑，在虚拟空间复原。让更多观众通过虚拟互动的方式，体验北京中轴线的独特魅力。

可以肯定的是，我们对虚拟世界的探索，不会止步于构建一个虚拟的乌托邦世界，我们更期待的，是打造一个虚实融合，让真实生活更美好的未来。