数字记者在党媒客户端的应用探索与实践

摘要

媒体深度融合背景下，虚拟数字人在泛文娱行业和数字经济领域得到了较大发展。而超写实、强交互的新一代虚拟人成为媒体传播的重要入口。本文通过分析川观新闻打造的数字记者矩阵，探讨党媒客户端如何利用数字记者实现内容生产效率提升和内容表达形式创新。

数字记者在党媒客户端的应用探索与实践

黄 云 沈 停 邓剑峰

2022年6月，川观新闻数字记者矩阵项目立项，成立首个数字人——“小观”的专项开发制作团队；9月21日，川观新闻的第一个综合了计算机图形学技术、动作捕捉以及人工智能等技术融合而形成的“智媒新物种”——数字记者诞生。2023年9月，川观新闻首批20个数字记者上线，2023年11月，川观新闻的第二批20个数字记者上线。自此，川观新闻已构建起1+40的数字记者矩阵，实现了技术驱动智慧内容高效生产。实际工作中，结合5G、AI（人工智能）、AR/VR（增强现实/虚拟现实）等技术，生产融媒新闻资讯，提供令人耳目一新的智能新内容体验。

需求的产生

随着元宇宙风起，虚拟数字人作为一种新媒体传播手段，已经在泛文娱行业和数字经济领域得到了较大发展，且随着技术的不断发展，超写实、强交互的新一代虚拟人开始涌现，虚拟数字技术逐步成为媒体传播的重要入口，其新颖的玩法可以吸引年轻用户，在增加流量的同时，还可以体现品牌年轻化。

这正是党媒客户端平台内容生产和运营所需要的，川观新闻的数字人制作计划也由此而产生。一方面，我们希望将数字记者作为智能化引擎类载体，带动川观新闻智能化不断升级；另一方面，我们希望借助数字记者降低内容生产成本，提高内容生产效率，创新内容表达。

应用的实践

从超写实数字人切入，深度实践数字人制作全流程。2022年6月，川观新闻适应新时代数字技术发展趋势，主动求变求新，创新表达形态和表达方式，成立专门团队，对超写实数字人进行专项开发。

打造数字人的第一步，是确定数字人的大致人设及应用场景。小观的设定是一位活泼可爱、热情大方的川妹子，爱好川菜、旅游，热爱四川地方文化，特别是古蜀文明，不仅会对重大新闻进行播报和解读，还会在重大活动现场进行直播互动，对话各行业的一线人物，见证新时代的新活力，同时会参与城市或活动的各类宣传。

打造数字人的第二步，是进行形象设计，绘制原画和三视图以及招牌动作表情。接下来的第三步就是根据原画形象进行资产制作，包括模型搭建、UV设计（采用紫外线固化技术和材料来实现的设计方案）、贴图绘制、骨骼绑定等。从模特与服装等基本素材的重建，身体、头发、服装、配饰等的精细建模，到人脸表情绑定以及骨骼绑定，团队在前期实践了多套市面上主流的超写实数字人的制作路径，最终确定了以Unreal Engine（虚幻引擎）为主的较优方案。

数字记者小观人物设定。

经过高强度攻关，川观新闻在2022年9月发布了数字人“小观”。小观凭借着专业新闻记者的主播和采访能力，成为四川日报出镜主持的首选数字人，其模型精度达150万面，拥有10万根发丝，面部皮肤贴图达8192x8192精度，用于匹配小观的面部模型，在此基础上绘制妆容，从而得以最高品质地还原真人细节及材质特征。为了增强角色的真实感，我们在使用Sub-Surface-Scattering（次表面散射）参数模拟了皮肤的透光与次表面反射效果，为了使小观能够行动自如，我们为她绑定了142根骨骼，其中一只手就有40个骨骼控制点。FACS（面部行为编码系统）是目前全球面部表情肌肉运动的权威参照与标准,为了让小观有丰富的表情，能清楚地表达喜怒哀乐，她的面部绑定了56个表情，理论上这56个表情可以非线性地组合出任意表情。小观的服装贴图使用了高精度贴图进行映射来得到真实的布料纹理，采用布料的实时模拟结算，在Unreal Engine中使用uDraper（Unreal Engine中的插件）完成，对服装的物理效果和真实感达到超高保真度。

让数字记者“入职”上岗，深度实践数字人内容创作全流程。作为川观新闻数字记者，小观最核心的应用场景便是内容生产了。目前，小观提供两种内容生产方案。一种是基于唇动合成、眼动合成以及头部的摇动合成的2D方案，一种是基于模型驱动的3D合成方案。

基于唇动合成、眼动合成以及头部的摇动合成的2D方案，现阶段的主要方式是建立文本、音频、视频之间的映射关系，从而实现自动对口型的效果。对于表情和动作，当前主要的触发机制是通过随机算法或者脚本的形式人工预设。不仅如此，还支持英文以及中国各地方言。未来会通过智能分析的手段实现自动化，使数字人的行为与真人更贴合。

3D人脸建模驱动的人脸面部生成方案的核心技术则是动作捕捉，生成3D数字人运动，最大可实现毫米级误差。模型驱动都是通过真人使用光捕或者惯捕进行动作捕捉，支持预制内容录播和实时内容直播。动画技术核心包括动作数据的多角色Retargeting（运动重定向）、角色与场景的IK（反向运动学）反馈、碰撞以及运动过程中动作的实时碰撞检测和反算修正。通过Motionbuilder（3D动画制作软件名）的插件，实现将实时的动作捕捉数据，数据手套数据以及表情捕捉数据输入到Motionbuilder中，利用其优秀的动画实时修正功能，映射到不同骨骼结构的模型上，解决了角色动作的重定向问题，通过将场景的粗模导入来做到角色动作的实时IK反算。通过Motionbuilder提供的ragdoll（实时动作解算的插件名）功能实现了角色的实时碰撞检测与解算。

不管是预制录播还是实时直播，最终的内容成品输出质量都依靠渲染引擎的渲染效果。在人物渲染方面，PBR（基于物理的渲染）是基于真实物理世界的成像规律模拟的一类渲染技术的集合，其关键在于微表面模型和能量守恒计算，更真实地反映模型表面反射光线和折射光线的强弱。我们采用世界顶级的渲染引擎Unreal Engine进行渲染，让数字人皮肤纹理更为真实。

小观作为四川日报的数字新闻记者“入职”后,参与了《小观播大运》《小观提问党代表》《小观·阿央两会下午茶》《小观·首席说两会》等节目，数字记者为我们提供了立体式、多元化、全景式的互动新闻现场，有效地实现了现实世界和虚拟世界的无缝交互，有效赋能节目创新表达。同时，打破了一般会议新闻使用真人记者真人主播的传统形式，让时政报道科技感拉满的同时，更为年轻化。

《小观·阿央两会下午茶》节目。

组建数字记者矩阵，深度实践数字记者常态化生产全流程。随着内容生产的变化和升级，我们希望数字记者的应用能深入到实际的内部生产中去，而单次高成本长周期的真人驱动显然不适合常态化生产，基于此痛点，虚拟工厂系统应运而生。川观新闻数字记者小观在虚拟演播室中与真人采访对象进行互动访谈，实现了多维场景互动新闻现场，有效赋能节目创新表达。虚拟工厂系统基于小观框架的全域底层能力，整合实现了智能抠像、动作捕捉、内容生产、渲染呈现、交互响应、虚拟特效、虚拟道具等多个关键技术模块，以完备的产品架构支撑多样化的应用场景，通过推流直播及视频录播的方式，实时快速输出虚拟内容，赋能新闻媒体行业,大大地缩短后期制作成本，提升内容生产效率。

同时，小观的出色表现以及AIGC（生成式人工智能）相关技术出现之后，数字记者也被赋予了更高期待。川观数字记者矩阵因此而诞生：我们结合数字人特点，利用掌握的数字人技术，挑选了首席记者和精英记者，创建了他们的数字分身，再利用AI大模型进行训练和调整，结合数字人内容生产平台，将分身应用到常态化视频栏目，大幅提升内容生产效率，提高了视频内容原创产量，解放了内容生产力。

应用的效果

这一年多，通过系列技术攻关，作为川观新闻出镜的首选数字人，小观已经实现了真人驱动、AI驱动、AI换装等多种模式综合应用。真人驱动，主要应用于需要随机应变的采访以及主持场景，AI驱动应用于日常的新闻播报以及简单的互动采访。AI换装则打破日常播报主播单一形象，在重大节日或者季节交替时带给用户更贴近现实的沉浸式体验。截至目前，小观已参与多次重大报道，主持多次大型会议，并且有了自己主持的日更栏目“小观看天”，让报道科技感拉满的同时，更为年轻化,有助于吸引受众，提升传播效果。这些节目在川观新闻客户端发布后，吸引了大量年轻网民互动。目前，“小观看天”栏目一个编辑就可以实现内容生产，也已经成为川观新闻客户端上受欢迎的栏目之一。

川观新闻的40名数字记者，也已经入驻各自专栏进行内容创作，自2023年10月启用以来，数字记者在“小铭切瓜”“唐探经济圈”“太好科了”“时堂”等川观王牌栏目中的出镜率已多于记者本人，以往需要化妆灯光摄像剪辑等人员配合才能完成的视频栏目，目前只需要记者和剪辑即可，大幅提高了视频内容原创产量，提升了内容生产效率，解放了内容生产力，开辟了一条新型主流媒体的传播新模式。

应用的启示

川观新闻从小观数字人开始做起，再到数字记者矩阵，已历时一年，从1个数字记者到20个，再到40个数字记者，已大规模投入新媒体平台及内容生产中，数字记者的快速成长和媒体大量应用为我们提供了以下启示：

首先，数字人技术为媒体行业发展带来了更细的分工——媒体人更擅长新闻报道、挖掘事实真相、传播正能量；数字记者强调数据驱动型，用技术手段解决形态、形式上的问题，并且能快速生成内容在新媒体平台上发布，依赖于记者和编辑的原创文字、事实、证据，两者的分工与定位完全不同。

其次，数字记者矩阵的应用和AI生成技术，大大推动了新媒体平台可视化传播的发展。特别是生成的数字记者视频大提速，结合图表、地图和其他形式的可视化呈现，将复杂的信息转化为更直观和易懂的形式，让内容更生动、更有深度，提高了用户理解度与体验。

第三，数字人技术带来了新媒体多应用的风潮。在数字时代，数字人除了帮助我们进行视频内容生产，还可以应用到新媒体平台各种环境之中，比如川观答题、在线客户、小观看天等，未来在新闻伴读、精准搜索、线上活动客服、办事指引、直播互动等方面将全面开花。

第四，数字记者的应用使新闻生产工具也发生了根本性变革。新的工具和技术让媒体人能够更高效地处理信息，提高了报道的效率，这也意味着媒体人需要不断学习新的技术，以更好地适应数字时代快速变化的媒体环境。

最后，数字记者的工作将会更加注重实时性、交互性。媒体人通过社交媒体平台与受众互动，传播新闻信息也将更加及时、灵活；实时报道使新闻更有时效性和参与性，这促使媒体人关注读者的反馈，提高了新闻报道的互动性和影响力。

数字记者在媒体中的应用为媒体人提供了创新的手段，推动了传统新闻业态的升级，适应数字时代的变革，提高数字素养，将有助于媒体人更好地应对未来媒体环境的挑战和机遇。数字记者的崛起不仅是技术进步的产物，更是新闻行业不断演进的见证，为传媒事业的可持续发展提供了新的思路。

（作者黄云系四川日报全媒技术中心主任，沈停系四川日报全媒技术中心高级工程师，邓剑峰系四川日报全媒技术中心首席安全官）

责任编辑：王  月

本文刊发于《新闻战线》2024年2月（下）。