数字人全集
请查阅 Mixlab·社群数字人讨论合辑
数字人·专题分享合辑目录
#01 数字人驱动方式
- 离线式驱动
- 实时驱动
- 跨平台数字人形象统一接入工具
#02 数字人虚拟偶像制作
- 虚拟偶像创作与运营指南
- 虚拟形象制作开发工具
#03 数字人实业应用场景
- 数字人 & 社交
- 数字人 & 文娱产业
- 数字人 & 情感陪伴
- 数字人 & 工业产品与场景
#04 数字人发展趋势展望
- 发展路径维度分析
- 数字人 & 精神外骨骼
- 数字人 & 精神陪伴
#01
数字人驱动方式
1.1 离线式驱动
如果你拥有了自己的数字人，会将如何使用ta？
我需要一位虚拟主播来播报我的推送文章～
最近正好尝试了一种虚拟人的解决方案
厉害了，制作用到了什么技术？
TTS+一张图片+一段驱动动作（first order motion）
查阅了下资料，这种驱动数字人属于 First order motion model
- First Order Motion Model for Image Animation
# 功能 & 自评
无需对目标图像进行任何加注或者信息预处理，就可依据动画驱动数据源的动画轨迹来生成动画。
Our framework scores best on diverse benchmarks and on a variety of object categories.
#项目 & 论文地址
aliaksandrsiarohin.github.io/first-order-model-website
github.com/AliaksandrSiarohin/first-order-model
- TTS 技术
Test-To-Speech 使用语音 API 将书面文本转换为具有多种声音和语言的自然语音。用生成的语言与世界各地的客户交谈，创造更好的客户体验。
# vonage 专业文本转语音工具
# Synthesia 运用TTS + first order motion 的数字人视频生成工具
1.2 实时驱动
上述案例多用于“离线式”的数字人应用场景。如果需要与数字人进行实时的交流沟通，有项目采用的是 ASR+TTS+Audio2face 方案。
ASR 自动语音识别 + TTS 文本转语音 +Voice2Face 语音控制驱动模型（声音数据对应的标签是模型动画的 blendshape 权重）
小杜
可以上手体验下开源项目，自己制作数字人
- FACEGOOD
FACEGOOD 将音频转换为混合权重（blendshape 权重），并在 UE 项目中驱动数字人小美。FACEGOOD为小美打造的Test部分和UE项目不提供商业用途，仅供测试使用。
#项目地址
github.com/FACEGOOD/Voice2Face
1.3 跨平台数字人形象统一接入工具
举手🙋♂️，现在比较困扰的问题是通用元宇宙身份解决方案。将一个通用的虚拟形象迁入多个平台有什么简单快捷的方法吗？
或许从摄像头这块接入是最便捷的方法？这类数字人算是元宇宙的初级分身了。
- Snap Camera
Snap Camera 可调用用户设备的摄像头，在任何平台使用摄像头输出头像或视频时均可使用Snap Camera的滤镜库
#02
数字人虚拟偶像制作
2.1 虚拟偶像创作与运营指南
1.靓丽（吸引人）的外表
2.独特的才艺
3.魅力个性。
而虚拟偶像，ta的 “功能性” 要更强，粉丝们可以通过更多的技术手段、通道来与虚拟偶像进行互动。
共享共创，是虚拟偶像的优独特势——粉丝们拥有更大的对于偶像的期待决定权；同时，虚拟偶像也能拥有千人千面的形象管理系统来满足不同粉丝群体的期待要求。由粉丝塑造偶像的多重可能，这是与真实偶像以个人魅力引领粉丝追随的模式大不相同的。
从身份定位上看，虚拟偶像可分为：虚拟艺人偶像、真实艺人（工作人员）数字分身
——以是否在真实世界存在人物原型来区分；
从技术实现与视觉表现类别上看，虚拟偶像包括
1.IP运营为主的二次元虚拟偶像
2.超写实虚拟偶像
3.完全算法驱动的人工智能虚拟偶像（完全摆脱人类控制）
——以是否有人类运营团队进行管理（虚拟偶像智能程度）以及2D/3D视觉效果加以区分。
要塑造一位虚拟偶像，而不是虚拟产品，如何体现ta的生命力呢？
我觉得可以从偶像IP价值与粉丝情感需求两个方面来思考虚拟偶像的生命力。虚拟偶像IP的底层价值是通过打赏等粉丝情绪价值行为进而创造经济价值来维系团队运作，这也是IP生存的基本条件。通过新V联动组团出道、开展有个人特色的公开活动以及有一定品质保障和风格的切片短视频宣发等等方式保证IP价值持续保值、不断升值。
虚拟偶像的高位价值大小与粉丝群体的精神娱乐需求满足程度紧密联系，也是虚拟偶像生命力的核心。我最近亲身体验了虚拟偶像 天仓五Alice 的运营内容。该虚拟偶像运营结合电竞（打游戏）和歌回（唱歌）优势，平衡兼顾了男女粉丝群体的娱乐需求，诸如投票等公开活动带给了粉丝养成系的情感满足感，匿名提问箱等多渠道曝光丰富了与DD（粉丝术语-喜欢多个虚拟主播，爱好广泛的粉丝）的互动频率和方式，大幅增强了偶像IP生命力。
VUP（b站虚拟主播）虚拟偶像 天仓五Alice
虚拟偶像发展史：TA们到底如何成功？万字复盘
这篇推文详细介绍了虚拟偶像的发展史～
元宇宙记者又来活儿了，去报道下虚拟偶像的制作工具？
先总结下虚拟偶像 “造星” 指南
A.人设形象塑造
1.靓丽（吸引人）的外表
2.独特的才艺
3.魅力个性
4.共享共创
B.形象类别
1.虚拟艺人偶像
2.真实艺人数字分身 or
1.IP运营为主的二次元虚拟偶像
2.超写实虚拟偶像
3.完全算法驱动的人工智能虚拟偶像（完全摆脱人类控制）
C.偶像生命力
1.偶像IP价值
2.粉丝情感需求满足
考察虚拟偶像制作工具可从形象类别入手，分二次元/超写实/算法驱动，三类创作工具进行总结。
2.2 虚拟形象制作开发工具
2.2.1 二次元虚拟偶像开发工具
- Live2D
Live2D 是一种生成 2D 动画的技术，角色通常是动漫风格。该技术使用基于插图的连续分层，不需要逐帧动画或 3D 模型，使角色可以在保持原始插图的同时以低成本进行运动动作。
- Vroid Studio
Vroid studio 支持用户简单快捷创建虚拟人物，功能包括捏脸系统、身体塑造系统与服饰设计系统
Live2D 偏向于原画稿件的动画生成设计；Vroid Studio 偏向于二次元虚拟形象设计。Live2D 是b站 VUP（b站虚拟偶像）热门的创作工具，对 “造星“ 感兴趣的同学推荐上手尝试下哦～
2.2.2 超写实虚拟形象开发工具
- Avatary
Avatary 是 FACEGOOD 推出的一款集表情建模，绑定，面部捕捉及驱动的全流程软件，能帮用户高效地解决人脸表情的采集—、解析、驱动及快速绑定等问题，应用于虚拟偶像和虚拟直播等新兴的领域。
- MetaHuman Creator
MetaHuman Creator 是一款基于云服务的应用，能帮助任何人在几分钟内创建照片级逼真的数字人类。MetaHuman 包含完整的绑定，可在虚幻引擎项目中用于制作动画。
两款超写实数字人创作工具都非常地惊艳，可以支持低成本快速高效地创建超写实数字人。对超写实虚拟偶像直播、游戏等领域感性兴趣的同学强烈推荐上手体验。
2.2.3智能驱动虚拟形象开发工具
- UneeQ Creator
UneeQ Creator 支持用户在几分钟内设计、开发和部署定制化、人工智能驱动的数字人类。用户可以非常容易地利用现有数据制作聊天机器人或应用程序，使各类数字人应用场景的部署与用户体验更为人性化。
- Pinscreen
Pinscreen 运用AI 面部合成技术 (paGAN) 与包括语音识别和语音合成的 NLP 等技术，为用户提供包括虚拟助手制作、人工智能换脸与形象生成、动作捕捉等多功能的 AI数字人制作工具。
UneeQ Creator 更侧重终于智能驱动数字人与用户的对话交流与用户体验细节，并通过AI 动画系统扩展到全身交互，数字人还能够通过视觉、语气和空间意识进行更为生动的交流。Pinscreen 相对而言功能更加广泛，玩法较为多样。但是相较于完全脱离人工控制的完全智能体还是有很大的差距。或许将来的某个时间点，爱因斯坦会通过数字分身的形象 “完全复活” 与世人再次进行智识层面的交流。
#03
数字人实业应用场景
虚拟数字人与实业应用场景有哪些结合可能？
虚拟人日记/虚拟人手表
虚拟人夜店/虚拟人乐队
虚拟人名片/虚拟人简历
虚拟人彩铃/虚拟人病历
虚拟人相亲/虚拟人陪伴
......
来一个调研，寻找下数字虚拟人在日常生活与实业应用场景中有哪些优秀的产品与解决方案？
我先做一下归纳总结～
1.数字人 & 社交
2.数字人 & 文娱产业
3.数字人 & 情感陪伴
4.数字人 & 工业产品与场景
......持续探索中～
3.1 数字人 & 社交
名片、简历等物件与各类社交活动都需要充分展现个人的亮点信息。数字人作为现实用户的虚拟化身可更生动与多感知通道地传递个人信息，提升社交体验，“提亮” 个人特色。
-Linktree
Linktree 是一家数字身份管理服务商，主要为社交媒体用户提供数字身份展示工具，并通过URL分享到各平台，形成用户的数字名片。用户可以通过 Linktree 更新其视频、电商、博客等多网站的地址，也会生成专属链接，类似数字名片，用于用户的数字身份展示。Linktree 已获得4500万美元B轮融资 。
Linktree 支持用户的跨平台使用 ，可以在任何应用平台上对接用户的社交受众。
Linktree 可视为最新视频、文章、食谱、旅游、商店、网站、社交帖子的启动板——无论用户在哪里在线都可以迅速启用所需功能。
关于数字名片，有没有优秀的 3D 展方案？
-MindAR
MindAR 是一个网络增强现实库。突出特点包括：
1.支持图像跟踪和人脸跟踪。对于位置或基准标记跟踪；
2.用纯 javascript 编写，从底层计算机视觉引擎到前端的端到端；
3.利用 gpu（通过 webgl）和 web worker 来提高性能；
4.开发人员友好，易于设置。使用 AFRAME 扩展，只需 10 行代码即可创建应用程序。
项目地址：
https://github.com/hiukim/mind-ar-js
光有名片展示还不够，有效社交要参加正式活动才算数～
- Vland 元宇宙数字分身相亲活动
当代青年对于「社会关系」的处理往往极度敏感，Mixlab 社区五年来各种线上线下活动小计有几百场，线下的「社恐」们线上转身变「社牛」，Vland 虚拟社交的流行，也就顺理成章。
3.2 数字人 & 文娱产业
虚拟主播、偶像用数字虚拟人作为传播媒介可以增强其趣味性与用户吸引力，提升传播效益。包括线下娱乐消费场所，如酒吧、夜店等等 “氛围感” 需求强烈的场景，数字人的介入也可以营造独特丰富的 “氛围”，获得更高的流量。
- 修狗夜店
b站 up 用 Unity 开发的虚拟蹦迪夜店。用户可以 “cheers” 狗狗的数字人分身在虚拟夜店中参与各式蹦迪活动。直播间的巅峰人气能够达到60万，吸引了王者荣耀、永劫无间等大流量游戏的青睐。
- 国内首个虚拟 DJ-Purple
摩登天空与万像文化旗下虚拟音乐艺人厂牌 NO PROBLEM 正式签约由次世文化推出的虚拟 DJ-Purple。
3.3 数字人 & 情感陪伴
除却专注于 “高科技 & 高性能” 的技术路线，数字人还可以在情感陪伴需求层面上走上另一条应用产出方案。日记手帐、虚拟陪伴等偏 “交心” 的情感沟通场景，数字人也可以为用户提供情感上的支持。
- Replika
Replika 是一个 AI 陪伴产品，可以通过对话帮助用户获得情感支持，尤其对孤独、抑郁或缺乏社交联系的人特别有帮助。Replika 试图通过谈论人们的日常、兴趣和生活来鼓励和支持人们。目前有 1000 万注册用户，每周向 Replika 发送超过 1 亿条消息。
Replika 支持以不同的方式处理对话，可以理解和回复短信或通过语音与人交流。用户可以向 Replika 发送照片或在增强现实中与其交谈并进行体验反馈。
3.4 数字人 & 工业产品与场景
数字虚拟人在社会身份与生命实体上是 “虚” 的，但这不意味着数字人无法脱离 “屏幕” 载体与用户进行互动。数字人展示产品正在从“屏幕”扩展到丰富的实体展现形式。
除却数字人展览互动产品，在工业应用级别的场景中，数字人也在发挥功效。如运用整合虚拟与现实的数字人体建模来进行产品开发早期的物理人体工效学评估、职业技能教学与实操模拟等，都是数字人与工业应用场景结合中应用价值非常高的案例。
-Gatebox
Gatebox 是一款支持用户与虚拟角色一起 “生活、交流与互动” 的通信与展示设备。
- 工业应用场景
Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review 该论文综述了虚拟现实技术与数字人体模型在工业产品开发中的应用，包括人体工效学研究、行业研究与辅助接入设备系统的介绍。
数字人在航空航天与建筑行业研究中的应用。
数字人应用于人体工学分析
数字人接入操作设备系统
论文地址：
https://www.mdpi.com/2076-3417/12/3/1084
#04
数字人发展趋势展望
4.1 发展路径维度分析
虚拟数字人有哪些发展路线？如何理清发展趋势？
随着计算机图形学与深度学习等基础技术的发展，虚拟数字人的 “形象” 特征与 “智能程度” 会愈加支持 “超写实” 风格与更 “聪慧” 功能的实现。
工具、技术始终服务于内容产出，够用、用好就行。“超写实” 不一定在任何应用情景中都比 “二次元” 好，同样虚拟数字人的智能程度也并非越高越好，这取决于用户是否感觉 “舒适”。单纯用数字人形象与智能化程度发展来分析未来趋势还是不妥的。
以 “工具” 与 “情感” 两条应用路线为参考分析数字人发展趋势或许更为合理？两个方向都是以“技术”为基点，但发展为不同的应用路线。
精神外骨骼数字人是人类感知与运动的外部衍生，作为真人实体的映射。如人体运动与设备操作映射于行业相关研究的数字人，或人体生理数据映射于数字人用于医疗实验与药物预测以及日常生活中所需的自我信息介绍展示等。情感陪伴数字人是人类情感需求的内部补充，作为被爱、被倾诉与共同陪伴的情感寄托对象，如虚拟好友、虚拟陪护以及虚拟偶像所包含的陪伴属性等。
以论文 Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review 为分析视角探索数字人“精神外骨骼” 的发展方向；以产品 Replika 为典型案例探索数字人 “情感陪伴” 的实现方案。
4.2 数字发展趋势—精神外骨骼
- Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review
我提取了24页论文的关键信息点，请查阅浓缩信息12条～
# 摘要 & 关键信息点
1.该研究分析了虚拟现实和数字人体建模在工业产品开发过程中用于物理人体工程学评估的应用。
2.大量研究集中在汽车和航空行业。
3.虚拟现实市场预计将从2021的63亿美元增长到2028的840亿9000万美元。
4.随着低成本设备（如无标记运动捕捉）的出现，越来越多的组织在不充分了解其整体性能和缺点的情况下，将虚拟现实技术用于制造业的人体工程学评估。
5.2020年，研究人员、开发人员和数字人体建模行业利益相关者将虚拟现实评为数字人体建模和仿真研究及应用趋势中最常被引用的技术。
6.与虚拟现实和数字人体建模相关的专利申请呈指数级增长的趋势还将持续20年。
7.虚拟现实与数字人体建模常被应用于 a.能源工业 b.航空航天工业 c.建筑业 d.工业厂房 e.汽车工业 f.未定行业。
8.本文总结了虚拟数字人应用于产业所用的硬件、设备、装置和仪器。
9. 本文总结了虚拟数字人应用于产业所用的软件、编辑器、工具、框架和引擎。
10.本文展示了一项使用 Unity 游戏引擎的研究的硬件和软件架构（软硬件结合）。
11.总结综述每篇引文中提到的方法、硬件和软件。
12.本篇综述涉及目前的虚拟现实与数字人体模型在工业产品开发中的应用领域、方法、使用的硬件和软件等各方相关的最新进展、挑战和机遇。
论文地址：
https://www.mdpi.com/2076-3417/12/3/1084
以本篇综述为数字人趋势分析切入视角再次精炼概括—
1.虚拟现实技术与数字人体建模技术应用市场规模长时间持续扩大中，上升势头猛烈。
2.虚拟数字人正在应用于各行各业中，有成为通用工具的潜质，Field Unspecified 正在持续开拓中。
3.软硬件结合、虚实端结合的行业大趋势应用于虚拟数字人同样适用。精神外骨骼数字人应用开发可参考本文所列举的软硬件开发工具与代表案例。
接下来探索技术的情感路线～
4.3 数字人发展趋势—精神陪伴
- Replika
特色 & 优势
1.支持用户与数字人以文本、语音、图片与VR模式多维度沟通交流。
2.详尽的用户与数字人交流评估系统。
3.多种综合的算法模型保证用户舒适的交流体验。
4.支持数字人进行图像消息的理解与回复。
- 数字人多维交流系统
Replika 支持以不同的方式处理对话，可以理解和回复短信或通过语音与人交流。用户可以向 Replika 发送照片或在增强现实中与其交谈并进行体验反馈。
- 数字人交流情感反馈系统
Replika 会询问用户三个感受选项——更好、相同或更差来判断对话服务是否对人们有所帮助。Replika 会通过这些用户的反馈，计算出积极对话与负面会话的指标比例，并作为参考对后续对话服务进行修正。
用户还可以对每个 Replika 的消息进行反馈。如果他们喜欢，他们可以投票赞成，如果他们认为反应不好，可以投票反对。
更具体的反馈包括单击赞成和反对选择外的四个额外反应。Replika 通过这种方式了解用户喜欢或不喜欢某些回复的原因，从而进一步了解人们通过与 Replika 交谈的感受。
- 智能架构
当用户发送消息时，Replika 会结合有关的用户配置文件、当前对话上下文和最后用户响应的所有数据，然后将它们发送到对话引擎。智能架构由负责文本、图像的理解、对话生成响应等组件组成。
检索对话模型
GPT-3对话生成模型
Reranking 重新排序模型
图像理解模型
以 Replika 为例总结技术的情感陪伴路线—
1.NLP 自然语义算法类应用于文本与图像对话理解、生成；
2.多维通道的数字人交互体验；
3.情感计算与用户情感度量方法。
虚拟数字人是由计算机图形学、深度学习等技术手段为创造基础，在非物理现实空间的 “比特” 信息世界中拥有多重人类特征的产物。技术做为虚拟数字人的根基，发展的趋势之一——成为人类精神外骨骼。同时，虚拟数字人包含 “人” 的特征属性，那么另外一条发展路线便是内化为人类的精神陪伴支撑。前者代表数字人 “工具” 层面的发展趋势，后者体现 “情感” 层面的发展趋势。
数字人专题完结～
# 开源项目地址
- First Order Motion Model https://github.com/AliaksandrSiarohin/first-order- model
- Voice2Face https://github.com/FACEGOOD/Voice2Face
- MindAR https://github.com/hiukim/mind-ar-js
# 论文地址
- First Order Motion Model for Image Animation aliaksandrsiarohin.github.io/first-order-model-website
- Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review https://www.mdpi.com/2076-3417/12/3/1084
# 产品 & 案例
- Snape Camera 摄像头滤镜库
- Linktree 数字身份管理服务商与展示工具
- 修狗夜店 虚拟蹦迪夜店
- DJ-Purple 虚拟DJ
- Replika AI陪伴产品
- Gatebox 虚拟数字人展示互动产品