一张 RTX 4090 狂飙 96 帧！Soul 开源实时数字人「性能怪兽」！

数字人这个赛道，这两年卷得飞起。

从最初的静态虚拟主播，到后来的 AI 驱动口型同步，再到如今的全实时流式生成，技术迭代的速度让人眼花缭乱。但说实话，开源领域真正能落地的方案，一直不多。

为什么？成本太高了。

想要一个高质量的实时数字人，要么烧钱租云端算力，要么上专业显卡。对于个人开发者和小团队来说，这门槛实在有点高。更别提那些动辄几十亿参数的大模型，光是推理延迟就够喝一壶的。

最近看到 Soul App 在除夕前开源的 SoulX-FlashHead 时，确实被惊艳到了。

直接把数字人门槛打下来了，是一款个人开发者和小团队也能玩得起的工业级的实时数字人模型。

项目介绍

SoulX-FlashHead 是 Soul AI Lab 团队开源的一个实时流式数字人生成框架。

它主打一个核心理念：让工业级实时数字人技术真正普惠。

这个项目有多强？先看一组数据：

• • 仅 1.3B 参数，轻量到离谱
• • Lite 版单卡 RTX 4090 跑 96 FPS，显存占用仅 6.4G
• • 支持 3 路并发流式推理，一台机器服务多个用户
• • Pro 版画质顶尖，单卡 4090 可达 10.8 FPS

就是你用一张消费级显卡（家用游戏级PC电脑），就能跑起来一个实时数字人服务。不需要 A100，不需要 H100，一张 RTX 4090 就够了。

核心亮点

1、超轻量设计

SoulX-FlashHead 只有 1.3B 参数。

在如今动辄 7B、14B 甚至更大参数的模型世界里，这个体量简直是一股清流。但别小看它，小而精悍才是它的杀手锏。

更小的参数意味着更低的显存占用、更快的推理速度、更低的部署成本。对于资源有限的个人开发者和小团队来说，这简直是福音。

2、双版本策略

项目提供了两个版本，满足不同场景需求：

Lite 版：

• • 96 FPS 超高帧率
• • 6.4G 显存占用
• • 支持 3 路并发
• • 适合实时交互场景

Pro 版：

• • 画质更精细
• • 单卡 4090 可达 10.8 FPS
• • 双卡 5090 可达实时 25+ FPS
• • 适合高质量视频生成

你可以根据实际需求灵活选择，要速度选 Lite，要画质选 Pro。

3、高并发支持

Lite 版支持 3 路并发流式推理。

什么概念？一台机器可以同时服务 3 个用户的实时数字人交互。这对于想要搭建数字人服务的团队来说，意味着更高的资源利用率和更低的运营成本。

4、全开源

代码、模型权重、文档，全部开放。

GitHub 仓库里不仅有完整的推理代码，还有详细的安装教程和使用说明。

团队还开源了 VividHead 数据集，包含 782 小时的高质量训练数据，330,000 个短视频片段。

功能特性

1、无限长度流式生成

SoulX-FlashHead 支持无限长度的实时流式视频生成。

传统的数字人生成方法，往往在长序列上会出现身份漂移、画质下降等问题。

但 SoulX-FlashHead 通过 Oracle-Guided Bidirectional Distillation 技术，有效解决了这个问题，可以持续生成高质量的视频流。

2、高保真音画同步

音频驱动的口型同步是数字人的核心能力。

SoulX-FlashHead 在这方面表现出色，通过 Streaming-Aware Spatiotemporal Pre-training 技术，确保从短音频片段中提取稳定的特征，实现精准的音画同步。

测试显示，相比 SadTalker、Ditto 等方法，SoulX-FlashHead 在唇音同步一致性上表现更好。

3、整体一致性保持

很多基于抽象运动表示的方法（如 SadTalker），在运动过程中会出现头饰与主体分离的问题。

SoulX-FlashHead 采用整体表示方法，在运动过程中保持头部、头饰、背景的一致性，效果更加自然。

VividHead 数据集

团队构建了一个大规模高质量数据集：

• • 782 小时 视频数据
• • 330,000 个 短视频片段（3s-60s）
• • 512×512 分辨率
• • 严格时间对齐的语音音频
• • 丰富的元数据（语言、种族、年龄等）
• • 单一说话人、活跃头部区域

关键技术借鉴

项目基于多个优秀开源工作构建：

• • Wan：基础模型
• • LTX-Video：Lite 版的 VAE
• • Self Forcing：代码库基础
• • DMD 和 Self Forcing++：关键蒸馏技术

快速上手

创建 Conda 环境：

conda create -n flashhead python=3.10
conda activate flashhead

安装 PyTorch：

pip install torch==2.7.1 torchvision==0.22.1 --index-url https://download.pytorch.org/whl/cu128

安装依赖：

pip install -r requirements.txt

安装 FlashAttention：

pip install ninja
pip install flash_attn==2.8.0.post2 --no-build-isolation

如果安装时间过长，可以从官方链接下载 wheel 文件直接安装。

安装 SageAttention（可选，加速推理）：

pip install sageattention==2.2.0 --no-build-isolation

安装 FFmpeg：

# Ubuntu / Debian
apt-get install ffmpeg

# CentOS / RHEL
yum install ffmpeg ffmpeg-devel

# Conda 方式（无需 root）
conda install -c conda-forge ffmpeg==7

模型下载

# 如果在国内，先设置镜像
export HF_ENDPOINT=https://hf-mirror.com

pip install "huggingface_hub[cli]"
huggingface-cli download Soul-AILab/SoulX-FlashHead-1_3B --local-dir ./models/SoulX-FlashHead-1_3B
huggingface-cli download facebook/wav2vec2-base-960h --local-dir ./models/wav2vec2-base-960h

单卡 Pro 模型推理：

bash inference_script_single_gpu_pro.sh

多卡 Pro 模型推理：

bash inference_script_multi_gpu_pro.sh

单卡 Lite 模型推理：

bash inference_script_single_gpu_lite.sh

写在最后

SoulX-FlashHead 这个项目最让我感动的，不是它 96 FPS 的速度，也不是它 1.3B 的参数量，而是它真正做到了“让工业级实时数字人技术普惠”。

以前，实时数字人是大公司的专利，个人开发者和小团队根本玩不起。但现在，一张 RTX 4090 就能跑起来，而且效果还很好。这种技术平权，才是 AI 最有魅力的地方。

对于想要入局数字人赛道的开发者来说，这是一个绝佳的学习和实战机会。代码开源、模型开源、数据集开源，几乎把能给的都给了。

如果你对数字人技术感兴趣，或者正在寻找一个低成本落地方案，建议去 GitHub 看看。

GitHub：https://github.com/Soul-AILab/SoulX-FlashHead 官网：https://soul-ailab.github.io/soulx-flashhead/ 论文：https://arxiv.org/abs/2602.07449

如果本文对您有帮助，也请帮忙点个 赞👍 + 在看 哈！❤️

在看你就赞赞我！