[AIGC服务] 视频生成 | "群魔乱舞"

骨架驱动的人形动画生成

输入

人脸图像+视频动画 或者 文本描述

输出

视频

原理简介

人类舞蹈视频生成框架，它基于扩散模型（Diffusion Models，DM）。旨在根据目标身份和姿势序列生成高质量的定制化人类视频。以下是文章的核心内容：

1. 框架概述：
   • 建立在Stable-Diffusion模型之上，包括去噪U-Net、视频控制网络（Video ControlNet）和内容引导器（Content Guider）三个主要网络。
   • 视频控制网络负责运动控制，内容引导器负责身份保持。
2. 数据收集和预处理：
   • 为了生成人类视频，作者从互联网收集了大约1,000个高质量的人类舞蹈视频，并将其分割成约6,000个短视频片段（8-10秒）。
   • 使用Minigpt-v2作为视频描述器，生成关键帧的详细描述。
3. 运动块（Motion Block）：
   • 为了提高时间一致性和运动逼真度，作者在去噪U-Net和ControlNet中集成了运动块，这些运动块是从AnimateDiff扩展而来，并将时间序列长度增加到64。
4. 内容引导器（Content Guider）：
   • 内容引导器使用文本提示和图像提示来控制生成视频的内容，包括人物和背景的外观。
   • 通过使用图像编码器对面部特征进行编码，以及可选的服装/身体图像来编码身体特征，然后将文本和人类外观特征连接起来作为内容嵌入。
5. 模型训练：
   • 内容引导器基于SD v1.5进行训练，并使用OpenCLIP ViT-H14作为图像编码器。
   • 视频控制网络与去噪U-Net一起训练，使用DW-Pose或ZoeDepth提取的人体姿势或深度作为输入。
6. 模型推理：
   • 在推理阶段，输入包括文本提示、参考图像和姿势或深度序列。
   • 用户可以通过输入文本提示、面部图像或服装图像来生成特定人物的视频。
7. 实验结果：
   • 能够根据指导序列和简单的内容描述（文本提示、图像提示或文本和图像提示）生成高质量和逼真的视频。
   • 用户可以输入面部图像以生成特定人物的视频，并且可以定义面部内容和服装内容。
   • 方法还展示了对未见过的领域图像的泛化能力。

总的来说，是一个基于扩散模型的人类视频生成框架，它通过结合文本提示、图像提示和姿势序列来生成定制化的人类视频，具有较高的灵活性和泛化能力。

应用前景

视频生成框架的应用潜力广泛，特别是在需要生成高质量、定制化人类舞蹈视频的场景中。以下是一些可能的应用领域：

1. 娱乐行业：
   • 电影和电视制作：用于创造舞蹈场景，减少实际舞蹈拍摄的成本和时间。
   • 音乐视频制作：为艺术家创作独特的舞蹈表演视频。
   • 虚拟演唱会：为虚拟偶像或在线表演提供动态舞蹈表演。
2. 广告和营销：
   • 品牌推广：创建吸引人的舞蹈广告，以吸引观众并提高品牌知名度。
   • 产品展示：通过舞蹈视频展示服装、配饰或其他产品。
3. 教育和培训：
   • 舞蹈教学：提供舞蹈教程和示范，帮助学习者学习新的舞蹈动作和编排。
   • 健身指导：创建健身舞蹈视频，鼓励人们参与锻炼。
4. 社交媒体和内容创作：
   • 个人视频博客（Vlog）：内容创作者可以生成独特的舞蹈视频来吸引观众。
   • 社交媒体挑战：发起或参与舞蹈挑战，增加互动性和娱乐性。
5. 游戏和虚拟现实（VR）：
   • 游戏角色动画：为游戏角色生成动态舞蹈动画。
   • VR体验：在虚拟现实环境中提供沉浸式的舞蹈体验。
6. 时尚和设计：
   • 时装秀：模拟时装秀上的舞蹈表演，展示服装。
   • 设计概念验证：通过舞蹈视频展示服装设计的动态效果。
7. 研究和开发：
   • 人体运动分析：用于研究人类运动学和舞蹈动作分析。
   • 人工智能和机器学习：作为训练数据集，用于改进和测试AI模型。

视频生成通过其灵活性和定制化能力，为各种应用提供了创新的可能性，尤其是在需要动态人类表现的领域。