CVPR 2024 | ChatPose: 谈谈3D人体姿态

用户1324186

发布于 2024-06-13 17:47:15

3140

发布于 2024-06-13 17:47:15

文章被收录于专栏：媒矿工厂

作者：Yao Feng等论文题目：ChatPose: Chatting about 3D Human Pose 来源：CVPR 2024 论文链接：https://arxiv.org/abs/2311.18836 内容整理：王怡闻 ChatPose是一个利用大规模语言模型（LLMs）来理解和推理3D人体姿态的框架，该框架可以从图像或文本描述中获取信息。传统的人体姿态估计和生成方法通常是独立操作的，缺乏语义理解和推理能力。ChatPose通过将SMPL姿态嵌入到多模态LLM中作为独特的信号标记，使其能够直接从文本和视觉输入中生成3D身体姿态。借助多模态LLM的强大能力，ChatPose统一了传统的3D人体姿态生成和估计任务，同时提供了用户交互功能。此外，ChatPose使LLMs能够运用其广泛的世界知识来推理人体姿态，从而实现两个高级任务：推测性姿态生成和姿态估计推理。我们的结果表明，ChatPose在这些新提出的任务上表现优于现有的多模态LLM和特定任务方法。此外，ChatPose基于复杂推理理解和生成3D人体姿态的能力为人体姿态分析开辟了新的方向。

引言

图1

现有的3D姿态估计和生成系统被限制在狭窄的任务中。这与LLMs所展示的通用推理能力形成了对比。现有的多模态LLMs能够感知和解释图像中的信息，并基于丰富的世界知识进行推理，特别擅长描述场景，包括人物的外貌、活动和高级行为。如果LLM能将这种通用知识与3D人体姿态和运动联系起来，它将拥有超越现有解决方案的强大推理能力。

为探讨这个问题，我们引入了ChatPose，一种微调多模态大规模语言模型以预测人体姿态的方法，姿态以SMPL参数表示。我们的方法将SMPL姿态嵌入为一个独特的标记，提示LLM在被问及SMPL姿态相关问题时输出这些标记。我们从这个标记中提取语言嵌入，并使用多层感知器（MLP）直接预测SMPL姿态参数。

我们在各种多样化任务上评估了ChatPose，包括从单张图像进行3D人体姿态估计和根据文本描述生成姿态的传统任务。一旦LLMs能够理解SMPL姿态，它们就可以利用其固有的世界知识来关联和推理人体姿态，而无需大量额外数据或训练。这一能力引发了两个关于人体姿态的新任务：（1）推测性姿态生成（SPG）：与根据文本生成姿态的方法不同，我们要求LLM推测，例如，“如果这个人感到疲倦，他们的姿态会如何变化？”这需要理解疲倦对身体的影响以及如何转换为3D姿态。（2）基于推理的姿态估计（RPE）：我们的方法不向多模态LLM提供包围个体的裁剪边界框，而是让模型接触整个场景，从而提出关于个体及其姿态的查询。例如，“戴眼镜的所有人的姿态是什么？”这需要将场景理解与3D人体姿态结合起来。

我们的主要贡献如下：

我们提出了ChatPose，一种能够直接生成SMPL姿态的多模态大规模语言模型（LLM）。这使得通过文本或图像的推理生成和估计人体姿态成为可能。
我们引入了两个创新任务：推测性姿态生成和基于推理的姿态估计。这些任务需要准确理解人体姿态并利用世界知识进行推理。我们还建立了新的基准，可以推动该领域的研究。
我们的模型 ChatPose 在姿态生成和估计任务上表现优于其他多模态LLM基线。

方法

ChatPose 架构

图2

如上图所示，ChatPose的架构包括以下组件：

多模态LLM模型 ()：接收文本（）或图像（）输入，并生成文本输出。
嵌入投影层 ()：将姿态嵌入转换为SMPL姿态参数。
参数化人体模型 (SMPL)：通过姿态参数和形状参数表示人体姿态和形状。

处理流程

1. 输入处理

模型接收文本Xq和图像（如有）作为输入。
如果没有图像输入，模型仅使用文本进行推理。

2. 文本生成

模型生成文本响应或（没有图像时）。

3. 姿态嵌入提取

从文本输出中提取语言嵌入Ht。
如果文本输出中包含标记，提取相应的嵌入Hpose。

4. 姿态参数预测

将姿态嵌入Hpose输入到 SMPL 投影层，生成SMPL姿态参数。

5. 人体网格生成

使用标准的SMPL函数，通过姿态参数和形状参数确定3D顶点和三角形。
在此，我们假设形状参数的值为零，表示平均体型。

训练策略和数据集构建

在ChatPose的训练过程中，我们将视觉编码器和视觉投影层保持冻结状态，仅训练 SMPL 姿态投影层。此外，我们使用LoRA微调LLM，其参数记为。最终的可优化参数集为。使用提供的真实文本输出和 SMPL 姿态参数，我们使用以下目标函数优化模型：

其中，第一个项是交叉熵损失，第二项是姿态损失，即真实和估计姿态参数之间的L1差。和分别作为相应损失项的权重。

为了训练我们的多模态LLM模型，我们利用现有的特定任务数据集构建数据。

从文本生成姿态

从详细的文本描述中生成3D人体姿态。数据对在这种情况下是SMPL姿态参数和详细的文本描述标签。为了将这些数据格式化为问答形式，我们使用模板，如：

用户：{描述}，你能给出这个人的SMPL姿态吗？
助手：当然，可以。这是 <POSE>。

其中包含数据集中姿态描述。

人体姿态估计

传统的3D人体姿态估计方法通常涉及使用裁剪图像来回归SMPL身体形状和姿态参数。同样，我们使用裁剪图像和SMPL姿态参数的配对。为了将这些数据适当地格式化为视觉问答形式，我们使用如下模板：

用户：<IMAGE> 你能提供这个图像中心人物的SMPL姿态吗？
助手：当然，可以。这个人的SMPL姿态是 <POSE>。

其中是输入图像标记的占位符。对应的真实SMPL姿态参数用于计算姿态损失。在训练过程中，我们还使用其他模板生成问答数据以确保多样性，详情请参见补充材料。

多模态指令跟随

为了保持多模态LLM在多轮对话中的固有能力，我们在训练过程中使用多模态指令跟随数据集。根据LLaVA-V1.5，我们使用通过GPT-4查询创建的LLaVA-V1.5-MIX665K2数据集。

人体姿态推理

经过训练后，我们的模型能够从单张图像估计SMPL姿态，根据详细描述生成姿态，并促进问答对话。值得注意的是，即使在多轮对话中未整合SMPL姿态或将复杂短语与SMPL姿态关联起来，我们的模型也展示了零样本推理人体姿态的能力。这表明模型能够将推理和世界知识与SMPL姿态表示相结合。因此，除了传统的人体姿态估计和生成任务的评估方法外，我们还引入了两个需要推理技能的新任务：推测性姿态生成和基于推理的姿态估计。这些新任务利用了模型在人体姿态分析背景下应用推理的能力。

推测性姿态生成 (SPG)

在这个任务中，用户不是使用来自文本到姿态生成数据集的显式姿态描述，而是提出关于一个人状态的间接问题，要求LLM推断并生成适当的姿态。例如，用户可能会问：

用户：{描述隐含}，你能给出这个人的SMPL姿态吗？
助手：当然，可以。这是 <POSE>。

这里，{描述隐含} 代表推测性查询，例如“这个人正在求婚，他可能会处于什么姿态？”。这种询问需要理解全球概念（如“婚礼”），并且具有逻辑推断个体姿态的能力，然后生成SMPL姿态参数。为了创建评估数据集，我们使用PoseScript数据集中的姿态描述作为来源，然后查询GPT-4将这些描述重新表述为关于每个姿态相关活动的问题，总共生成了20,000个响应，其中780个示例用于评估。这些响应随后会被人工审核并根据需要进行修正。

基于推理的姿态估计 (RPE)

标准人体姿态估计方法通常首先运行一个人检测器，然后只处理围绕该人的裁剪图像。这忽略了场景上下文，而这些上下文在推理人体姿态时可能是有用的。相比之下，RPE让用户可以在请求某个人的姿态细节之前对图像进行询问。具体来说，我们将RPE定义为：

用户：<IMAGE> {描述人物}，你能给出这个人的SMPL姿态吗？
助手：当然，可以。这是 <POSE>。

在这种情况下，{描述人物} 可以是关于特定个体的查询，例如“黑发的男人”或“靠近楼梯的女人”。模型需要解释场景上下文，并生成符合描述的个体的SMPL姿态参数。为了评估这个任务，我们从标准姿态估计评估数据集中获取图像到SMPL姿态的配对。然后，我们使用GPT-4V生成这些图像中个体的描述。这些生成的描述随后会被人工精炼。具体来说，我们从3DPW [51]测试集中抽取了50张包含多人的图像。对于每个个体，我们收集覆盖行为、服装、姿态、形状和摘要（总结所有其他属性）的描述。这个过程共收集了250个用于评估的问答对。这些问题和答案对的收集管道的详细信息。