画形亦画骨，知面也知心，与 MMHuman3D 一道探索人体参数化模型

人体在计算机视觉和计算机图像学都是重要的课题，不仅是研究的热点，在各行各业也有着广泛的用途。

人体建模有多种主流方式，近年常见的有：

· 关键点模型，相对成熟的姿态建模方式，但是缺乏人体表面形状信息【有里无表】

· 利用隐函数生成网格模型对人体表面进行建模，但是缺乏姿态等语义信息【有表无里】

左：关键点模型 右：隐函数生成网格模型

俗话说，小孩子才做选择，成年人当然是全都要！那有没有可能既对人体形状建模，同时掌握骨骼位置和旋转等重要信息呢？

那就要用到人体参数化模型了。人体参数化模型仅需少量关键参数（如骨骼旋转、体态等）就能可微地生成网格模型。

常用的人体参数化模型 SMPL [1]

使用人体参数化模型有以下优势：

· 描述完整：人体参数化模型包括人体姿态（Pose）和形状（Shape）；

· 强先验：仅需要少量参数就可描述高度复杂的人体网格模型（ SMPL 最少仅需 72 + 10 个参数来描述 6890 个顶点的网格模型）；

· 兼容性：人体参数化模型能够接入产业界的 3D 渲染管线。

尽管参数化模型有许多独特的优势，但长期以来，这方面的研究都有以下挑战：

· 没有通用的算法库， SOTA 方法代码分散，复现耗时耗力；

· 数据集数量众多，且使用的规范 ( convention ) 都有所不同，很难对齐；

· 参数化模型与计算机图形学有很紧密的联系，需要一定建模与渲染的基础。

为了解决这些问题：

今天，OpenMMLab 隆重推出 MMHuman3D！

作为我们新近开源的人体参数化模型库，MMHuman3D 有以下特点：

一键复现 SOTA 算法，统一的测试基准，助力人体参数化模型的研究；

统一数据结构 HumanData 支持 16 个常用数据集，再无规范对齐的烦恼；

轻松实现酷炫可微可视化，以及更多方便好用的工具箱。

目前，MMHuman3D 代码库已经全面开源。

GitHub 链接：

https://github.com/open-mmlab/mmhuman3d

一键复现SOTA算法

MMHuman3D 的架构

上线的第一个版本（ v0.3.0 ）支持以下 5 种里程碑式算法，使用对应的配置文件一行命令就可运行训练或测试：

· SMPLify(-X) [2,3]：基于关键点配准的经典方法；

· HMR [4]：使用深度学习直接估计参数化模型参数的经典方法；

· SPIN [5]：结合深度学习和在线关键点配准；

· VIBE [6]：非常受欢迎的深度学习视频参数化模型估计方法；

· HybrIK [7]：设计了新颖的姿态参数化表达方式，结合深度学习3D关键点估计与参数估计；

更多方法将会在后续版本中加入~

和 OpenMMLab 其它代码库相同，MMHuman3D 也采用了高度抽象的模块化设计，具有很强的可拓展性。

模块化设计也方便用户使用集成的配置文件，在不修改代码的情况下改变模型参数甚至结构，大大加快实验节奏。

模块化架构

统一数据结构：

HumanData 支持 16 个常用数据集

MMHuman3D将数据预处理成统一的 HumanData 格式

人体相关的数据集众多且或多或少都有一些规范（相机、骨骼关键点、关节旋转）上的差异。MMHuman3D提供方便好用的规范工具箱，可在不同规范间轻松切换。

更重要的是，为了长远的可拓展性，MMHuman3D 设计了统一的数据存储格式HumanData（文件格式为 npz ），并且提供对应数据预处理工具箱，全面支持 16 个数据集。MMHuman3D 也提供预处理好的 npz 文件方便用户使用。

轻松实现酷炫可视化

对计算机图形学不了解？

完全没有问题！

MMHuman3D 提供的可视化工具箱支持参数化模型（包括分割、深度图、点云）以及传统的 2D / 3D 关键点的可视化。另外需要提到的是，所有的渲染工具都是可微的 [8]。

我们的工具非常便于使用，例如只需一行代码就可渲染 SMPL 的姿态序列。

visualize_smpl_pose(
    poses=poses,   # SMPL姿态序列（N，72）
    output_path=output_path,  # 视频存储地址
    model_path=model_path)  # SMPL模型读取地址

GitHub链接

https://github.com/open-mmlab/mmhuman3d

向上滑动查看参考文献

[1] Loper et. al., SMPL: A Skinned Multi-Person Linear Model, TOG 2015

[2] Bogo et al., Keep it SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image, ECCV 2016

[3] Pavlakos et al., Expressive Body Capture: 3D Hands, Face, and Body from a Single Image, CVPR 2019

[4] Kanazawa et al., End-to-end Recovery of Human Shape and Pose, CVPR 2018

[5] Kolotouros et al., Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop, ICCV 2019

[6] Kocabas et al., VIBE: Video Inference for Human Body Pose and Shape Estimation, CVPR 2020

[7] Li et al., HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation, CVPR 2021

[8] Ravi et. al., Accelerating 3D Deep Learning with PyTorch3D, arXiv 2020