人工智能“服装设计师”之 三维重建

这是论文《Detailed Garment Recovery from a Single-View Image》的解读。该论文研究，从照片中提取服装信息，并在3D空间中重现服装。（服装版的三维重建）

图1 效果

从a图转化为b图，然后再把服装穿在其他3D模特身上。

何为三维重建？

3D Reconstruction

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。

图2 算法

下面主要分享此篇文章对于数据的处理方法。

*

数据来源：

ModCloth

一家主打复古风的线上女装零售电商

*

输入数据：

准备4个维度的数据。

1）人体3D模型数据库（naked human body database）；

2）服装数据库包括各种常见的服装类型，如裙子、裤子、连衣裙、背心等；

3）服装的物理属性数据库，帮助我们后面为2D的图片增加三维的物理属性，如模拟服装的布料效果等。

图3 物理属性数据库

4）服装展示图片集，模特穿衣效果的图片,如图1的图片。

*

数据预处理：

服装数据化，标注服装展示图片集上的服装范围，及类别（如上衣、裙子等）；人体3D模型重建，把图片上的模特转化为3D模型（见图2）；服装特征描述，一组由参数所描述的服装，包括面料、图案、尺寸、褶皱程度等。

输入的RGB图片，可用Ω表示：

Ω = Ωb∪ Ωh∪ Ωc

Ωb表示背景区域；

Ωh表示人体区域（naked human body）；

Ωc表示服装的区域；

服装数据库表示为

Dc= { < Ci, Gi, Ui, Vi> i ∈ 1, · · · , N }

c取值为裙子、裤子、连衣裙、背心等中的任一个；

以裤子为例，D表示为：

< C, G, U, V >

C 为材料参数，包括拉伸程度和弯曲程度；

G定义了服装类型，如裤子的：

G =< w1, w2, w3, w4, h1, h2, h3 >

前四个参数定义腰围，臀围，膝盖和踝围，后三个参数表示总长度，后上和前上长度，如图5所示。

图5 < C, G, U, V > 描述的服装示例

U二维网格（无数三角形）表示的裤子；

V三维网格（无数三角形）表示的裤子；

V中的每个三角形，都对应于一个U；

人体3D模型数据表示为：

Dh= { < θj, zj> j ∈ 1, · · · , M }

θ是构成身体姿态的关节角度集合，z是描述身体形状的语义参数集合。来源自2009年的一篇论文《A statistical model of human pose and body shape》，详细可以查阅此论文的描述。

还有其他一些参数，可以查阅下表：

总的来说，数据处理的过程，要找到适合的，较少的变量以及简单的规则来描述所要解决的问题。

*

应用：

论文还提到了实际的应用，可用在智能换装（服装风格迁移）

*

知识星球

论文原文可在知识星球下载，关于本文的一些深入性探讨，我们都会记录于知识星球。还包括：

1 看到一些好案例，关键技术解决方案，写出文章又不成体系，发星球;

2 我会在知识星球发一些非常机密的研究心得;

3 一些非常有技巧的知识，给付费用户;

4 公众号的迭代版本，针对文章发更为升级、核心的内容。

5 当然，还有资深的专家在星球里。

*