人工智能“服装设计师”之 三维重建

这是论文《Detailed Garment Recovery from a Single-View Image》的解读。该论文研究,从照片中提取服装信息,并在3D空间中重现服装。(服装版的三维重建

图1 效果

a图转化为b图,然后再把服装穿在其他3D模特身上。

何为三维重建

3D Reconstruction

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。

图2 算法

下面主要分享此篇文章对于数据的处理方法

*

数据来源:

ModCloth

一家主打复古风的线上女装零售电商

*

输入数据:

准备4个维度的数据。

1)人体3D模型数据库(naked human body database);

2)服装数据库包括各种常见的服装类型,如裙子、裤子、连衣裙、背心等;

3)服装的物理属性数据库,帮助我们后面为2D的图片增加三维的物理属性,如模拟服装的布料效果等。

图3 物理属性数据库

4)服装展示图片集,模特穿衣效果的图片,如图1的图片。

*

数据预处理:

服装数据化,标注服装展示图片集上的服装范围,及类别(如上衣、裙子等);人体3D模型重建,把图片上的模特转化为3D模型(见图2);服装特征描述,一组由参数所描述的服装,包括面料、图案、尺寸、褶皱程度等。

输入的RGB图片,可用表示:

Ω = Ωb∪ Ωh∪ Ωc

Ωb表示背景区域;

Ωh表示人体区域(naked human body);

Ωc表示服装的区域;

服装数据库表示为

Dc= { < Ci, Gi, Ui, Vi> i ∈ 1, · · · , N }

c取值为裙子、裤子、连衣裙、背心等中的任一个;

以裤子为例,D表示为:

< C, G, U, V >

C 为材料参数,包括拉伸程度和弯曲程度;

G定义了服装类型,如裤子的:

G =< w1, w2, w3, w4, h1, h2, h3 >

前四个参数定义腰围,臀围,膝盖和踝围,后三个参数表示总长度,后上和前上长度,如图5所示。

图5 < C, G, U, V > 描述的服装示例

U二维网格(无数三角形)表示的裤子;

V三维网格(无数三角形)表示的裤子;

V中的每个三角形,都对应于一个U;

人体3D模型数据表示为:

Dh= { < θj, zj> j ∈ 1, · · · , M }

θ是构成身体姿态的关节角度集合,z是描述身体形状的语义参数集合。来源自2009年的一篇论文《A statistical model of human pose and body shape》,详细可以查阅此论文的描述。

还有其他一些参数,可以查阅下表:

总的来说,数据处理的过程,要找到适合的,较少的变量以及简单的规则来描述所要解决的问题。

*

应用:

论文还提到了实际的应用,可用在智能换装(服装风格迁移)

*

知识星球

论文原文可在知识星球下载,关于本文的一些深入性探讨,我们都会记录于知识星球。还包括:

1 看到一些好案例,关键技术解决方案,写出文章又不成体系,发星球;

2 我会在知识星球发一些非常机密的研究心得;

3 一些非常有技巧的知识,给付费用户;

4 公众号的迭代版本,针对文章发更为升级、核心的内容。

5 当然,还有资深的专家在星球里。

*

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180131G0YEWN00?refer=cp_1026

同媒体快讯

相关快讯

扫码关注云+社区