这是论文《Detailed Garment Recovery from a Single-View Image》的解读。该论文研究,从照片中提取服装信息,并在3D空间中重现服装。(服装版的三维重建)
图1 效果
从a图转化为b图,然后再把服装穿在其他3D模特身上。
何为三维重建?
3D Reconstruction
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
图2 算法
下面主要分享此篇文章对于数据的处理方法。
*
数据来源:
ModCloth
一家主打复古风的线上女装零售电商
*
输入数据:
准备4个维度的数据。
1)人体3D模型数据库(naked human body database);
2)服装数据库包括各种常见的服装类型,如裙子、裤子、连衣裙、背心等;
3)服装的物理属性数据库,帮助我们后面为2D的图片增加三维的物理属性,如模拟服装的布料效果等。
图3 物理属性数据库
4)服装展示图片集,模特穿衣效果的图片,如图1的图片。
*
数据预处理:
服装数据化,标注服装展示图片集上的服装范围,及类别(如上衣、裙子等);人体3D模型重建,把图片上的模特转化为3D模型(见图2);服装特征描述,一组由参数所描述的服装,包括面料、图案、尺寸、褶皱程度等。
输入的RGB图片,可用Ω表示:
Ω = Ωb∪ Ωh∪ Ωc
Ωb表示背景区域;
Ωh表示人体区域(naked human body);
Ωc表示服装的区域;
服装数据库表示为
Dc= { < Ci, Gi, Ui, Vi> i ∈ 1, · · · , N }
c取值为裙子、裤子、连衣裙、背心等中的任一个;
以裤子为例,D表示为:
< C, G, U, V >
C 为材料参数,包括拉伸程度和弯曲程度;
G定义了服装类型,如裤子的:
G =< w1, w2, w3, w4, h1, h2, h3 >
前四个参数定义腰围,臀围,膝盖和踝围,后三个参数表示总长度,后上和前上长度,如图5所示。
图5 < C, G, U, V > 描述的服装示例
U二维网格(无数三角形)表示的裤子;
V三维网格(无数三角形)表示的裤子;
V中的每个三角形,都对应于一个U;
人体3D模型数据表示为:
Dh= { < θj, zj> j ∈ 1, · · · , M }
θ是构成身体姿态的关节角度集合,z是描述身体形状的语义参数集合。来源自2009年的一篇论文《A statistical model of human pose and body shape》,详细可以查阅此论文的描述。
还有其他一些参数,可以查阅下表:
总的来说,数据处理的过程,要找到适合的,较少的变量以及简单的规则来描述所要解决的问题。
*
应用:
论文还提到了实际的应用,可用在智能换装(服装风格迁移)
*
知识星球
论文原文可在知识星球下载,关于本文的一些深入性探讨,我们都会记录于知识星球。还包括:
1 看到一些好案例,关键技术解决方案,写出文章又不成体系,发星球;
2 我会在知识星球发一些非常机密的研究心得;
3 一些非常有技巧的知识,给付费用户;
4 公众号的迭代版本,针对文章发更为升级、核心的内容。
5 当然,还有资深的专家在星球里。
*
领取专属 10元无门槛券
私享最新 技术干货