[AIGC服务]IDM-VTON | 真实的野外虚拟试穿

⚡[AIGC服务]IDM-VTON | 真实的野外虚拟试穿

本文介绍基于Diffusion虚拟试衣应用，即用户只需要上传一张单人照片和一张衣服照片，就能实现人穿衣服效果图像。 虚拟试穿技术允许用户在线上购物时预览服装在自己身上的效果，从而提高购物体验并减少退货率。

---

先睹为快

01 多人穿着同一件衣服

• IDM-VTON 能够生成高保真图像并识别服装的精细细节。多人穿着同一件衣服，显示出衣服细节的一致性。

02 野外虚拟试穿

• 野外虚拟试穿：为了实现野外虚拟试穿（即现实世界场景），我们从互联网和社交媒体平台收集服装图像以及穿着每件服装的人的多个图像。

摘要

本文考虑基于图像的虚拟试穿，在给定一对分别描绘人和衣服的图像的情况下，渲染穿着精选服装的人的图像。与其他方法（例如基于 GAN）相比，之前的作品采用现有的基于样本的修复扩散模型进行虚拟试穿，以提高生成的视觉效果的自然度，但它们无法保留服装的身份。为了克服这一限制，我们提出了一种新颖的扩散模型，可以提高服装保真度并生成真实的虚拟试穿图像。

我们的方法被称为 IDM-VTON，使用两个不同的模块来编码服装图像的语义；给定扩散模型的基础 UNet，1）将从视觉编码器提取的高级语义融合到交叉注意力层，然后 2）将从并行 UNet 提取的低级特征融合到自注意力层层。此外，我们还为服装和人物图像提供详细的文字提示，以增强生成视觉效果的真实性。最后，我们提出了一种使用一对人物服装图像的定制方法，该方法显着提高了保真度和真实性。

我们的实验结果表明，我们的方法在保留服装细节和生成真实的虚拟试穿图像方面（无论是定性还是定量）都优于以前的方法（基于扩散和基于 GAN）。此外，所提出的定制方法证明了其在现实场景中的有效性。

简介 方法

pipeline概述（左）：

我们的模型由

1）TryonNet组成，它是处理人物图像的主要UNet，

2）图像提示适配器（IP-Adapter），用于编码服装图像的高级语义，

3）GarmentNet，用于编码低级功能。作为 UNet 的输入，我们将人物图像潜在的噪声潜在与分割掩模、掩模图像和 Densepose 连接起来。

我们为服装提供详细的标题（例如，[V]：“短袖圆领 T 恤”）。然后用于GarmentNet（例如，“[V]的照片”）和TryonNet（例如，“模特穿着[V]”）的输入提示。

注意力模块的详细信息（右）：

我们演示了所提出的模型架构和注意力模块的详细信息。TryonNet 和 GarmentNet 的中间特征被连接并传递到自注意力层，我们使用输出的前半部分（即来自 TryonNet 的部分）。然后我们通过交叉注意力层将输出与文本编码器和 IP 适配器的特征融合。我们微调 TryonNet 和 IP-Adapter 模块，并冻结其他组件。

简介 本文提出了一种改进的扩散模型（IDM-VTON），用于在野外环境下实现更真实的虚拟试穿效果。以下是文章的主要内容总结：

1. 问题背景：虚拟试穿（VTON）是一项计算机视觉任务，目的是根据给定的人物和服装图片渲染出人物穿着特定服装的视觉图像。现有方法通常使用生成对抗网络（GAN）或扩散模型来生成试穿图像，但这些方法在保持服装细节和适应不同人物图像方面存在挑战。
2. 方法介绍：文章提出了一种新的扩散模型，通过设计精细的注意力模块来改善服装图像的编码，从而提高虚拟试穿图像的真实性和服装细节的保真度。模型包括三个主要组件：
   • TryonNet：基础UNet模型，处理遮罩后的人物图像和姿态信息。
   • Image Prompt Adapter (IP-Adapter)：用于提取服装图像的高级语义。
   • GarmentNet：额外的UNet编码器，用于提取服装图像的低级特征。
3. 详细文本提示：为了增强生成视觉的真实性，文章还提出了为服装和人物图像提供详细的文本提示。
4. 定制化方法：通过使用一对人物-服装图像对，提出了一种定制化方法，显著提高了保真度和真实性。
5. 实验结果：通过在VITON-HD和DressCode测试数据集上的实验，展示了该方法在保持服装细节和生成真实虚拟试穿图像方面相较于先前方法的优势。此外，还收集了一个内部的In-the-Wild数据集，用于模拟真实世界的虚拟试穿应用，并在该数据集上进行了评估。
6. 相关工作：文章还讨论了基于图像的虚拟试穿、向扩散模型添加条件控制以及定制化扩散模型的相关研究。
7. 方法细节：详细介绍了扩散模型的背景知识，包括正向过程和逆向过程，以及如何通过训练损失函数来训练文本到图像（T2I）扩散模型。
8. 潜在负面影响和局限性：文章讨论了虚拟试穿技术可能带来的积极影响和潜在风险，如用户隐私保护和避免恶意使用，并指出了该方法在保持遮罩区域的人类属性（如纹身或痣）方面的挑战。
9. 结论：文章总结了IDM-VTON方法的主要贡献，并指出了未来工作的方向，如探索更广泛的应用，如通过文本提示控制服装生成。

整体而言，文章提出了一种先进的虚拟试穿技术，能够在多样化的野外环境中生成高度真实和细节丰富的试穿图像。 免费试用

• https://huggingface.co/spaces/yisol/IDM-VTON

人

衣

试穿效果