当前位置：首页 > 篮球快讯篮球快讯

ICCV 2019丨ClothFlow：一种基于外观流的人物服装图像生成模型

发布时间:2024-07-27 03:08:00【篮球快讯】人次阅读

摘要　　研究者提出了一种基于外观流的生成模型­——ClothFlow，该模型能够合成特定姿态的人物服装图像，以用于基于姿态引导的人物图像生成和虚拟试衣。通过估计源服装区域和目标

　　研究者提出了一种基于外观流的生成模型­——ClothFlow，该模型能够合成特定姿态的人物服装图像，以用于基于姿态引导的人物图像生成和虚拟试衣。通过估计源服装区域和目标服装区域之间的稠密流场，ClothFlow 模型能够有效地针对几何形变进行建模，并自然地进行外观迁移以合成与众不同的服装图像，如图 1 所示。 　　研究者提出了一个含有三个阶段的框架： 　　1）首先，以目标姿态作为条件，研究者通过估计一个人体的目标姿态的语义布局信息来为生成过程提供更充分地指导； 　　2）然后，通过建立在两个特征金字塔网络上的级联流估计网络，可准确估计关联服装区域之间的外观匹配并得到稠密流场，然后利用该稠密流场将源图像进行形变计算，以灵活地解决形变问题； 　　3）最后，一个生成网络将前述变形计算后的服装区域作为输入，渲染生成目标视图。 　　研究者进行了充分的实验，包括在 DeepFashion 数据集上的基于姿势引导的人物图像生成，以及在 VITON 数据集上的虚拟试穿任务测试，这些定性和定量的实验结果均强有力地验证了研究者所提方法的有效性。 　　Figure1: Results of ClothFlow 　　Left: pose-guided person image generation 　　Right: virtual try-on 　　1介绍 　　在众多现实应用中，尤其是对于时尚行业，基于姿态引导的人物生成非常重要。在时尚行业中，顾客或设计师希望将服装的呈现效果从一个人迁移到另一个人身上。有关图像到图像迁移的生成网络的最新进展启发了研究者：通过提供源图像和目标姿态作为输入，然后合成目标图像来解决此问题。但是，服装的柔性易变性属性可能会导致算法无法正确处理剧烈形变和严重遮挡，从而限制了其在目标视图中渲染衣服细节（例如图案、图形、品牌等）的性能。 　　为了克服这个问题，研究者使用了两种不同范式的方法来考虑几何变形以获得更好的外观迁移效果，即基于形变的方法和基于 DensePose 的方法。其中，基于形变的方法估计出了一种仿射或薄板样条插值（TPS）的变换，来变形源图像像素或 CNN 特征图，借此处理由于姿态差异引起的未对齐的问题。但是，尽管这两种几何建模技术已经取得了很大的进展，但是他们较少的形变自由度（仿射变换的自由度为 6，基于薄板样条插值变换的自由度为 2×5×5）也导致其在处理较大几何形变的时候，会产生不太准确和自然的变形估计结果。 　　最近，一些方法将人体的 DensePose 描述取代传统 2D 关键点作为姿态引导人物生成网络的输入。DensePose 能够将 2D 图像的人体像素映射到 3D 人体表面，从而可以表征人体的 3D 几何信息。这就使得即使空间形变较大，也能够更容易获得源图像和目标图像之间的纹理对应关系。然而，将 2D 图像纹理扭曲到预定义的基于表面的坐标系却会引入伪影。例如，原图像不可见的位置，变换后可能产生一些空洞，因此，这就需要通过复杂的纹理修复算法来解决。同时，由于估计 DensePose 极具挑战性，因此最终的生成结果通常会受到 DensePose 估计结果好坏的影响。因此，与基于形变的方法相比，DensePose 的迁移结果看起来真实感较差。 　　Figure2: Framework of ClothFlow for pose-guided person image generation 　　为了解决现有方法中存在的问题，研究者提出了 ClothFlow——一种基于外观流的生成模型，能够通过准确估计源图像和目标图像之间的服装形变来更好地生成穿有源服装的目标姿态的人物图像。具体来说，ClothFlow 由三个阶段组成，如图 2 所示： 　　（1）首先，条件式人体布局生成器以目标姿态为条件预测目标人体的分割布局信息。这样可以把形状和外观的生成分解开来，从而使得 ClothFlow 生成的结果在空间上更具一致性。 　　（2）生成的人体布局信息作为服装流估计阶段的输入，预测出从源服装至对应的目标服装的外观形变流场（比如 2D 坐标矢量能够指示源图像中哪些像素可用于生成目标）。然后根据形变流场对源服装区域进行变形以解决几何形变的问题。上述预测的外观形变流场提供了外观上对应的准确估计，有助于源服装区域到目标服装区域的无缝迁移。 　　（3）最后，在服装保留渲染阶段使用生成网络合成目标图像，同时尝试保留用于形变的源服装区域的细节。 　　研究者的方法可以视为基于形变的方法。但是，与大多数基于自由度很小的几何变换的方法不同的是，ClothFlow 估算了一个稠密的形变场（例如 2×256×256），在处理空间形变时具有很高的灵活性和准确性。与基于 DensePose 的、显式的使用 3D 身体表面信息来实现纹理迁移的一系列方法相比，研究者通过隐式地估计源图像至目标图像的几何变换稠密场来达到形变的目的。 　　ClothFlow 的主要贡献有以下两点：研究者通过级联的方式预测出精确的用于外观变换的流场，以实现源服装区域与目标服装区域的对齐。在每个级联阶段，特征变形模块都会逐步改善对先前阶段的估计结果，并更好地接近所需的空间形变。通过在 DeepFashion 数据集进行评估表明，与其它先进的方法相比，ClothFlow在基于姿态引导的图像合成上，能够更好地保留服装细节，使得生成的图像更加真实；同时，研究者在 VITON 数据集上进行的虚拟试衣实验也获得了令人鼓舞的结果，进一步验证 ClothFlow 的有效性。 　　研究者提出 ClothFlow 模型来对源服装区域和目标服装区域之间的外观流场进行建模，以用于基于姿势引导的人物图像生成和虚拟试衣。ClothFlow 的核心是具有双流体系结构的级联外观流场估计网络，以逐步变形源图像特征并优化流预测。该估计出的流场可以正确处理源图像和目标图像之间的几何形变以及遮挡/不可见情形，从而使 ClothFlow 在两个标准的图像生成任务上优于其他先进方法。本文研究者相信，ClothFlow 所获得的令人鼓舞的高质量结果，将激发计算机视觉研究者们在未来探索更有效的方法来获得生成模型中的几何形变。

标签：

很赞哦！ ()