虚拟试衣 原理与应用_虚拟试衣人体解析

目录

一、现状与挑战

价值主张

实现方法

技术难点

应用落地

二、虚拟试衣技术是如何工作的？

虚拟试穿解决方案纵览

1 虚拟试表

2 虚拟试鞋

---

虚拟试衣这个任务想要解决的问题就是：我有一张人的照片+（几张）衣服的照片，通过虚拟试衣这个技术，我想要生成一张照片，让这个人穿上这（几）件衣服。

一、现状与挑战

虚拟试衣是一种能够使用户无需实际脱衣更换衣物，便可实现实时选装、换装和查看试衣效果的技术。它基于用户身体的三维数据，运用计算机图形学原理建立用户自己的三维人体模型，同时大量的服装效果图存储在计算机中，用户可以选择自己喜欢的服装，将选择的服装“穿”到自己的三维人体模型上，最终得到用户三维人体着装的立体效果图。技术构成一般包括三维人体测量、人体建模、服装建模、面料仿真和虚拟试穿等技术。它提供了一种全新的线上线下试衣体验，线上试衣系统借助APP实现，线下虚拟试衣依靠AR镜子实现。服装市场竞争压力越来越大的当下，如何突出差异性和赢得更多用户的好感，将是企业走得更稳更远的关键所在。

价值分析: 体验前置, 降低退货率

切入点: 智能推荐

制约推广因素: 触觉缺失，不能重现衣服质量和布料触感

价值主张

1.增强了用户的购物体验，还可以提高购物效率
对服装消费者而言，它不但让消费者用最短的时间快速浏览不同款式的服装以及观察试穿效果，摆脱了穿脱试衣的耗时性、复杂性等不足，增强了用户的购物体验，而且还可以提高购物效率。
2.减少退货率，降低物流费用与成本
对服装销售商而言，虚拟试衣系统可以帮助解决因服装合体度不够或上身效果不佳等造成的退货率高的问题，能提升商户的品牌知名度与交易额，并降低物流费用与线下店铺的人工成本。
3.改进生产计划，提升销售利润
线下虚拟试衣间还能够帮助商户快速吸引商场内的客流到店，并进行目的性地广告投放，商户可通过采取互动模式收集顾客反馈，获得大量关于用户体型、穿衣风格偏好和服装宽松度喜好等方面的数据，帮助生产商改进其生产计划，提升销售利润。

(CVPR '18, ECCV '18) VITON系列工作：虚拟试衣

虚拟试衣（Virtual Try-On）的相关工作有很多。市面上的商用产品基本是生成一个人体的3D model，在这个model上进行衣服的试穿，优点就是算法很稳定，但画面的真实性就得不到保障（不够sharp），而且扫描3D等操作开销也大（或者只能手动输入大概数据）。2D上做转换的传统网络在衣服有较大形变的情况下效果都很糟糕，限制了pose。 在训练的数据集上，获得paired数据的挑战也很大，需要模特同样姿态穿两件衣服。目标是希望能够输入一个任意姿态任意衣服的人Ii，一个衣服图片ci，最后能输出一个穿着这件衣服的人。同时衣服上的细节，人体不被覆盖的细节都能够被保存下来。这系列方法的时间开销相对较大，步骤也麻烦，但生成效果较好较稳定，使用的Refine Network等手段来约束衣服的细节保留

如何根据需求来选择虚拟试衣（Virtual Try-On）的深度学习模型

1. 单件单品的试穿 几个知名的虚拟试衣的先驱模型，比如VITON (Han et al. CVPR 2018)，CP-VTON (Wang et al. ECCV 2018) 和ACGPN (Yang et al. CVPR 2020)，他们解决的问题的都是单件衣服（上衣）的试穿——也就是说，这一类型的模型所解决的问题是，把照片上的人的衣服换成目标衣服。这类模型可以很好展示单件衣服的上身效果

2. 限定品类和数量的多件单品试穿 这类作品相比于单件衣服的试穿，给了用户更多的选择，但是因为预先定义单品类别，并且每个类别只允许用户选择一件单品，所以并不能够实现同类单品的叠穿

3. 不限定品类和数量的多件单品试穿 针对已有虚拟试穿模型不能叠穿这一问题，DiOr (Cui et al. ICCV 2021) 首次提出了新的解决思路，引入了穿衣顺序的概念，打破了原先对单品类别和数量的限制，首次允许了用户同时试穿不限定数量和品类的单品。同时DiOr模型根据用户不同的穿衣顺序可以生成不同的穿衣效果，如上衣是否扎进裤子，衬衣穿在无袖长裙外面或者里面等

1）人模与服装的二维建模

• 第1类是抠取用户提供的头部二维图像，将其直接接于已有的虚拟二维身体模型上，运用ps技术通过拉伸或缩小调整该模型的身高、体宽等维度数据使其成为一个整体。
• 第2类是直接通过摄像头获取用户头部、身体等二维图像数据，并将二维服装模型ps到用户的图像上。
• 第3类是仅保留用户头部二维图像，不断变换选取资源库内的二维身体与服装组合模型。

（2）直接拍摄或者输入数据
通过拍摄用户头部照片获取五官数据，建立头部三维模型;并通过输入用户的身高、体重、体型类别、腰围、臀围等数据建立用户人体模型。该方法建立的人体模型形象较为自然，无违和感，且身体维度较多，可较为真实地呈现试衣效果。
（3）完全3D化构建人体模型与服装
3D化人体模型与服装，可实现360°试衣效果展示，且试衣效果更具真实感，但受目前技术的局限，其试衣效果与真人试衣效果仍存在一定的差别。

技术难点

1.人体数据存储问题
        企业会保存所有客户的人体数据，以便再次使用该数据，但随着人体数据的增多，企业计算机配置与内存也需要不断升级。
2.人体数据测量方法的智能化问题
        大部分消费者愿意尝试三维虚拟试衣技术进行网购，但也会因无法试穿实物、无法判断尺码是否合适而放弃购买，人体数据测量的智能化还有待发展。
3.人体建模3D化问题
        目前应用较为广泛的3D人体建模方法为直接创建法和模型重建法。直接创建法需要专业人员通过3Dmax等人体建模软件进行专业操作，专业性依赖较强;模型重建法需要运用复杂算法对基础三维虚拟人体模型进行简单线性缩放，仿真性较差且人体曲线比例可能会失衡。
4.三维虚拟面料的仿真效果问题
        面料仿真的几何仿真法应用较广泛，但质感和悬垂性等均与实物有差异，难以达到真实的效果。物理建模法可以模拟面料的动态效果，但算法复杂且计算量较大，有限元编程控制较为困难，难以仿真出面料的全部形变。
5.虚拟缝合的智能化问题
        大多数软件虚拟缝合中的缝合信息设定较模糊，需要手动确认缝合信息，用户交互程度高，自动化程度偏低。虚拟缝合技术还有待智能化发展。

应用落地

现实中，虚拟试衣带来的新鲜感吸引了不少人“尝鲜”，但由于虚拟人物形象难以完全还原出真人的身材、体态，也无法还原出衣物不同尺寸的上身效果，因此这类功能变成了“QQ秀”的换装游戏，实用性差，成了昙花一现的产物。不过，也有消费者认为虚拟试衣解决了穿搭难题。它可以方便地将不同衣物搭配在一起，显现穿搭效果，这比真人海量的试衣、挑选要便捷得多。更何况，借助智能系统和大数据计算，可以掌握消费者的穿衣喜好，进行智能搭配推荐。由于受到新冠疫情的影响，很多线下零售店客流量锐减，尤其是服装领域的商家受到影响更为突出，海外许多零售商家积极转型自救，虚拟试衣间就是他们尝试的新工具。

线上虚拟试衣，概念满分的鸡肋产品？

不能重现衣服质量和布料触感是虚拟试衣无法改变的硬伤，除了尺码推荐和隐私问题，“触觉缺失”或许才是大部份用户认为线上虚拟试衣“鸡肋”的最主要原因。虚拟试衣的精髓在于推荐穿搭。毕竟再怎么样都不能复制触觉感受，衣服只能买回来试了才知道实际尺寸和真实效果。

虚拟试衣技术出现至今，一直在尝试解决网购服装无法实际试穿的问题，却因为技术上的限制与几乎无解的隐私问题而长期处于不温不火的状态。目前无法解决“触觉缺失”的虚拟试衣技术想要走向未来，智能推荐或许才是其真正价值所在。 

虚拟试衣遭疯狂吐槽，这样的线上试穿你能接受吗？

服装是非标品，非常个性化的产品，消费者在购买时希望看到“这件衣服穿在我身上的效果”，而不是模特展示的照片。作为在线服饰选购的辅助手段，我们希望看到的虚拟试衣，是可以根据用户的身材比例及身体各个特征与试穿的衣服进行匹配，让衣服自适应身材。让用户对看见摸不到的衣服有着直观感受，既可以看到服装的材质，还可看到现实环境中衣服袖口、裙摆等的飘动效果。

为看得见摸不着的商品打破网络与现实的结界，虚拟试衣市场前景旷阔无限

二、虚拟试衣技术是如何工作的？

本文翻译至ar-ai-technologies-virtual-fitting-room-development

作者是MobiDev AI解决方案架构师Maksym Tatariants

​​​​​​​我讨厌在商店里购物，但是对线上购物却乐此不疲。经过在MobiDev数据部门虚拟试衣的工作，我获得了很多经验.这篇文章的目的是描述这些系统内部是如何工作的.多年来，“先试后买”策略一直是服装店屡试不爽的客户互动方法。现在，这种策略能够以虚拟试衣间的形式存在。根据调研机构《财富商业洞察》预测，到2027年，全球虚拟试衣间市场规模有望达到100亿美元。

为了更好地理解虚拟试衣间技术的工作原理和技术逻辑，让我们看下接下来的几个例子. 不久前开发可一个关于增强现实 (AR) 鞋类试衣间应用, 其工作方式如下：

• 将输入视频分割成帧，并用深度学习模型进行处理，该模型估计一组特定试衣者腿部和双脚关键点的位置。
• 根据检测到的关键点来放置鞋类的3D模型。
• 渲染3D鞋类模型，以便每个帧显示逼真的纹理和光线。

当使用ARKit(苹果设备的增强现实框架)时，我们发现它存在渲染限制。从视频Utilization of ARKit for 3D human body pose estimation and 3D model rendering中可以看出，其跟踪精度太低，无法用于鞋类定位。这种限制的原因可能是在忽略跟踪精度的同时保持推理速度，这对于实时工作的应用程序可能至关重要。

另一个问题是ARKit 算法对身体部位的识别效果不佳。由于该算法旨在识别试穿者整个身体，如果处理后的图像仅包含身体的一部分，它将不会检出任何关键点。但这正是鞋类试衣间所面临的情况--试穿者仅有一只脚在画面中。

综上所述，虚拟试衣间应用程序除了标准的AR库外可能还需要更多的能力。因此，最好让数据科学家参与开发自定义姿势估计模型，该模型应该只检测帧中一只脚或双脚的关键点并实时操作。

虚拟试穿解决方案纵览

虚拟试衣间技术可以提供配饰、手表、眼镜、帽子、衣服等产品的试穿功能。接下来让我们看下这些解决方案中是如何在幕后工作的。

1 虚拟试表

AR-Watches app就是试戴虚拟手表的一个很好的例子，它允许用户试戴各种手表。该解决方案基于ARTag技术，利用印在表带上的特定标记，将表带佩戴在用户的手腕上以代替手表，以便开始虚拟试戴手表。计算机视觉算法仅处理帧中可见的那些标记，并识别摄影头相对于它们的位置。之后，需要正确渲染手表3D图像，虚拟摄影头应放置在同一位置。

总的来说，该技术有其局限性。但是，如果它与业务用例相匹配，那么创建要使用的正确3D图像并不困难。

https://youtu.be/yLnGjabCDD0

2 虚拟试鞋

Wanna Kicks 和 SneakerKit 很好地展示了AR和深度学习技术如何应用于鞋.

3D足部姿势估计

一旦检测到试穿者足部的3D关键点的位置，就可以用于创建足部的参数化3D模型，并根据参数化模型的几何特性对鞋类3D模型进行定位和缩放。

在检测到的足部参数化模型上定位鞋类的3D模型

与全身/面部姿态估计模型相比，足部姿态估计仍然存在一定的挑战。主要问题是缺乏模型训练所需的3D注释数据。

但是，避免这一问题的最佳方法是使用合成数据，该数据假设渲染具有关键点的逼真3D足部模型并使用该数据训练模型;或者使用摄影测量法，它假设从多个2D视图重建3D场景，以减少需要标记的数量。

这种解决方案在技术方面要复杂得多。为了使其解决方案推出市场，需要收集足够大的足部关键点数据集(使用合成数据、摄影测量或两者的组合)，训练定制的姿态估计模型(即将结合足够高的准确性和推理速度)，测试其在各种条件下的稳健性并创建足部模型。从技术上来说，这是一个中等复杂度的项目。