人脸标记检测：ICCV2019论文解析_热图损失

人脸标记检测：ICCV2019论文解析

Learning Robust Facial Landmark Detection
via Hierarchical Structured Ensemble

论文链接：

http://openaccess.thecvf.com/content_ICCV_2019/papers/Zou_Learning_Robust_Facial_Landmark_Detection_via_Hierarchical_Structured_Ensemble_ICCV_2019_paper.pdf

摘要

基于热图回归的模型极大地促进了面部地标检测的进展。然而，缺乏结构约束总是会产生不准确的热图，导致地标检测性能差。虽然人们提出了层次结构建模方法来解决这一问题，但它们都严重依赖于人工设计的树结构。由于缺少或不准确地预测地标，设计的层次结构可能会被完全破坏。据本文所知，在深度学习的背景下，以前没有研究过如何通过发现面部标志点的内在关系，自动为其建立适当的结构模型。

本文提出了一种新的分层结构地标集成（HSLE）模型，将其作为结构约束，用于学习鲁棒的人脸地标检测。与现有的人工设计结构的方法不同，本文提出的HSLE模型是通过发现最稳健的模式来自动构建的，因此HSLE能够同时健壮地描述局部和整体的地标结构。本文提出的HSLE可以很容易地插入到任何现有的面部地标检测基线中，以进一步提高性能。大量的实验结果表明，本文的方法在获得最新性能方面显著优于基线。

1. Introduction

面部地标检测，称为面部定位，是许多面部分析任务的关键，包括面部识别[35，64，30]，面部建模[17，24]。由于面部形状、头部姿势、光线条件和背景遮挡的变化很大，面部地标检测仍然具有挑战性。最近，基于热图回归的模型[49，57，36，52，51]推动了面部地标检测的进展。基于热图回归的模型之所以成功，是因为利用似然热图来表示地标位置的概率分布。但是，如果出现异常情况（例如遮挡、照明、噪音或不受约束的姿势/表情变化），则会产生不准确的热图（例如带有偏差或干扰的热图），等）由于可靠性低或不充分的识别，导致面部标志点（图1.Row1）定位不准确甚至不正确。为了解决这一问题，基于heatmap回归模型的结构建模被提出，并在人脸标志点检测中取得了很好的效果，因为利用人脸标志点的结构约束可以修正和正确地重建上述不准确/模糊的标志点。然而，现有的整体结构建模对地标预测质量敏感，由于无约束的异常情况导致的地标缺失或检测不准确，所建结构可能完全失效，如图1.Row2所示。

因此，通过同时对标志点的整体和局部结构进行建模，人脸标志点的定位变得更加稳健。利用层次结构模型进行有效的局部结构建模，而不是用一个整体的密集连通图同时对既不具有资源效率也不具有推理能力的人脸标志的整体结构和局部结构进行建模。 在人脸标记检测领域，很少有文献[20,9,52]提出基于人工设计的树状层次结构的人脸标记层次化建模方法。

然而，由于人工设计的树状结构会因为标记的检测失败而被完全破坏，因此它们的性能对人脸标记的检测不具有鲁棒性。

因此，在这项工作中，本文试图回答一个重要的问题：本文能否自动构建一个更适合学习鲁棒性面部地标检测的层次结构？

本文提出了一种新的层次结构地标集合（HSLE）模型，用以层次化地表示人脸地标的整体和局部结构。

在这项工作中，本文首先将地标聚类成不同的组&#x