CVPR2023 | 形状感知零样本语义分割

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨刘昕煜

来源丨计算机视觉工坊

点击进入—>3D视觉工坊学习交流群

论文题目：Delving into Shape-aware Zero-shot Semantic Segmentation

论文链接：https://arxiv.org/abs/2304.08491

代码链接：https://github.com/Liuxinyv/SAZS

一、简介

由于大规模视觉语言预训练取得了令人瞩目的进展，最近的识别模型可以以惊人的高准确度对任意对象进行零样本和开放式分类。然而，将这种成功转化为语义分割并不容易，因为这种密集的预测任务不仅需要准确的语义理解，还需要良好的形状描绘，而现有的视觉语言模型是通过图像级别的语言描述进行训练的。为了弥合这一差距，我们在本研究中追求具有形状感知能力的零样本语义分割。受图像分割文献中经典的谱方法的启发，我们提出利用自监督像素级特征构建的拉普拉斯矩阵的特征向量来提升形状感知分割性能。尽管这种简单而有效的算法完全不使用已知类别的掩模，但我们证明它的表现优于一种最先进的形状感知范式，在训练期间对齐地面实况和预测边缘。我们还深入研究了在不同数据集上使用不同的骨干网络所实现的性能提升，并得出了一些有趣且有结论性的观察：形状感知分割性能的提升与目标掩模的形状紧密性和对应语言嵌入的分布都密切相关。

二、网络架构

图1 SAZS的总体框架

零样本语义分割的目标是将语义分割任务扩展到训练数据集中未出现的类别。引入额外的先验信息的一种潜在方法是利用预训练的视觉-语言模型，但是大多数这些模型都集中于图像级别的预测，无法转移到密集预测任务。为此，我们提出了一种名为“形状感知零样本语义分割（SAZS）”的新方法。该方法利用了预训练的CLIP[1]模型中包含的丰富的语言先验信息，在训练期间对齐地面实况和预测边缘。同时，利用自监督像素级特征构建的拉普拉斯矩阵的特征向量来提升形状感知分割性能，并将其与像素级别的预测相结合。

我们的方法的模型框架如图1所示。输入图像首先通过图像编码器转换为像素级嵌入，然后与预训练的CLIP[1]模型的文本编码器获得的预先计算的文本嵌入对齐（图1中的A部分）。同时，图像编码器中的额外头部用于在补丁中预测边界，并针对分割地面真值中获得的地面真值边缘进行优化（图1中的B部分）。此外，在推断过程中，我们通过谱分析分解图像并将输出的特征向量与类别不可知的分割结果相结合（图1中的C部分）。

我们将训练集表示为，测试集表示为,其中和分别表示输入图像和相应的真实语义掩码。S表示 I中的K个潜在标签，而表示测试期间未见过的类别。在我们的设置中，这两个集合严格互斥（即）。

在针对的进行推断之前，模型使用来自S的真实标签在上进行训练。

这意味着在训练过程中从未看到测试集中的类别，使得任务在零样本设置下进行。一旦模型训练得当，它应该能够泛化到未见过的类别，并在开放世界中实现高效的目标密集预测。

像素级别的视觉-语言对齐

我们采用扩张残差网络（DRN[2]）和密集预测Transformer（DPT[3]）来将图像编码为像素级嵌入向量。同时，我们采用预训练的CLIP文本编码器将来自S中K个类别的名称映射到CLIP特征空间作为文本特征。其中，视觉特征和文本特征具有相同的维度D。为了实现视觉-语言对齐，此前的工作[5]通过最小化像素和对应语义类别之间的距离，同时最大化像素和其他类别之间的距离来实现。在像素级视觉和语言特征被嵌入同一特征空间的假设下，我们利用余弦相似度作为特征之间的量化距离度量，并提出对齐损失，它是所有像素上已见类别的交叉熵损失的总和：

其中，表示在位置上的像素视觉特征，表示第k个文本特征，表示像素 的类别的索引。

形状约束

由于CLIP是在图像级别任务上训练的，仅仅利用CLIP特征空间中的先验信息可能对密集预测任务不足够。为了解决这个问题，我们引入边界检测作为一个约束任务。受到之前工作[6]的启发，我们通过优化真实边缘和特征图中的边缘之间的仿射变换，使其趋近于单位矩阵。

具体来说，如图1所示，我们提取视觉编码器的中间特征，并将其划分成块。首先采用Sobel算子获得边缘对应的真实标签。之后将特征块输入边界头进行特征提取。我们利用训练好的形状网络（图 1中的MLP）计算第i个特征块的变换矩阵，该矩阵用于将处理后的特征块与边缘的真实注释之间进行仿射变换。我们使用形状损失来优化仿射变换矩阵与单位矩阵之间的差异：

其中T表示特征块数量，表示Frobenius范数。

此外，我们还计算了整张特征图的预测边缘掩码与相应的真实标注之间的二元交叉熵损失 ，以进一步优化边缘检测的性能。经过边缘检测任务的联合训练，视觉编码器能够利用输入图像中的形状先验信息。后面的实验结果表明，由和引入的形状感知带来了显著的性能提升。最终，在训练过程中需要优化的总损失为：

其中，和是损失权重。

自监督谱分解

由于此前谱分解工作[7]的启发，我们利用无监督谱分解的方式将输入图像的拉普拉斯矩阵分解为具有边界信息的特征段，并在图1中的融合模块中将这些特征段与神经网络的预测结果融合。

关联矩阵的推导是谱分解的关键。首先提取预训练的自监督Transformer（DINO[4]）最后一层的注意力块中的特征。像素，的关联矩阵定义为：

虽然从DINO特征中的关联矩阵富含语义信息，但缺少包括颜色相似性和空间距离在内的低层次近邻信息。我们首先将输入图像转换为HSV颜色空间：，其中是各自的HSV坐标，是像素i的空间坐标。然后，像素关联矩阵被定义为：

这里的表示二范数。整体的关联矩阵定义为这两者的加权和：

推理过程

在进行推理时，我们首先使用预训练的CLIP文本编码器对类别的进行编码，并获得包含C个类别的文本特征，其中每个类别都用一个D维嵌入表示。然后我们利用训练好的视觉编码器获取视觉特征图。最终的逻辑回归值是视觉特征和文本特征之间余弦相似性的计算结果。同时，我们使用预训练的DINO以无监督的方式提取语义特征，并计算出前K个谱特征区段（我们的实现中）。

最终的预测结果是由融合模块生成的，该模块根据和之间的最大IoU（表示为）从预测集中进行选择：

三、实验结果

我们分别在语义分割数据集PASCAL-5i[8]和COCO-20i[9]上进行了定量和定性实验，分别如下图所示

表1：SAZS在PASCAL-5i和COCO-20i上的定量结果

表2：SAZS跨数据零样本分割的定量结果（在PASCAL-5i上测试）

SAZS在PASCAL-5i和COCO-20i上的定性结果分别如下图所示。第一列和最后一列是不同类别的输入图像和相应的地面真实语义掩码。第二列和第三列分别是 SAZS 没有和有形状感知的预测结果。*表示在训练阶段未曾出现的类别.

形状感知分割验证指标IoU与目标掩模的形状紧密性和对应语言嵌入的分布关系如下图所示。

四、总结

本文提出了一种新颖的框架，用于实现形状感知的零样本语义分割（简称SAZS）。该框架利用大规模预训练视觉语言模型的特征空间中包含的丰富先验信息，同时通过在边界检测约束任务上进行联合训练。此外，采用自监督谱分解来获取图像的特征向量，将其与网络预测融合增强模型感知形状的能力。相关性分析进一步凸显了形状紧密度和语言嵌入分布对分割性能的影响。

参考文献

[1] Radford A ,  Kim J W ,  Hallacy C , et al. Learning Transferable Visual Models From Natural Language Supervision[J].  2021.

[2] Yu F ,  Koltun V ,  Funkhouser T . Dilated Residual Networks[C]// IEEE Computer Society. IEEE Computer Society, 2017.

[3] Ranftl R ,  Bochkovskiy A ,  Koltun V . Vision Transformers for Dense Prediction[J].  2021.

[4] Caron M ,  Touvron H ,  Misra I , et al. Emerging Properties in Self-Supervised Vision Transformers[J].  2021.

[5] Li B ,  Weinberger K Q ,  Belongie S , et al. Language-driven Semantic Segmentation[J].  2022.

[6] Borse S ,  Wang Y ,  Zhang Y , et al. InverseForm: A Loss Function for Structured Boundary-Aware Segmentation:, 10.48550/arXiv.2104.02745[P]. 2021.

[7] Melas-Kyriazi L ,  Rupprecht C ,  Laina I , et al. Deep Spectral Methods: A Surprisingly Strong Baseline for Unsupervised Semantic Segmentation and Localization[J].  2022.

[8] Everingham M ,  Gool L V ,  Williams C , et al. The Pascal Visual Object Classes (VOC) Challenge[J]. International Journal of Computer Vision, 2010, 88(2):303-338.

[9] Lin T Y ,  Maire M ,  Belongie S , et al. Microsoft COCO: Common Objects in Context[C]// European Conference on Computer Vision. Springer International Publishing, 2014.

本文仅做学术分享，如有侵权，请联系删文。

点击进入—>3D视觉工坊学习交流群

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

8.从零搭建一套结构光3D重建系统[理论+源码+实践]

9.单目深度估计方法：算法梳理与代码实现

10.自动驾驶中的深度学习模型部署实战

11.相机模型与标定(单目+双目+鱼眼）

12.重磅！四旋翼飞行器：算法与实战

13.ROS2从入门到精通：理论与实战

14.国内首个3D缺陷检测教程：理论、源码与实战

15.基于Open3D的点云处理入门与实战教程

16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进

17.机械臂抓取从入门到实战

重磅！粉丝学习交流群已成立

交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。

扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿，微信号：dddvisiona

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看，3天内无条件退款

高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~