论文阅读【用监督对比学习建模域外检测(OOD Detection) 的 鉴别表示】_ooddetection

总结：主要介绍了论文要解决的问题：提出一个有监督的对比学习的目标与现有的交叉熵损失做对比。

Introduction

从用户查询中检测域外(OOD)或未知意图(unknown intents)是面向任务的对话框系统中的一个重要组成部分.。

与正常的意图检测任务不同，OOD意图检测不知道实际场景中未知意图的确切数量，也几乎不能注释大量的OOD样本。

以往OOD检测方法一般可分为两种类型：Supervised OOD detection （有监督OOD检测）和无监督OOD检测

Methodology

 Overall Architecture

（1）首先使用 CE 或者 SCL+CE objectives 在训练阶段训练一个域内意图分类器。

（2）在测试阶段提取了一个测试样本的意图特征，并使用检测算法MSP、LOF或GDA来检测OOD。

Supervised Contrastive Learning

$y_{i}$ 代表域内样本$x_{i}$ 对应的意图标签。 $s_{i}$ 代表经过LSTM 或者BERT 编码过得意图表示。 $N$  代表训练样本的数量。$\tau$ 是一个温度系数（temperature factor）$W_{j}$ 表示第j个类的权重矩阵。

2、CE的改进版本 large margin cosine loss (LMCL)

m 是 cosine margin（余弦边缘） 。与CE相比，LMCL在negative class上增加了一个 normalized decision margin（标准化的决策边界），使模型明确地区分正类和负类。

 3、a supervised contrastive learning objective （SCL）

目的：最小化类内方差，最大化类间方差。

 $N_{y_{i}}$ 表示一个batch中与$y_{i}$具有相同标签的示例总数,l 是一个指示器函数(indicator function)。同时，只对域内数据进行SCL。SCL的目标是将属于同一类的IND意图集合在一起，并将来自不同类的样本拉开，这有助于识别决策边界附近的OOD意图。

首先使用SCL对意图分类器进行预训练，然后使用CE或LMCL进行微调。

Adversarial Augmentation

【这一部分没有特别理解】！！！

数据增强对于对比学习有重要意义，可以应用对抗性攻击生成pseudo positive samples（伪正样本），以增加对比学习的the diversity of views（观点多样性）。

 $\delta$表示最坏情况下的扰动，$\theta$表示意图分类器的参数，$x$ 表示给定的样本，$\epsilon$ 表示扰动的规范边界。

应用Fast Gradient Value 【快速梯度值(FGV)】来近似扰动：

 对$g$ 进行归一化，同时使用一个$\epsilon$ 来保证近似值的合理性。

最后，就可以得到latent space中的的 pseudo augmented  samples（伪增强样本）$x_{adv} = x +\delta$ 。

生成的伪样本被用来在SCL中增加每个锚点(anchor)的positive views。

Experiments

Datasets

 同时作者还进行了一些了的实验来分析相应的结果，具体可以阅读论文。

Conclusion

通过对域内数据学习区别性语义意图表示，提出了一种新的监督对比学习损失(SCL)。

SCL的目标是通过将属于同一类的意图聚集在一起来最小化类内方差，并通过将来自不同类的样本拉开来最大化类间方差。

思考：将对比学习应用于OOD意图检测的想法很新颖，后续是否可以采用一下别的方法进行改进？【可以联系前面写的两篇博客】