NLP 论文领读｜改善意图识别的语义表示：有监督预训练中的各向同性正则化方法_intentbert

欢迎关注「澜舟 NLP 论文领读」专栏，一起探索前沿技术！ 官网：https://langboat.com

本期分享者：甘子发

澜舟科技算法实习生 郑州大学自然语言处理实验室（ZZUNLP）二年级硕士生，

目前正在进行文本纠错方向的研究。

E-mail: zfganlp@foxmail.com

写在前面

意图识别（intent detection）是面向任务对话系统的核心模块，其标注数据较少，所以研究怎样用少量数据训练出一个优秀的意图分类器（few-shot intent detection）有着很高的实用价值。

近年来 BERT 等预训练语言模型（pre-trained language model，PLM）在各 NLP 任务中处于支配地位，而研究表明，在将PLM应用到任务上之前，用相关任务的标注数据先对 PLM 进行有监督的预训练（supervised pre-training，其实就是fine-tuning），可以有效地提升后续微调的效果。对于意图识别，先用少量的公开的对话标注数据对 PLM 进行微调（IntentBERT）[1]，对模型有很大的提升。

但是，IntentBERT 有很强的各向异性（anisotropy），各向异性是一个几何性质，在向量空间上的含义就是分布与方向有关系，语义向量挤在了一个狭窄的锥形空间内，这样向量彼此的余弦相似度都很高，并不是很好的表示，而各向同性（isotropy）就是各个方向都一样，分布均匀。各向异性被认为是导致 PLM 在各下游任务中只能达到次优性能（表示退化问题）的一个重要因素，不过各向同性技术可以用来调整嵌入向量空间，而且使模型在众多任务上的性能都获得了极大的提升。之前的各向同性技术，有些对没经过微调的 PLM（off-the-shelf PLM）进行调整，但对于微调过的 PLM（fine-tuned PLM），这些技术对模型性能反而可能会有负面效果[2]；有的在监督训练过程中进行 isotropic batch normalization，但需要大量训练数据[3]，不适合缺少数据的意图识别任务。

近日有一篇论文《Fine-tuning Pre-trained Language Models for Few-shot Intent Detection: Supervised Pre-training and Isotropization》，其中提出使用各向同性技术来改善 few-shot intent detection的supervised pre-training，在这篇工作中，作者先是研究了 isotropization和supervised pre-training (fine-tuning)之间的关系，然后提出了两种简单有效的各向同性正则化方法（isotropization regularizer），如图 1 所示，并且取得了不错的效果，下面我们一起来看看这篇论文的具体做法吧。

论文标题

Fine-tuning Pre-trained Language Models for Few-shot Intent Detection: Supervised Pre-training and Isotropization

论文作者

Haode Zhang, Haowen Liang, Yuwei Zhang, Liming Zhan, Xiao-Ming Wu, Xiaolei Lu, Albert Y.S. Lam

作者单位

Department of Computing, The Hong Kong Polytechnic University, Hong Kong S.A.R.

University of California, San Diego

Nanyang Technological University, Singapore

Fano Labs, Hong Kong S.A.R.

论文链接

https://arxiv.org/abs/2205.07208

项目代码

https://github.com/fanolabs/isoIntentBert-main

Pilot Study

作者先是做了一些初步实验，以了解各向同性与微调 PLM 之间的相互作用。

论文中使用下列公式计算各向同性：

$\mathrm{I}(\mathbf{V})=\frac{{\min }_{\mathbf{c}\in C}\mathbf{Z}(\mathbf{c},\mathbf{V})}{{\max }_{\mathbf{c}\in C}\mathbf{Z}(\mathbf{c},\mathbf{V})}$ (1)

$\mathbf{Z}(\mathbf{c},\mathbf{V})={\sum }_{i=1}^N\exp \left({\mathbf{c}}^{\top }{\mathbf{v}}_i\right)$ (2)

其中$\mathbf{V}\in {\mathbb{R}}^{N\times d}$是有 zero mean 的 N 个嵌入向量，$C={\mathbf{V}}^{\top }\mathbf{V}$，${\mathbf{v}}_i$是$\mathbf{V}$的第$i$行，$\mathrm{I}(\mathbf{V})\in [0,1]$，值为 1 表示有最高的各向同性。

论文中对比了 PLM 微调前后的各向同性，结果如表 1 所示，可以看到 PLM 经微调后，其各向同性有所下降，即微调可能导致特征空间变得更加各向异性。

然后论文对比了将之前的两种各向同性技术：

• dropout-based contrastive learning [4]
• whitening