label-embedding在文本分类中的应用

©PaperWeekly 原创 · 作者｜蔡杰

学校｜北京大学硕士生

研究方向｜QA

最近在做文本分类相关的工作，目标是想提高分类器泛化新样本的能力，当有新样本产生的时候能够不需要重新训练分类器。所以挖了挖这个领域的研究，不挖不知道，一挖吓一跳，没想到这个坑还挺深的，看着看着就从普通的分类延续到 few-shot，zero-shot 以及 meta-learning 去了。在这里先介绍几篇与 label-embedding 相关的工作，以后有时间了其他的方法有时间了慢慢码字。

LEAM

论文标题：Joint Embedding of Words and Labels for Text Classification

论文来源：ACL 2018

论文链接：https://arxiv.org/abs/1805.04174

代码链接：https://github.com/guoyinwang/LEAM

1.1 概述

这篇文章作者将文本分类看作是一个 label-word 的联合嵌入问题：可以将每个 label embedding 到 word 向量相同的空间中。

作者提出了一个注意力框架 Label-Embedding Attentive Model (LEAM) 的模型，该模型能够学习 word 和 label 在同一空间的 representation，并且可以用来衡量文本序列和 label 之间 embedding 的兼容性。其中注意力是在标记样本的训练集上学习的，以确保在给定的文本序列中，相关词的权重高于不相关词。

该方法保证了 word-embedding 的可解释性，并具有利用除了输入文本序列之外的其他信息源的能力。

在 Zero-Shot learning 中，label embedding 是一个很经典的方法，通过学习 label embedding，模型可以预测在训练集中未曾出现过的类别。

1.2 方法

首先作者介绍了，一般的方法将文本分类看做以下几个步骤：

f0：将句子 embedding 的过程。L 是序列长度，P 是 embedding 的维度。

f1：将句子 embedding 进行各种操作的过程，一般就是模型（TextCNN，BERT...）。

f2：模型输出之后的 ffn，用于映射到最后的 label 空间。

一般方法在 f1 只利用了来自输入文本序列的信息，而忽略了 label 的信息。作者发现使用标签信息只发生在最后一步 f2，因此作者提出一种新的 pipeline，将label信息纳入每一步，如下图所示:

作者提出的方法将文本分类看做以下几个新的步骤：

f0：学习 label 的 embedding 作为“anchor points”来影响 word embedding。

f1：利用 label 和 word 之间的相关性进行 word embedding 的聚合。

f2：保持不变。

V 为 sequence embedding 的矩阵，C 为 label embedding 的矩阵，利用 cosine 相似度计算每个 label-word 之间的相似度：

进一步获取连续词（即连续词）之间的相对空间信息，对于以 l 为中心长度为 2r+1 的文本做如下操作：