【层级多标签文本分类】Hierarchy-aware Label Semantics Matching Network for Hierarchical Text Classification

Hierarchy-aware Label Semantics Matching Network for Hierarchical Text Classification

1、背景

1、作者（第一作者和通讯作者）
   Chen Haibin, Ma Qianli
2、单位
    South China University of Technology
3、年份
   2021
4、来源
   ACL会议

2、四个问题

1、要解决什么问题？
   由于标签层次的复杂结构，层次文本分类是一项重要而又具有挑战性的任务。现有的方法忽略了文本和标签之间的语义关系，不能充分利用文本的层次信息。解决层次文本分类问题

2、用了什么方法解决？
   提出了一种层次感知的标签语义匹配网络(HiMatch)。首先，我们将文本语义和标签语义投影到一个联合嵌入空间。然后引入联合嵌入损失和匹配学习损失来建模文本语义和标签语义之间的匹配关系。

3、效果如何？
   在不同的基准数据集上的实验结果验证了我们的模型达到了最先进的结果。

4、还存在什么问题？
   

论文笔记

1、INTRODUCTION

    HTC是一种特殊的多标签文本分类问题，它引入层次结构来组织标签结构。如下图，HTC模型预测给定标签层次中的多个标签，这些标签通常以自顶向下的方式构建从粗粒度标签到细粒度标签的一条或多条路径。一般来说，细粒度标签是描述输入文本最合适的标签。粗粒度标签通常是粗粒度标签或细粒度标签的父节点，表达了更一般的HTC是为了对大规模、不平衡和结构化的标签层次结构进行建模的关键挑战。

    HTC现有的工作忽略了文本语义和标签语义之间的相互作用，这对分类非常有用。对文本语义和标签语义之间的交互进行建模的一种自然策略是通过标签注意力或自动编码器引入文本-标签联合嵌入。基于标签注意的方法采用了自我注意机制来识别标签特定的信息。基于自动编码器的方法将普通经典相关自动编码器扩展到基于排名的自动编码器体系结构，以产生可比的文本标签分数。然而，这些方法假设所有标签都是独立的，没有充分考虑粗粒度标签和细粒度标签之间的相关性，这不能简单地转移到HTC模型。

   本文将文本与标签之间的交互描述为一个语义匹配问题，并提出了一种层次感知的标签语义匹配网络(HiMatch)。其主要思想是文本表示应该在语义上类似于目标标签表示(尤其是细粒度标签)，而它们应该在语义上远离不正确的标签表示。首先，分别采用文本编码器和标签编码器来分别提取文本语义和标签语义。其次，将文本语义和标签语义投影到文本-标签联合嵌入空间，在那里利用文本和标签之间的相关性。之后，我们应用匹配学习损失来以层次感知的方式捕获文本-标签匹配关系。

2 Related Work

2.1 Hierarchical Text Classification

   层次文本分类是一种特殊的多标签文本分类问题，其中分类结果被分配到分类层次的一个或多个节点。现有的方法主要集中于在全局视图中编码层次约束，如有向图和树结构。

2.2 Exploit Joint Embedding of Text and Label

   为了确定文本和标签之间的相关性，研究人员提出了各种方法来利用文本-标签联合嵌入。然而，它们没有充分考虑细粒度标签、粗粒度标签和错误标签之间的标签语义和整体标签相关性。此外，由于层级的限制，我们不能简单地将这些多标签分类方法转移到HTC。

3 Proposed Method

   上图为论文的模型图，可以很清晰的看出整体的处理逻辑：文本编码器和标签编码器分别提取文本语义和标签语义。然后将文本语义和标签语义投影到联合嵌入空间中。联合嵌入损失鼓励文本语义与目标标签语义相似。通过引入匹配学习损失，细粒度标签语义(Debt)在语义上最接近文本语义，其次是粗粒度标签(Economics)，而其他不正确的标签语义在语义上远离文本语义(Revenue，Social)。相对顺序为d1<d2<d3<d4，其中d表示关节嵌入中的度量距离。

3.1 Text Encoder

   在文本表征环节，论文采用跟HiAGM模型中一样的表征网络，具体流程为：先输入到Bi-GRU进行字的表征学习；然后使用CNN+k-maxpooling方法抽取文本特征T，对应维度为k*d_cnn，k为label的数量，d_cnn为卷积后学到的特征数量；最后使用Feature Propagation模块将学习的特征与标签体系的先验信息进行交融学习，得到最终的文本表征向量S_t。

   Feature Propagation模块：其思路与HiAGM一致：先利用先验知识将标签体系定义一个图——$G=(V_t,\overrightarrow{E},\overleftarrow{E})$，其中V_t表示label节点集合，$\overrightarrow{E}$表示父节点到子节点的路径，$\overleftarrow{E}$表示子节点到父节点的路径，路径上的值是根据数据集统计而来的先验概率，两个路径矩阵对应的维度为k*k；接着将CNN网络学到的向量T通过线性转化，嵌入到向量V_t中，对应的维度为d_t，表示文本向量中对应的label节点特征信息；最后使用GCN网络学习到最终的文本表征向量S_t，计算方式如下：

   其中激活函数为RELU，两个权重矩阵W对应的维度为d_t*d_t; 这样文本表征向量含有标签的层级先验信息。

3.2 Label Encoder

   在标签表征环节中，跟Text Encoder中的Feature Propagation模块是非常相似的，只是有一点不同。具体是一样方式定义一个图 $G=(V_l,\overrightarrow{E},\overleftarrow{E})$，中V_l代表labels表征向量，E与上述一样。接着同样使用GCN网络进行表征学习：

   与Text Encoder中GCN不同的是，这里的两个权重维度为d_l*d_l。

3.3 Label Semantics Matching

3.3.1 Joint Embedding Learning

   在计算损失之前，论文将文本表征向量S_t与标签表征向量S_l分别对接一个全连层映射到相同的表征空间：

   其中$FF{N}_t和FF{N}_l$是独立的两层前馈神经网络。

   然后论文定义两个label引导出来的优化目标函数：Joint Embedding Learning和Hierarchy-aware Matching Learning。Joint Embedding Learning的目标希望表征的文本语义向量与它对应的真实label表征的语义向量越近越好，即：

   P(y)代表的文本对应的真实标签集合。

3.3.2 Hierarchy-aware Matching Learning

   Hierarchy-aware Matching Learning的目标希望表征的文本向量不仅要与对应真实label向量越近越好，还要与非真实label向量越远越好，其实就是对比损失的意思。不过论文采用边际损失来表示，并没有用常规的对比损失来定义：

其中${\varphi }_l^p$表示目标标签语义，${\varphi }_l^n$表示不正确的标签语义。

   Hierarchy-aware Margin在联合嵌入学习中充分利用了文本语义最匹配细粒度标签的特点;然后将语义距离(d1)最小的一对作为正对，将其他文本标签匹配对作为负对。与正对相比，文本与粗粒度目标标签(d2)之间的语义匹配距离应该更大。不正确的兄弟标签与目标标签有一定的语义关系。因此，文本与细粒度标签的错误兄弟标签之间的语义匹配距离(d3)应该更大，而文本与其他错误标签之间的语义匹配距离(d4)应该是最大的。引入层次感知的惩罚边缘γ1， γ2， γ3， γ4来模拟可比关系。如果我们期望语义匹配距离越小，惩罚范围就越小。我们忽略了γ1，因为在联合嵌入学习中利用了文本语义和细粒度标签之间的匹配关系。γ2、γ3、γ4与文本语义和细粒度标签语义的匹配关系相比是罚边距。引入两个超参数α， β来测量γ的不同匹配关系:

其中$0<\alpha <\beta <1$。

3.4 Classification Learning and Objective Function

   如果直接在文本标签联合嵌入中进行分类学习，分类学习更容易出现过拟合现象。因此，我们使用联合嵌入损失和匹配学习损失引导的文本语义表示S_t进行分类学习。将S_t送入全连接层，得到用于预测的标签概率ˆy。总体目标函数包括交叉感知类别损失、联合嵌入损失和层次感知匹配损失:

   再加一个主任务目标函数——二分类交叉熵损失函数，三个目标函数和在一起，即为最终的优化目标：

4 Experiment

4.1 Experiment Setup

论文在RCV1-V2、WOS、EURLEX57K三个数据集上进行了验证，前两个也是之前HiAGM模型使用的数据集。

4.2 Experiment Results

可以看出，论文提出的模型HiMatch在两个数据集上都取得最佳结果，在Micro指标上平均大约有0.5%的提升——这说明通过对label的表征学习还是有效的。

论文也展示两个由label表征引导的损失函数带来的学习变化：

5 Conclusion

   论文的核心思想就是：将文本和标签分别进行表征学习，然后根据两个表征向量来定义不同的优化目标来提升最终的层级多标签文本分类效果。且论文对标就是之前分享论文中的HiAGM模型。

本文参考：https://zhuanlan.zhihu.com/p/471723990