层次化文本分类Hierarchical Multi-Label Classification Networks_层次分类

常见的文本分类任务中类目之间通常是正交的，即不存在包含关系。而层次分类则是一类特殊的文本分类任务，即类目之间存在层次结构关系，一般可以表示为树形或者无向图。在这类任务中，一条样本的标签会同时包括层次结构中的父类和子类目。更复杂的情况下，一条样本会同时包含层次结构中多条路径，这类任务则称为层次多标签任务（HMC，Hierarchical Multi-Classification）, 也是本文主要讲述的内容。

层次多标签分类的常用的方法主要分为两类，Local（局部方法）和global（全部方法），区别在于从不同的角度利用层次结构信息。

(1) Local方法通过学习不同层类目和文本之间的关系，并聚合不同层的预测结果来得到最终的预测结果。这类方法通常由多个分类模块组成，例如自顶向下的层次分类，在每个非叶子节点都有一个局部分类器，在预测时根据父类目的预测结果来预测最终的子类目；基于Local的方法能够利用更细粒度的层级信息，但往往需要构建多个分类模块，同时也容易受到误差传播的影响。

(2) Global方法通常由一个分类模块构成，直接利用层级结构信息来建模。例如利用层次结构来构造递归正则化损失项来对分类参数进行约束。基于Global方法更简单，但往往无法在学习文本语义表示中利用到细粒度的层级信息，导致模型学习效果交叉，容易欠拟合。

通过对Local和Global方法进行扬长避短，文章提出了一种混合Local和Global方法的思路来解决层次多标签分类问题，相应的模型结构称为HMCN，包括两个变种子结构HMCN-F和HMCN-R，两种子网络结构由多个局部输出层（对应层次结构每一层）和一个全局的输出层组成。每一个局部输出层对应的损失函数能够迫使相应包含相应粒度的监督信息的梯度传递到对应层，同时全局的输出层的损失函数能够按照层次结构更新全局的模型参数，此外，文章还引入了一个基于层次结构惩罚项来约束模型预测。