使用BERT模型进行多标签分类_bert 多标签分类

1、改造BERT模型

首先，多标签分类就是将单输出改为多输出，最原始的想法是训练多个分类模型，每个模型预测不同的输出，比如，在预测顾客对饭店的评价中，第一个模型预测口感如何，第二模型预测交通是否方便，尽管会浪费时间、存储和计算资源，问题好像也解决了。但是，看了一些其他多标签的任务后发现还有问题，比如：碰到第二个标签是依赖第一个标签的情况就不好说了，比如第一个标签预测饭店很好，第二个标签预测为不推荐，就自相矛盾了。还有，针对具体业务，每种标签的类别不尽相同，两个模型对的预测会有多种排列组合，造成模型的正确率下降。所以还是把模型改造成多标签输出的模式。
原始模型输出label是多类别的，只要把每个类别和索引一一对应，就可以输入模型完成训练和预测过程，要改成多标签输出首先要解决每个样本标签的表示问题，这里我借鉴独热编码的想法把标签编码成一维向量。比如：口感问题分为“好吃，不好吃”，交通问题分为“便利，不便利”，总共有四种排列组合，所以“好吃-便利”可以编码为[1, 0, 0, 0]，但是后来发现只要穷举癌症和分期的排列组合，这其实还是单标签多类别分类，这也不失为一个解决多标签问题的方法（作为备选方案）。
最后用改进后的独热编码来表示多标签类别，具体的：第一个标签有m种类别，第二个标签有n种类别，则用m+n维向量表示（独热编码使用m*n维向量），前m维表示第一个标签的类别，后n维表示第二个标签的类别，比如“好吃_不便利”就可以表示为[1, 0, 0, 1]。
接着，就是改进模型计算每次训练的损失函数了。
（1）训练过程
将原始的tf.nn.softmax()函数改成tf.nn.sigmoid()，其中后者处理每个类是独立的而不是互斥的，可以进行多标签分类（也不是太懂，按教程这么做的，确实也实现了多标签分类，以后清楚了再补上）。相应的损失函数也要改变，将-tf.reduce_sum(one_hot_labels ** log_probs, axis=-1)改为tf.nn.sigmoid_cross_entropy_with_logits(labels=labels, logits=logits)，在create_model()函数中。
（2）验证过程
评估每个标签的准确率，在metric_fn()函数中。