Bert实战--文本分类(一)_文本分类 bert

使用Bert预训练模型进行文本分类

bert做文本分类，简单来说就是将每句话的第一个位置加入了特殊分类嵌入[CLS]。而该[CLS]包含了整个句子的信息，它的最终隐藏状态（即，Transformer的输出）被用作分类任务的聚合序列表示。

下载bert预训练模型

Google提供了多种预训练好的bert模型，有针对不同语言的和不同模型大小的。我们的任务是针对临床试验筛选标准进行分类，是中文模型，所以我们下载的是Bert-Base, Chinese这个模型Bert模型下载链接。
该模型解压后的目录包含bert_config.json（模型的超参数），bert_model.ckpt.data-00000-of-00001，bert_model.ckpt.index，bert_model_ckpt.meta（保存预训练模型与权重的 ckpt 文件）和vocab.txt（词表）五个文件。

在自己的数据集微调过程

任务介绍

根据预先给定的44个类别和一系列中文临床试验筛选标准的描述句子，判断该中文临床医学描述句子属于的类别。

评价指标

本任务的评价指标包括宏观准确率（Macro Precision）、宏观召回率（Macro Recall）、Average F1值。最终排名以Average F1值为基准。假设我们有n个类别，C1, … …, Ci, … …, Cn。
宏观准确率Pi=正确预测为类别Ci的样本个数/预测为Ci类样本的个数
召回率Ri=正确预测为类别Ci的样本个数/真实的Ci类样本的个数
平均F1=(1/n)求和[（2Pi*Ri）/（Pi+Ri）]

前期数据分析

训练集数据22962条
验证机数据7682条
测试集数据7697条
统计每个句子的长度，看大部分的句子长度为多少，则将最长的句子设为多少
句子最长为341个字，最短为2个字

前期数据准备

1. 我的数据格式如下：
   要先对数据进行一定的处理，初略观察数据集，数据集中包含无用的标点符号、数字，去除这些部分，同时对文本进行分词去除掉停用词。最后得到 label+句子的格式，中间用’\t’分隔
   

将数据集中的后两列提取出来，同时把句子中的停用词去除，得到的结果写入到t