bert cnn知识抽取模型_结合Bert字向量和卷积神经网络的新闻文本分类方法

刘凯洋

摘要：目前的文本分类大多使用词向量，且词向量大多由Word2vec，Glove等方法训练得到，其存在的问题是部分文本中词语的数量较多而训练速度较慢，且准确率受到切词的影响。由于中文字词和英文差异较大，提出结合Bert字向量的文本分类方法。Bert是一个由Google提出的以Transformer为基础的自然语言处理通用模型，它提供了汉语字符级别的词向量即字向量。利用Bert字向量并使用卷积神经网络对新闻进行文本分类。在准确率较高的情况下，其效率高于结合词向量的文本分类方法。

关键词：Bert;CNN;文本分类;字向量;新闻

中图分类号：TP391 文献标识码：A

文章编号：1009-3044(2020)01-0187-02

文本分类是自然语言处理领域中较为重要，且实用性非常强的方向之一。在深度學习技术兴起之前，朴素贝叶斯是一种高效而不失准确率的文本分类方法，SVM也被应用于文本分类中并取得不错的结果。近几年随着深度学习技术的迅速发展，神经网络也被应用在了文本分类技术之中，如2016年提出的TEXTCNNTM正是把卷积神经网络(以下简称CNN)应用于文本分类中并取得了较好的效果，除此之外RNN，LSTM等网络也结合了文本分类领域。2018年Google提出了Bert模型，本文结合了Bert字向量和CNN来对新闻进行文本分类，流程更加简洁，效率更高，结果较好。

1文本分类流程

1.1