NLP实战——TextCNN实现新闻文本分类_nlp新闻分类实战

本文介绍一个NLP中的常用模型——TextCNN。数据集来自天池新闻文本分类比赛数据，这里的文本已经经过匿名处理，可以到天池比赛地址下载数据集和查看模型在测试集上最终表现。

import tensorflow as tf
import pandas as pd
import matplotlib.pyplot as plt
from tensorflow.keras import layers
from sklearn.model_selection import train_test_split
from collections import Counter 
from gensim.models import Word2Vec
import numpy as np
from sklearn import preprocessing
from sklearn.metrics import precision_score, accuracy_score,recall_score, f1_score,roc_auc_score, precision_recall_fscore_support, roc_curve, classification_report
1
2
3
4
5
6
7
8
9
10

train_data=pd.read_csv("train_set.csv",sep='\t')
test_data=pd.read_csv("test_a.csv",sep='\t')
1
2

x=train_data['text']
y=train_data['label']
y=y.values.reshape(y.shape[0],1)
1
2
3

One-Hot编码

#y=pd.get_dummies(y)
1

enc = preprocessing.OneHotEncoder(categories='auto')
enc.fit(y)
y=enc.transform(y).toarray()
enc.categories_
1
2
3
4

[array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13])]
1

分词

因为是匿名处理过的数据，所以这里的分词做的很简单，直接按空格进行拆分。

x=x.apply(lambda a:a.split())
1

训练word2vec词嵌入模型

w2v = Word2Vec(sentences=x,size=300,window=5,min_count=5,sample=1e-3,sg=1)
#window 句子中当前单词与预测词之间的最大距离。
#size 词向量的维数
#min_count 忽略总频率低于此的所有单词。
#sg 训练算法：1为skip-gram，否则为CBOW.
#hs 如果是1，则使用层次化的Softmax进行模型训练。如果为0或负数，则采用负采样.
#cbow_mean 如果为0，则使用上下文单词向量的和。如果是1，使用平均数，只有在使用CBOW时才适用。
#alpha 初始学习率。
#sample 配置高频词随机下采样的阈值，有效范围是(0, 1e-5)。
1
2
3
4
5
6
7
8
9

w2v.save("bag") #训练完成后保持模型到本地，一次训练多次使用；
1

# w2v = Word2Vec.load("bag") 第一次训练完成后，后续只需使用加载本地模型即可
def average(text,size=300):
    if len(text) < 1:
        return np.zeros(size)
    a = [w2v.wv[w] if w in w2v.wv else np.zeros(size) for w in text]
    length = len(a)
    summ
1
2
3
4
5
6