NLTK自然语言处理简介_基于自然语言工具包nltk的文本挖掘实验

conda install nltk

或使用pip，通过在Jupyter Notebook单元中运行此命令：

!pip install --upgrade nltk

如果以下Python代码正确运行，则安装成功：

import nltk

NLTK附带了许多您可以下载的数据（语料库、语法、模型等）。只需运行以下Python命令即可显示一个交互式下载窗口：

ntlk.download()

对于此模块，您需要安装“停用词”语料库。下载后，创建一个名为NLTK_DATA的环境变量，该变量包含下载目录的路径（如果您进行集中安装，则不需要此变量；有关安装数据的完整指南，请参考文档）。

import nltk
import nltk.sentiment.util
from nltk.corpus import stopwords
 
import nltk.sentiment.util
stop = set(stopwords.words("english"))
def extract_words_from_text(text):
    tokens = nltk.word_tokenize(text)
    tokens_neg_marked = nltk.sentiment.util.mark_negation(tokens)
    return [t for t in tokens_neg_marked
             if t.replace("_NEG", "").isalnum() and
             t.replace("_NEG", "") not in stop]

word_tokenize 将文本拆分为标记列表（仍保留标点符号）。

import os
 
positive_files = os.listdir("aclImdb/train/pos")
negative_files = os.listdir("aclImdb/train/neg")
 
positive_words = []
negative_words = []
 
positive_reviews = []
negative_reviews = []
 
for pos_file in positive_files:
    with open("aclImdb/train/pos/" + pos_file, "r") as f:
        txt = f.read().replace("<br />", " ")
        positive_reviews.append(txt)
        positive_words.extend(extract_words_from_text(txt))
for neg_file in negative_files:
    with open("aclImdb/train/neg/" + neg_file, "r") as f:
        txt = f.read().replace("<br />", " ")
        negative_reviews.append(txt)
        negative_words.extend(extract_words_from_text(txt))

因为有很多文件，所以运行此代码可能要花一些时间。

N = 2000
 
freq_pos = nltk.FreqDist(positive_words)
top_word_counts_pos = sorted(freq_pos.items(), key=lambda kv: kv[1], reverse=True)[:N]
top_words_pos = [twc[0] for twc in top_word_counts_pos]
 
freq_neg = nltk.FreqDist(negative_words)
top_word_counts_neg = sorted(freq_neg.items(), key=lambda kv: kv[1], reverse=True)[:N]
top_words_neg = [twc[0] for twc in top_word_counts_neg]
 
top_words = list(set(top_words_pos + top_words_neg))

现在我们可以编写一个特征提取器。如前所述，它应返回一个字典，其中每个高位单词均作为键，True或者False作为值，取决于单词是否在文本中出现。

def extract_features(text):
    text_words = extract_words_from_text(text)
    return { w: w in text_words for w in top_words }

然后，我们创建一个训练集，并将其输入到朴素贝叶斯分类器中。训练集应该是一个元组列表，其中每个元组的第一个元素是功能集，第二个元素是标签。

training = [(extract_features(review), "pos") for review in positive_reviews] + [(extract_features(review), "neg") for review in negative_reviews]

上面的行消耗大量RAM，并且速度很慢，因此您可能需要使用一部分评论，而只需要查看一部分评论列表。

classifier = nltk.NaiveBayesClassifier.train(training)

要立即对评论进行分类，请在新功能集上使用classify方法：

print(classifier.classify(extract_features("Your review goes here.")))

如果要查看每个标签的概率，请改用prob_classify：

def get_prob_dist(text):
    prob_dist = classifier.prob_classify(extract_features(text))
    return { "pos": prob_dist.prob("pos"), "neg": prob_dist.prob("neg") }
 
print(get_prob_dist("Your review goes here."))

分类器具有基于测试集确定模型准确性的内置方法。该测试集的形状与训练集相同。电影评论数据集具有一个单独的目录，其中包含可用于此目的的评论。

test_positive = os.listdir("aclImdb/test/pos")[:2500]
test_negative = os.listdir("aclImdb/test/neg")[:2500]
 
test = []
 
for pos_file in test_positive:
    with open("aclImdb/test/pos/" + pos_file, "r") as f:
        txt = f.read().replace("<br />", " ")
        test.append((extract_features(txt), "pos"))
for neg_file in test_negative:
    with open("aclImdb/test/neg/" + neg_file, "r") as f:
        txt = f.read().replace("<br />", " ")
        test.append((extract_features(txt), "neg"))
 
print(nltk.classify.accuracy(classifier, test))

使用N = 2000，在训练集中有5000条正面评论和5000条负面评论，使用此代码，我的准确率约为85％。