基于词级ngram的词袋模型对twitter数据进行情感分析

按照阿光的项目做出了学习笔记，pytorch深度学习实战项目100例

基于词级ngram的词袋模型对twitter数据进行情感分析

什么是 N 符？

N 格是指给定文本或语音样本中 n 个项目的连续序列。这些项目可以是音素、音节、字母、单词或碱基对，具体取决于应用。N-grams 广泛应用于计算语言学和文本分析中的各种任务，如文本预测、拼写校正、语言建模和文本分类。它们为文本挖掘和自然语言处理（NLP）提供了一种简单而有效的方法。

###了解 N 符

n-gram 的概念很简单：它是由 ‘n’ 个连续项组成的序列。下面是一个细分：

• Unigram (n=1)： 单个项目或单词。
• Bigram (n=2)： 一对连续的项目或单词。
• Trigram（n=3）： 连续的三联项或词。
  

示例

考虑一下这个句子： “敏捷的棕狐狸跳过懒惰的狗"。

• Unigram： “The“、”quick“、”brown“、”fox“、”jumps“、”over“、”the“、”l lazy“、”dog”
• Bigram： “快“、”棕色快“、”棕色狐狸“、”狐狸跳“、”跳过“、”过“、”懒“、”懒狗”
• Trigram： “棕色的快“、”棕色的狐狸快“、”棕色的狐狸跳“、”狐狸跳过“、”跳过“、”跳过懒惰“、”懒惰的狗”

上下文和用途

• Unigram： 除单个词条外，这些词条不包含任何上下文。
• Bigrams： 通过将连续的项目配对，提供最基本的语境。
• Trigrams： 这些词组开始形成更加连贯和与上下文相关的短语。

随着’n’的增加，n-grams 可以捕捉到更多的上下文，但由于计算费用的增加和数据的稀疏性，其收益也会逐渐减少。

###实际应用

N-gram 在各种 NLP 任务中至关重要：

1. 文本预测： 预测序列中的下一个词。
2. 拼写纠正： 根据上下文识别并纠正拼写错误的单词。
3. 语言建模：创建理解和生成人类语言的模型。4.文本分类： 根据内容将文本归入预定义的类别。

通过理解和利用 n-gram，可以提高 NLP 模型在这些任务中的性能和准确性。

Twitter 情感分析数据集包含 1,578,627 条分类推文，每一行的正面情感标记为 1，负面情感标记为 0。我建议使用语料库的 1/10 来测试你的算法，而其余的可以用来训练你用来进行情感分类的任何算法。我试着用一个非常简单的 Naive Bayesian 分类算法来使用这个数据集，结果是 75% 的准确率，考虑到长期的猜测工作方法会达到 50% 的准确率，一个简单的方法可以给你带来比猜测工作高 50% 的性能，这并不是很好，但考虑到一般情况下（尤其是在涉及到社交传播情感分类时），人类进行的 10% 的情感分类是有争议的，任何分析文本整体情感的算法所希望达到的最高相对准确率是 90%，这并不是一个坏的起点。

http://thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/

x_train, x_test, y_train, y_test = train_test_split(data['SentimentText'], 
                                                    data['Sentiment'], 
                                                    test_size=0.1,
                                                    random_state=2022)

print(x_train.shape, x_test.shape, y_train.shape, y_test.shape)
#(682294,)             (75811,)     (682294,)      (75811,)
1
2
3
4
5
6
7

import pandas as pd
import csv
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

try:
    data = pd.read_csv('/content/drive/MyDrive/Niek/Sentiment Analysis Dataset.csv', quoting=csv.QUOTE_NONE, on_bad_lines='skip', encoding='utf-8')
except pd.errors.ParserError as e:
    print(f"Error parsing CSV: {e}")

data
1
2
3
4
5
6
7
8
9
10
11
12
13
14

TF-IDF 是 Term Frequency Inverse Document Frequency 的缩写。这是一种非常常见的算法，用于将文本转化为有意义的数字表示，并将其用于机器算法的预测。在深入解释之前，让我们先举例说明并探索两种不同的辣味稀疏矩阵。这可以让你对我下面要解释的内容有一个整体的了解。简单的基本示例数据 ：

# 初始化TF-IDF向量化器
vectorizer_word = TfidfVectorizer(max_features=40000,  # 最多使用40000个特征词
                                  min_df=5,  # 至少在5个文档中出现的词才会被考虑
                                  max_df=0.5,  # 在50%以上的文档中出现的词会被忽略
                                  analyzer='word',  # 词级别的分析
                                  stop_words='english',  # 去除英语停用词
                                  ngram_range=(1, 2))  # 考虑1-2元组

# 使用训练数据拟合向量化器
vectorizer_word.fit(x_train.astype("U").str.lower())

# 将训练集和测试集文本转化为TF-IDF矩阵
tfidf_matrix_word_train = vectorizer_word.transform(x_train.astype("U").str.lower())
print("TF-IDF Matrix for Training Data (Dense Format):\n")
print(tfidf_matrix_word_train)
tfidf_matrix_word_test = vectorizer_word.transform(x_test.astype("U").str.lower())
print("TF-IDF Matrix for Test Data (Dense Format):\n")
print(tfidf_matrix_word_test)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

该代码段首先初始化并训练一个逻辑回归模型，然后使用训练好的模型对训练集和测试集进行预测，最后计算并打印模型在训练集和测试集上的准确性。

# 初始化并训练逻辑回归模型
model = LogisticRegression(solver='sag')
model.fit(tfidf_matrix_word_train, y_train)

# 预测训练集和测试集的结果
y_pred_train = model.predict(tfidf_matrix_word_train)
y_pred_test = model.predict(tfidf_matrix_word_test)

# 打印训练集和测试集的准确性
print(accuracy_score(y_train, y_pred_train))
#0.8014386845292767
print(accuracy_score(y_test, y_pred_test))
#0.7856396908790025
1
2
3
4
5
6
7
8
9
10
11
12
13

代码资源