Python 基于贝叶斯定理实现朴素贝叶斯文本分类器_python 文本分类朴素贝叶斯模型

Python 基于贝叶斯定理实现朴素贝叶斯文本分类器

贝叶斯定理可以解释为：在已知事件 ( B ) 发生的情况下，通过事件 ( A ) 和 ( B ) 之间的关系来计算事件 ( A ) 发生的概率。即

[ P(A|B)=\frac{P(B|A) \cdot P(A)}{P(B)} ]

其中：

• ( P(A|B) )：表示在事件 ( B ) 发生的条件下事件 ( A ) 发生的概率，即 ( A ) 在 ( B ) 条件下的后验概率。
• ( P(B|A) )：表示在事件 ( A ) 发生的条件下事件 ( B ) 发生的概率，即 ( A ) 在 ( B ) 条件下的先验概率。
• ( P(A) )：表示事件 ( A ) 发生的概率，即 ( A ) 的先验概率。
• ( P(B) )：表示事件 ( B ) 发生的概率，即 ( B ) 的先验概率。

这个公式对于分类问题中的特征与类别之间的关系推断非常有用，例如在朴素贝叶斯分类器中用于计算给定特征情况下某一类别出现的概率。要使用 Python 实现一个简单的朴素贝叶斯分类器，主要思路为：

1. 训练集准备：将数据集划分为训练集和测试集，以便在训练过程中评估模型的性能。
2. 特征提取：朴素贝叶斯分类器假设特征之间相互独立，因此需要将文本表示成独立的特征。
3. 训练模型：计算类别的先验概率和每个特征在每个类别中的条件概率，以及每个类别的似然概率。
4. 预测：计算文档属于每个类别的概率，然后选择概率最大的类别作为预测结果。

示例代码如下：

import re
from collections import defaultdict


class NaiveBayesClassifier:
    def __init__(self):
        self.class_probabilities = defaultdict(float)
        self.feature_probabilities = defaultdict(lambda: defaultdict(float))

    def tokenize_text(self, text):
        # 分词函数
        words = re.findall(r'\b\w+\b', text.lower())
        return set(words)

    def train(self, documents, labels):
        # 训练朴素贝叶斯分类器
        total_documents = len(documents)
        unique_labels = set(labels)

        # 计算类别的先验概率
        for label in unique_labels:
            label_count = labels.count(label)
            self.class_probabilities[label] = label_count / total_documents

        # 计算特征的条件概率
        for i in range(total_documents):
            document = documents[i]
            label = labels[i]

            tokens = self.tokenize_text(document)
            for token in tokens:
                self.feature_probabilities[label][token] += 1

        # 归一化特征概率
        for label in unique_labels:
            total_tokens = sum(self.feature_probabilities[label].values())
        for token in self.feature_probabilities[label]:
            self.feature_probabilities[label][token] /= total_tokens

    def predict(self, document):
        tokens = self.tokenize_text(document)
        # 计算类别的似然概率
        scores = defaultdict(float)
        for label in self.class_probabilities:
            scores[label] = sum([self.feature_probabilities[label].get(token, 0) for token in tokens])
            scores[label] += self.class_probabilities[label]

        # 返回概率最大的类别
        return max(scores, key=scores.get)


# 示例用法
documents = [
    "这是一个正面的例子",
    "这是一个负面的例子",
    "这是另一个正面的例子",
    "这是另一个负面的例子",
]

labels = ["正面", "负面", "正面", "负面"]

classifier = NaiveBayesClassifier()
classifier.train(documents, labels)

new_document = "这是一个测试文档，希望分类器能够正确预测"
predicted_label = classifier.predict(new_document)

print(f"预测的类别为：{predicted_label}")

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
'
运行
运行

上述代码实现了一个简单的朴素贝叶斯文本分类器，其中tokenize_text函数用于分词，train方法训练模型并计算类别和特征概率，而predict方法利用训练好的模型对新文档进行分类预测。

请注意：

• 这只是一个简单的示例，实际应用中可能需要更复杂的文本处理和特征提取方法。
• 由于朴素贝叶斯分类器基于概率，它在小规模数据集上可能效果不错，但在大规模数据集上可能需要更复杂的模型。