sklearn之朴素贝叶斯_sklearn 朴素贝叶斯

简介

贝叶斯公式是条件概率中最经典的公式，表示为

$$P(y|x_1,\cdots ,x_n)=\frac{P(y)P(x_1,\cdots ,x_n|y)}{P(x_1,\cdots ,x_n)}$$

$P(x|y)$表示在$y$已经发生的情况下$x$发生的概率。

这个公式非常适合分类，假定某物有$x_1,\cdots ,x_n$个特征，每个特征都有不同的表现，记作$x_n^j$。现有的$M$个样本，总共分为$Y$类，记某一类为$y_k$。

那么现在又来了一个新成员，这个新成员的特征是$x_1^{\ast },\cdots ,x_n^{\ast }$，如果每个特征之间是互不相关的，则

$$P(x_1^{\ast },\cdots ,x_n^{\ast })=P(x_1^{\ast })P(x_2^{\ast })\cdots P(x_n^{\ast })$$

且$P(x_i^{\ast })$就是样本中$x_i^{\ast }$出现的次数除以样本数。

相应地$P(x_1^{\ast },\cdots ,x_n^{\ast }|y_k)=P(x_1^{\ast }|y_k)\cdots P(x_n^{\ast }|y_k)$，其中$P(x_n^{\ast }|y_k)$表示在$y_k$类中，$x_n^{\ast }$这个特征所占的比例。

这样一来，对于这个新样本来说，其属于第$y_k$类的概率就是

$$P(y_k|x_1^{\ast },\cdots ,x_n^{\ast })=\frac{P(y_k)P(x_1^{\ast }|y_k)\cdots P(x_n^{\ast }|y_k)}{P(x_1^{\ast })\cdots P(x_n^{\ast })}$$

CategoricalNB

在sklearn中提供了naive_bayes模块，其中的CategoricalNB是基于现有数据集特征的朴素贝叶斯分类器，其构造函数为

CategoricalNB(alpha=1.0, fit_prior=True, class_prior=None, min_categories=None)
1

其个参数含义为

• alpha 为平滑参数，设为0时表示不平滑
• fit_prior 为True时，学习先验概率
• class_prior fit_prior为True时学习的先验概率
• min_categories 每个特征的最小分类数

测试

接下来验证一下这个类，简单起见，考虑到现在考研比较内卷，那么假设用三个指标评价是否录取，即本科是否为985；考研分数A(前10%)，B(10%-30%)，C(30%-60%)，D(后40%)四档；本科发文章A(Nature级别), B(SCI)，C(其他期刊)，D(无期刊)，假设有下面的一份以往录取表

将其写为代码的形式为

X = [
[1,3,3],[1,2,3],[1,3,2],[1,2,2],
[1,1,2],[1,1,1],[1,1,1],[1,0,1],
[1,0,0],[1,0,1],[1,0,0],[1,0,0],
[1,0,0],[0,3,2],[0,3,1],[0,3,1],
[0,3,0],[0,3,0],[0,3,0],[0,2,2],
[0,2,1],[0,2,1],[0,2,0],[0,2,0],
[0,2,0],[0,1,2],[0,1,2],[0,1,1],
[0,1,1],[0,1,0],[0,0,0],[0,0,0],
[0,0,0]]

y = [ 1,1,1,1,1,1,1,1,1,1,0,1,0,1,
1,1,1,1,0,1,1,0,0,0,0,1,0,0,0,0,0,0,0]

import numpy as np
rng = np.random.RandomState(1)
from sklearn.naive_bayes import CategoricalNB
clf = CategoricalNB()   # 创建朴素贝叶斯类
clf.fit(X, y)           # 载入数据
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

接下来，如果你是985的学生，同时考研成绩大概排在50%，但本科并没有发过什么文章，那么我猜你考研一定能被录取

>>> clf.predict([[1,1,0]])
array([1])
1
2