当前位置:   article > 正文

机器学习实战 第4章 基于概率论的学习方法:朴素贝叶斯(一)_如下图的训练数据,给定一个新实例,请基于朴素贝叶斯方法决策是否购买

如下图的训练数据,给定一个新实例,请基于朴素贝叶斯方法决策是否购买

1.朴素贝叶斯

首先从一个最简单的概率分类器开始,然后给出一些假设来学习朴素贝叶斯分类器。

称之为‘朴素’,是因为整个形式过程只做最原始、最简单的假设。

优点:在数据较少的情况下仍然有效,可以处理多类别的问题。

缺点:对于输入数据的准备方式较为敏感。

适用数据类型:标称型类型。

 

2.贝叶斯决策理论

假设现在我们有一个数据集,它由两类数据组成,数据分布如下图,

用p1(x,y)表示数据点(x,y)属于类别1的概率,用p2(x,y)表示数据点(x,y)属于类别2的概率。

对于一个新的数据点(x,y),可以用下面的规则来判断它的类别:

-->如果p1(x,y) > p2(x,y),那么类别为1;

-->如果p2(x,y) > p1(x,y),那么类别为2。

面对上述这样的问题,目前遇到了三种解决方法:k_近邻、决策树、概率:

(1)使用k_近邻,进行1000次距离计算(计算量很大)

(2)使用决策树,分别沿x轴、y轴划分数据(预测容易失败)

(3)使用贝叶斯决策函数,即概率(成功率较好,且计算量不大)

 

3.条件概率

(1)假设现在有一个装了7块石头的罐子,其中3块是灰色的(gray),4块是黑色的(black),

所以,P(gray) = 3/7          P(gray) = 4/7

(2)如果现在这7块石头如上图放在两个桶中,计算方式为:

P(gray | bucketB) = P(gray and bucketB) / P(bucketB) = (1/7) / (3/7) = 1/3

同时这个公式也成立:P(gray and bucketB) = P(gray | bucketB) * P(bucketB)  (这样更好理解)

贝叶斯准则:

P(c | x) = P(x | c) * P(c) / P(x)

这个公式可以这样理解:

P( c and x) = P(c | x) * P(x)

P( x and c) = P(x | c) * P(c)

因为P( c and x) = P( x and c),所以P(c | x) * P(x) = P(x | c) * P(c)  -->  P(c | x) = P(x | c) * P(c) / P(x)

 

4.使用条件概率来分类

前面提到贝叶斯决策理论要求计算两个概率P1(x, y)和P2(x, y)

如果:P1(x, y) > P2(x, y),那么属于类别c1;

如果:P2(x, y) > P1(x, y),那么属于类别c2;

也可以这样描述,

如果:P(c1 | x, y) > P(c2 | x, y),属于类别c1;

如果:P(c2 | x, y) > P(c1 | x, y),属于类别c2;

根据贝叶斯准则,计算P(ci | x, y):

P(ci | x, y) = P( x, y | ci) * P(ci) / P(x, y)

 

5.朴素贝叶斯

由统计学知,如果每个特征需要N个样本,那么对于10个特征将需要N**10个样本。但是,如果特征之间相互独立,那么样本数就可以从N**1000减少到1000*N。

所谓独立(independence)指的是统计意义上的独立,即一个特征或单词出现的可能性与它和其他单词相邻没有关系。当然,我们知道这种假设并不正确,bacon常常出现在decilious附近,而很少出现在unhealthy附近,这个假设正是朴素贝叶斯分类器中朴素(naive)一词的含义。

朴素贝叶斯的另一个假设是,每个特征同等重要。(即每个特征的权重一致)

朴素贝叶斯分类器通常有两种实现方式:一种基于贝努力模型实现,一种基于多项式模型实现。

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号