朴素贝叶斯和贝叶斯网络

1.数学知识背景
   (1)相对熵
    设$p(x),q(x)$是X中取值的两个概率分布，则p对q的相对熵是
$$D(p\Vert q)=\sum _{x}p(x)\log \frac{p(x)}{q(x)}=E_{p(x)}\log \frac{p(x)}{q(x)}$$
    相对熵可以度量两个随机变量的距离。
   (2)互信息
    两个随机变量的X，Y互信息可以定义为X，Y的联合分布和独立分布乘积的相对
    熵。
I ( X , Y ) = D ( P ( X , Y ) ∥ P ( X ) P ( Y ) ) I ( X , Y ) = ∑ x , y p ( x , y ) log ⁡ p ( x , y ) p ( x ) p ( y )

$$\begin{array}{c} \mathrm{I}(\mathrm{X}, \mathrm{Y})=\mathrm{D}(\mathrm{P}(\mathrm{X}, \mathrm{Y}) \| \mathrm{P}(\mathrm{X}) \mathrm{P}(\mathrm{Y})) \\ I(X, Y)=\sum_{x, y} p(x, y) \log \frac{p(x, y)}{p(x) p(y)} \end{array}$$ I(X,Y)=D(P(X,Y)∥P(X)P(Y))I(X,Y)=∑x,y​p(x,y)logp(x)p(y)p(x,y)​​
   (3)信息增益
    信息增益表示得知特征A的信息，而使得类X的信息不确定性减少的程度。定义：特征A对训练数据集D的信息增益为$\mathrm{g}(\mathrm{D},\mathrm{A})$，定义为集合D的经验熵$\mathrm{H}(\mathrm{D})$与特征A给定条件条件下D的经验条件熵$\mathrm{H}(\mathrm{D}|\mathrm{A})$之差，即：
$$\mathrm{g}(\mathrm{D},\mathrm{A})=\mathrm{H}(\mathrm{D})-\mathrm{H}(\mathrm{D}|\mathrm{A})$$
   (4)概率
    条件概率
$$P(A|B)=\frac{P(AB)}{P(B)}$$
    全概率公式
$$P(A)=\sum _{i}P\left(A|B_i\right)P\left(B_i\right)$$
    贝叶斯公式
$$P\left(B_i|A\right)=\frac{P\left(A|B_i\right)P\left(B_i\right)}{{\sum }_{j}P\left(A|B_j\right)P\left(B_j\right)}$$
    贝叶斯公式应用

   (5)贝叶斯公式带来的思考
    给定某些样本D，在这些样本中计算某结论$A_1、A_2\dots \dots A_n$出现的概率，即$\mathrm{P}\left({\mathrm{A}}_{\mathrm{i}}|\mathrm{D}\right)$，
$$\begin{array}{c}\max P\left(A_i|D\right)=\max \frac{P\left(D|A_i\right)P\left(A_i\right)}{P(D)}=\max \left(P\left(D|A_i\right)P\left(A_i\right)\right)\to \max P\left(D|A_i\right)\\ \Rightarrow \max P\left(A_i|D\right)\to \max P\left(D|A_i\right)\end{array}$$
2.朴素贝叶斯
   朴素贝叶斯是基于特征之间是独立的这一朴素假设，应用贝叶斯定理的监督学习算法。
   对于给定的特征向量$x_1,x_2,\cdots ,x_n$，类别y的概率可以由贝叶斯公式得到：
$$P\left(y|x_1,x_2,\cdots ,x_n\right)=\frac{P(y)P\left(x_1,x_2,\cdots ,x_n|y\right)}{P\left(x_1,x_2,\cdots ,x_n\right)}$$
   使用朴素的独立性假设：
$$P\left(x_i|y,x_1,\cdots ,x_{i-1},x_{i+1},\cdots ,x_n\right)=P\left(x_i|y\right)$$
   类别y的概率可以简化为
$$P\left(y|x_1,x_2,\cdots ,x_n\right)=\frac{P(y)P\left(x_1,x_2,\cdots ,x_n|y\right)}{P\left(x_1,x_2,\cdots ,x_n\right)}=\frac{P(y){\prod }_{i=1}^{n}P\left(x_i|y\right)}{P\left(x_1,x_2,\cdots ,x_n\right)}$$
   在给定样本的前提下，$P\left(x_1,x_2,\cdots ,x_n\right)$是常数，则
$$P\left(y|x_1,x_2,\cdots ,x_n\right)\propto P(y)\prod _{i=1}^{n}P\left(x_i|y\right)$$
   从而，
$$\hat{y}=\underset{y}{\mathrm{argmax}}P(y)\prod _{i=1}^{n}P\left(x_i|y\right)$$
   高斯朴素贝叶斯和多项分布朴素贝叶斯
    根据样本使用MAP估计$P(y)$，建立合理的模型估计$P\left(x_i|y\right)$，从而得到样本的类别。
$$\hat{y}=\underset{y}{\mathrm{argmax}}P(y)\prod _{i=1}^{n}P\left(x_i|y\right)$$
    （1）假设特征服从高斯分布，即：
$$P\left(x_i|y\right)=\frac{1}{\sqrt{2\pi }{\sigma }_y}\exp \left(-\frac{{\left(x_i-{\mu }_y\right)}^2}{2{\sigma }_y^2}\right)$$
       参数估计使用MLE估计即可。
    （2）假设特征服从多项式分布，从而，对于每个类别y，参数为${\theta }_y=\left({\theta }_{y1},{\theta }_{y2},\cdots ,{\theta }_{yn}\right)$，其中n为特征的数目，$P\left(x_i|y\right)$的概率为${\theta }_{yi}$。
       参数${\theta }_y$使用MLE估计的结果为：
$${\hat{\theta }}_{yi}=\frac{N_{yi}+\alpha }{N_y+\alpha \cdot n},\alpha \ge 0$$
       假定训练集为T，有$\{\begin{array}{l}{N}_{yi}={\sum }_{x\in T}{x}_i\\ N_y={\sum }_{i=1}^{|T|}{N}_{yi}\end{array}$，其中$\alpha =1$
    应用举例–垃圾邮件分类



朴素贝叶斯的思考

3.贝叶斯网络
   （1）概念
    把某个研究系统中涉及到的随机变量，根据是否条件独立绘制在一张图中，就形成了贝叶斯网络，又称为有向无欢图模型，是一种概率图模型，
根据概率图的拓扑结构，考察一组随机变量 { X 1 , X 2 … X n } \left\{\mathrm{X}_{1}, \mathrm{X}_{2} \dots \mathrm{X}_{\mathrm{n}}\right\} {X1​,X2​…Xn​}及其n组条件概率分布的性质。
    贝叶斯网络中的有向无环图的节点代表随机变量，他们可以是可观察到的变量或者隐变量，未知参数等。连接两个节点的箭头代表此随机变量具有因果关系（或非条件独立），若两个节点以一个单箭头连接，表示其中一个节点是因，一个节点是果，两节点就会产生一个条件概率值。
   （2）一个简单的贝叶斯网络
$$p(a,b,c)=p(c|a,b)p(b|a)p(a)$$

   （3）全连接的贝叶斯网络
     每一对节点都有边连接
$$\begin{array}{rl}& p\left(x_1,\dots ,x_K\right)=p\left(x_K|x_1,\dots ,x_{K-1}\right)\dots p\left(x_2|x_1\right)p\left(x_1\right)\\ & \mathrm{P}\left(X_1=x_1,\dots ,X_n=x_n\right)=\prod _{i=1}^n\mathrm{P}\left(X_i=x_i|X_{i+1}=x_{i+1},\dots ,X_n=x_n\right)\end{array}$$
   （4）朴素贝叶斯
$$P\left(x_1,x_2,x_3,x_4|y\right)=P\left(x_1|y\right)\ast P\left(x_2|y\right)\ast P\left(x_3|y\right)\ast P\left(x_4|y\right)$$

   （5）普通的贝叶斯网络
     有些边缺失，$x_1$,$x_2$独立，$x_6$和$x_7$在给定条件$x_4$上独立。$$p\left(x_1\right)p\left(x_2\right)p\left(x_3\right)p\left(x_4|x_1,x_2,x_3\right)p\left(x_5|x_1,x_3\right)p\left(x_6|x_4\right)p\left(x_7|x_4,x_5\right)$$

   （6）一个实际的贝叶斯网络分析

   （7）贝叶斯网络判定条件独立
     （i）给定条件下，tail-to-tail独立

       根据图模型，得到：$\mathrm{P}(\mathrm{a},\mathrm{b},\mathrm{c})=\mathrm{P}(\mathrm{c}{)}^{\ast }\mathrm{P}(\mathrm{a}|\mathrm{c}{)}^{\ast }\mathrm{P}(\mathrm{b}|\mathrm{c})$
       从而，$\mathrm{P}(\mathrm{a},\mathrm{b},\mathrm{c})/\mathrm{P}(\mathrm{c})=\mathrm{P}(\mathrm{a}|\mathrm{c}{)}^{\ast }\mathrm{P}(\mathrm{b}|\mathrm{c})$
       由于$\mathrm{P}(\mathrm{a},\mathrm{b}|\mathrm{c})=\mathrm{P}(\mathrm{a},\mathrm{b},\mathrm{c})/\mathrm{P}(\mathrm{c})$，所以有$$\mathrm{P}(\mathrm{a},\mathrm{b}|\mathrm{c})=\mathrm{P}(\mathrm{a}|\mathrm{c}{)}^{\ast }\mathrm{P}(\mathrm{b}|\mathrm{c})$$
       即在c给定的条件下，a和b是阻断独立的。
     （ii）给定条件下，head-to-tail 独立

$$\mathrm{P}(\mathrm{a},\mathrm{b},\mathrm{c})=\mathrm{P}(\mathrm{a}{)}^{\ast }\mathrm{P}(\mathrm{c}|\mathrm{a}{)}^{\ast }\mathrm{P}(\mathrm{b}|\mathrm{c})$$
$$\begin{array}{rl}& \mathrm{P}(\mathrm{a},\mathrm{b}|\mathrm{c})\\ =& \mathrm{P}(\mathrm{a},\mathrm{b},\mathrm{c})/\mathrm{P}(\mathrm{c})\\ =& \mathrm{P}(\mathrm{a})\ast \mathrm{P}(\mathrm{c}|\mathrm{a})\ast \mathrm{P}(\mathrm{b}|\mathrm{c})/\mathrm{P}(\mathrm{c})\\ =& \mathrm{P}(\mathrm{a},\mathrm{c})\ast \mathrm{P}(\mathrm{b}|\mathrm{c})/\mathrm{P}(\mathrm{c})\\ =& \mathrm{P}(\mathrm{a}|\mathrm{c})\ast \mathrm{P}(\mathrm{b}|\mathrm{c})\end{array}$$
       即在c给定的条件下，a和b是阻断独立的。
     （iii）定条件下，head-to-tail 独立

$$\begin{array}{rl}& \mathrm{P}(\mathrm{a},\mathrm{b},\mathrm{c})=\mathrm{P}(\mathrm{a})\ast \mathrm{P}(\mathrm{b})\ast \mathrm{P}(\mathrm{c}|\mathrm{a},\mathrm{b})\\ & \sum _c\mathrm{P}(\mathrm{a},\mathrm{b},\mathrm{c})=\sum _{\mathrm{c}}\mathrm{P}(\mathrm{a})\ast \mathrm{P}(\mathrm{b})\ast \mathrm{P}(\mathrm{c}|\mathrm{a},\mathrm{b})\\ & \Rightarrow P(a,b)=\mathrm{P}(\mathrm{a})\ast \mathrm{P}(\mathrm{b})\end{array}$$
       即在c未知条件下，a和b是阻断独立的。