第四章朴素贝叶斯法.4.3 期望风险最小化_朴素贝叶斯 期望风险最小化等价于后验概率最大化

本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。
公式输入请参考： 在线Latex公式

后验概率最大化

后验概率最大化等价于期望风险最小化
已知条件：
假设朴素贝叶斯使用0-1损失函数，可以写为：
L ( Y , f ( x ) ) = { 1 ,  if  Y ≠ f ( x ) 0 ,  if  Y = f ( ) x L(Y,f(x))=

$$\begin{cases} &1, \text{ if } Y\ne f(x) \\ &0, \text{ if } Y=f()x \end{cases}$$ L(Y,f(x))={​1, if Y​=f(x)0, if Y=f()x​
此时期望风险为：
$$E_{exp}(f)=E[L(Y,f(x))]$$
由于这里是分类和样本是离散的，所以上面的期望风险可以写成：
$$\begin{gathered} \sum _X\sum _{Y}L(Y,f(x))p(x,y) \\ =\sum _X\sum _{Y}L(Y,f(x))p(y|x)p(x) \\ =\sum _X\left[\sum _{Y}L(Y,f(x))p(y|x)\right]p(x) \end{gathered}$$
可以看到中括号外面是针对所有样本进行求和，因此如果针对期望风险最小化，等价于对中括号里面的东西求最小化：
$$\min \sum _{Y}L(Y,f(x))p(y|x)$$
如果Y代表K个分类$C_k$，上式中${\sum }_Y$是针对所有K个类别进行求和，所以可以写为：
$$\sum _{k=1}^K[L(C_k,f(x))]P(C_k|X=x)$$
也就变成要使得上式最小。

推导

从上面的简单推导得到要证明的东西：
$$f(x)=\underset{y\in Y}{\mathrm{argmin}}\sum _{k=1}^K[L(C_k,y)]P(C_k|X=x)$$
可以看到$L(C_k,y)$中前者是标签，后者是预测值，如果$C_k=y$，则$L(C_k,y)=0$，因此在累加求和中不用算，只用计算$C_k\ne y$的情况，因此上式写为：
$$f(x)=\underset{y\in Y}{\mathrm{argmin}}\sum _{k=1}^{K}P(C_k\ne y|X=x)$$
求和所有$C_k\ne y$的概率，等价于$1-P(C_k=y|X=x)$的概率，这里理解为预测值x只会属于某一个类别，因此，1减去属于某个类别的概率等价于预测值不属于其他所有类别的概率。因此上式可以写为：
$$f(x)=\underset{y\in Y}{\mathrm{argmin}}\left(1-P(C_k=y|X=x)\right)$$
然后转换为最大化问题：
$$f(x)=\underset{y\in Y}{\mathrm{argmax}}P(C_k=y|X=x)$$
由此可得，期望风险最小化准则变成了后验概率最大化准则。也就是朴素贝叶斯所采用的定理。