【证明】期望风险最小化等价于后验概率最大化_期望风险最小化后验概率最大化

作者：羊村懒王 | 2024-04-02 10:45:01

踩

期望风险最小化后验概率最大化

引言

在《统计学习方法》一书中，详细说明了期望风险最小化与后验概率最大化之间的关系，但是其中的公式推导过程有所省略，这篇文章作为补充说明。

证明

首先我们假设损失函数为0-1损失函数

{\begin{cases} 1 ， Y \neq f (X) \\ 0 ， Y = f (X) \end{cases}

$\begin{cases} 1，\quad Y \neq f(X) \\ 0， \quad Y=f(X) \end{cases}$

L oss = L (Y ， f (X)) = {1 ， Y \neq = f (X) 0 ， Y = f (X)

则期望风险为

\begin{aligned} R_{e x p} (f) = R_{e x p} (L (Y, f (X))) & = \int_{X \cdot Y} L (y, f (x)) P (y, x) d x d y \\ = \int_{X \cdot Y} L (y, f (x)) P (y | x) P (x) d x d y \\ = \int_{X} \int_{Y} L (y, f (x)) P (y | x) d y P (x) d x = \int_{X} (\int_{Y} L (y, f (x)) P (y | x) d y) P (x) d x \\ = E_{x} (\int_{Y} L (y, f (X)) P (y | X) d y) \end{aligned}

$\begin{aligned} R_{exp}(f)=R_{exp}(L(Y, f(X))) &=\int_{X \cdot Y} L(y,f(x))P(y,x)dxdy\\ & =\int_{X \cdot Y} L(y,f(x))P(y|x)P(x)dxdy \\ & =\int_{X} \int_{Y}L(y,f(x))P(y|x)dyP(x)dx = \int_{X} \Bigg(\int_{Y}L(y,f(x))P(y|x)dy\Bigg) P(x)dx \\ & = E_{x} \Bigg(\int_{Y}L(y,f(X))P(y|X)dy\Bigg) \end{aligned}$

R_{e x p} (f) = R_{e x p} (L (Y, f (X))) = \int_{X \cdot Y} L (y, f (x)) P (y, x) d x d y = \int_{X \cdot Y} L (y, f (x)) P (y ∣ x) P (x) d x d y = \int_{X} \int_{Y} L (y, f (x)) P (y ∣ x) d y P (x) d x = \int_{X} (\int_{Y} L (y, f (x)) P (y ∣ x) d y) P (x) d x = E_{x} (\int_{Y} L (y, f (X)) P (y ∣ X) d y)

在朴素贝叶斯估计中是数据是离散的，故

\begin{aligned} R_{e x p} (f) = E_{x} (\int_{Y} L (y, f (X)) P (y | X) d y) & = E_{x} (\sum_{k}^{K} L (c_{k}, f (X)) P (c_{k} | X)) \end{aligned}

$\begin{aligned} R_{exp}(f)=E_{x} \Bigg(\int_{Y}L(y,f(X))P(y|X)dy\Bigg) &=E_{x}\Bigg(\sum_{k}^{K}L(c_{k},f(X))P(c_{k}|X)\Bigg) \end{aligned}$

R_{e x p} (f) = E_{x} (\int_{Y} L (y, f (X)) P (y ∣ X) d y) = E_{x} (k \sum K L (c_{k}, f (X)) P (c_{k} ∣ X))

因此如果要使得期望风险最小化只需要对 $X = x$ 逐个极小化即可

\begin{aligned} F (x) & = \underset{y \in Y}{argmin} \sum_{k}^{K} L (c_{k}, y) P (c_{k} | X = x) ∵ y = f (X = x) \\ ∵ E q u a t i o n (1) w h e n y = c_{k} L (c_{k}, y) = 0 \\ = \underset{y \in Y}{argmin} \sum_{k}^{K} P (c_{k} \neq y | X = x) \\ ∵ E a c h X = x h a s o n l y o n e c_{k} = y = f (X = x) \\ = \underset{y \in Y}{argmin} (1 - P (c_{k} = y | X = x)) \\ = \underset{y \in Y}{argmax} P (c_{k} = y | X = x) \end{aligned}

$\begin{aligned} F(x) &= \underset{ y \in Y }{\operatorname{argmin}} \sum_{k}^{K}L(c_{k},y)P(c_{k}|X=x) \quad \because y=f(X=x) \\ & \because Equation(1) \quad when \quad y=c_{k} \quad L(c_{k},y) =0 \\ & = \underset{ y \in Y }{\operatorname{argmin}} \sum_{k}^{K}P(c_{k} \neq y|X=x) \\ & \because Each \quad X=x \quad has \quad only \quad one \quad c_{k}=y=f(X=x) \\ & = \underset{ y \in Y }{\operatorname{argmin}}(1 - P(c_{k} = y|X=x)) \\ & = \underset{ y \in Y }{\operatorname{argmax}}P(c_{k} = y|X=x) \\ \end{aligned}$

F (x) = y \in Y argmin k \sum K L (c_{k}, y) P (c_{k} ∣ X = x) ∵ y = f (X = x) ∵ Eq u a t i o n (1) w h e n y = c_{k} L (c_{k}, y) = 0 = y \in Y argmin k \sum K P (c_{k} \neq = y ∣ X = x) ∵ E a c h X = x ha s o n l y o n e c_{k} = y = f (X = x) = y \in Y argmin (1 - P (c_{k} = y ∣ X = x)) = y \in Y argmax P (c_{k} = y ∣ X = x)

结论

可证期望风险最小化等价于后验概率最大化

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/351893

【证明】期望风险最小化等价于后验概率最大化_期望风险最小化 后验概率最大化

目录

引言

证明

结论

【证明】期望风险最小化等价于后验概率最大化_期望风险最小化后验概率最大化