两个例题带你搞懂极大似然估计-猛男技术控_极大似然估计例题

极大似然估计

比如箱子里有100个球共两种颜色，其中一种颜色有95个，现在摸出一个球是黑色，那么是黑球95个还是白球95个呢？

具体哪个多当然是不能肯定的，但我们可以知道，大概率是黑球多。

极大似然说人话就是最大概率看起来是这个样子。

---

极大似然估计的目的是利用已知样本，反推最有可能导致出现这样结果的参数值是多少。

极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

数学解释：

设总体的概率密度函数 (或分布律) 为 $f\left(y,w_1,w_2,\dots ,w_k\right),y_1,y_2,\dots ,y_m$ 为从该总体中抽出的样本。

因为 $y_1,y_2,\dots ,y_m$ 相互独立且同分布，于是，它们的联合概率密度函数 (或联合概率) 为
$$L\left(y_1,y_2,\dots ,y_m;w_1,w_2,\dots ,w_k\right)=\prod _{i=1}^{m}f\left(y_i,w_1,w_2,\dots ,w_k\right)$$
其中, $w_1,w_2,\dots ,w_k$ 被看作固定但是末知的参数。

令 $D_c$表示训练集 $D$ 中第 $c$ 类样本组成的集合，假设这些样本是独立同分布的，则参数${\mathbf{\theta }}_c$对于数据集$D_c$的似然（条件概率）是
$$P\left(D_c\mid {\mathbf{\theta }}_c\right)=\prod _{\mathbf{x}\in D_c}P\left(\mathbf{x}\mid {\mathbf{\theta }}_c\right)\text{\hspace{1em}(7.9)}$$
当我们已经观测到一组样本观测值时，要去估计末知参数，一种直观的想法就是，哪一组参数值使得现在的样本观测值出现的概率最大, 哪一组参数可能就是真正的参数，我们就用它作为参数的估计值, 这就是所谓的极大似然估计。

对 ${\mathbf{\theta }}_c$ 进行极大似然估计，就是去寻找能最大化似然 $P\left(D_c\mid {\mathbf{\theta }}_c\right)$ 的参数值 ${\hat{\mathbf{\theta }}}_c$

---

例 1: 假定一个盒子里有白球、黑球共三个，但不知白球和黑球分别有几个。如果有放回的从盒子里抽取三个球, 发现第一个、第三个球是黑色的, 第二个球是白色的。
问：如何估计盒中黑球所占比例$\beta$ ?

参数空间: $\Theta =\left\{0,\frac{1}{3},\frac{2}{3},1\right\}$ （$\beta$可能的取值）

样本: 从盒子中有放回的取球，第 $i$ 次取出的结果记为
X i = { 1 ,  Black  0 ,  White  ( i = 1 , 2 , 3 ) X_{i}=\left\{

$$\begin{array}{l} 1, \text { Black } \\ 0, \text { White } \end{array}$$ \quad(i=1,2,3)\right. Xi​={1, Black 0, White ​(i=1,2,3)
概率函数: $x$只能取0或1，能概率只能是黑球的概率$\beta$和白球的概率$1-\beta$
$$f(x)={\beta }^x(1-\beta {)}^{1-x}$$
联合概率函数: $\left(X_1,X_2,X_3\right)$ 的联合概率函数为
$$L\left(x_1,x_2,x_3;\beta \right)={\beta }^{x_1+x_2+x_3}(1-\beta {)}^{3-\left(x_1+x_2+x_3\right)}$$
似然函数: $\left(X_1,X_2,X3\right)$ 对应的结果为“第一个、第三个球是黑色 的, 第二个球是白色的”， 即 $x_1=x_3=1,x_2=0$
$$L(\beta )={\beta }^2(1-\beta )$$

参数求解：在参数空间中寻找使观测值出现的概率最大的那个参数

极大似然估计:
$$\hat{\beta }=\frac{2}{3}$$

---

但是很多时候我们的参数空间可能很多甚至无限，这时就不能用上面这种方法了。

于是可爱的数学家就推导出了直接通过似然函数求解的方法。

当似然函数$L(\theta )$可微时, 可通过使方程组偏导为0，从而求得极大值点。
$$\frac{\partial L(\theta )}{\partial {\theta }_1}=0,\frac{\partial L(\theta )}{\partial {\theta }_2}=0,\cdots ,\frac{\partial L(\theta )}{\partial {\theta }_m}=0$$

• 当$L(\theta )$不存在偏导数时, 需要直接研究$L(\theta )$ , 寻找最大值点。

为了方便计算，可以通过对数似然函数 $\ln L(\theta )$ 求解 $\hat{\theta }$ 也是 $\ln L(\theta )$ 的最大值点
L L ( θ c ) = ln ⁡ P ( D c ∣ θ c ) = ∑ x ∈ D c ln ⁡ P ( x ∣ θ c ) ,

$$\begin{aligned} L L\left(\boldsymbol{\theta}_{c}\right) &=\ln P\left(D_{c} \mid \boldsymbol{\theta}_{c}\right) \\ &=\sum_{\boldsymbol{x} \in D_{c}} \ln P\left(\boldsymbol{x} \mid \boldsymbol{\theta}_{c}\right), \end{aligned}$$ LL(θc​)​=lnP(Dc​∣θc​)=x∈Dc​∑​lnP(x∣θc​),​

• 当 $\ln L(\theta )$ 可微时, 可通过下列方程组, 判断根是不是最大值点。

$$\frac{\partial \ln L(\theta )}{\partial {\theta }_1}=0,\frac{\partial \ln L(\theta )}{\partial {\theta }_2}=0,\cdots ,\frac{\partial \ln L(\theta )}{\partial {\theta }_m}=0$$

• 当 $\ln L(\theta )$ 不存在偏导数时, 需要研究 $\ln L(\theta )$ , 寻找最大值点。

---

一元正态分布参数估计

例 2：在学概率论正态分布时老师一般会直接说$\mu$为正态分布样本的均值，$\delta$ 为样本方差，而我们也不懂为啥是，这里用极大似然估计来证明一下。

样本$X$服从正态分布:
$$f(x,\mu ,\delta )=\frac{1}{\sqrt{2\pi \delta }}\exp \left\{-\frac{(x-\mu {)}^2}{2\delta }\right\}$$
其中, $\delta ={\sigma }^2\in (0,\infty ),\mu \in (-\infty ,\infty )$ 这时就有无穷多取值了，就不能列举了。

似然函数
$$L\left(x_1,\cdots ,x_N;\mu ,\delta \right)={\left(\frac{1}{\sqrt{2\pi \delta }}\right)}^N\exp \left\{-\frac{{\sum }_{i=1}^N{\left(x_i-\mu \right)}^2}{2\delta }\right\}$$
对数似然函数
$$\ln L(\mu ,\delta )=-\frac{N}{2}\ln (2\pi )-\frac{N}{2}\ln \delta -\frac{1}{2\delta }\sum _{i=1}^N{\left(x_i-\mu \right)}^2$$
对数似然函数求偏导，得到方程组：
{ ∂ ln ⁡ L ∂ μ = 1 δ ∑ i = 1 N ( x i − μ ) = 0 ∂ ln ⁡ L ∂ δ = − n 2 δ + 1 2 δ 2 ∑ i = 1 N ( x i − μ ) 2 = 0 ( i = 1 , 2 , ⋯   , N )

$$\begin{cases} \frac{\partial \ln L}{\partial \mu}=\frac{1}{\delta} \sum_{i=1}^{N}\left(x_{i}-\mu\right)=0 \\ \frac{\partial \ln L}{\partial \delta}=-\frac{n}{2 \delta}+\frac{1}{2 \delta^{2}} \sum_{i=1}^{N}\left(x_{i}-\mu\right)^{2}=0 \end{cases}$$ \quad(i=1,2, \cdots, N) {∂μ∂lnL​=δ1​∑i=1N​(xi​−μ)=0∂δ∂lnL​=−2δn​+2δ21​∑i=1N​(xi​−μ)2=0​(i=1,2,⋯,N)
极大似然估计:
$$\hat{\mu }=\frac{1}{N}\sum _{i=1}^N{x}_i=\bar{x},\hat{\delta }=\frac{1}{N}\sum _{i=1}^N{\left(x_i-\bar{x}\right)}^2$$
$\mu$为正态分布样本的均值，$\delta$ 为样本的方差，与我们概率论上学的一样。

---

多元正态分布参数估计

当然一般情况下$x$是多维的，我们需要用多元正态分布，这里拔高一下尝试对多元正态分布的参数进行似然估计

在连续属性情形下，假设概率密度函数 $p(\mathbf{x}\mid c)\sim \mathcal{N}\left({\mathbf{\mu }}_c，{\mathbf{\sigma }}_c^2\right)$

假设概率密度函数 $p(\mathbf{x}|c)\sim \mathcal{N}\left({\mathbf{\mu }}_c，{\mathbf{\sigma }}_c^2\right)$，其等价于假设
$$P\left(\mathbf{x}|{\mathbf{\theta }}_c\right)=P\left(\mathbf{x}|{\mathbf{\mu }}_c,{\mathbf{\sigma }}_c^2\right)=\frac{1}{\sqrt{(2\pi {)}^d|{\mathbf{\Sigma }}_c|}}\exp \left(-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_c{)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}(\mathbf{x}-{\mathbf{\mu }}_c)\right)$$
这是多元正态分布，其中，$d$表示$\mathbf{x}$的维数，一元正态分布中 ${\mathbf{\sigma }}^2$为方差，多元中${\mathbf{\Sigma }}_c={\mathbf{\sigma }}_c^2$为对称正定协方差矩阵，$|{\mathbf{\Sigma }}_c|$表示${\mathbf{\Sigma }}_c$的行列式。将其代入参数求解公式可得：
( μ ^ c , Σ ^ c ) = arg ⁡ min ⁡ ( μ c , Σ c ) − ∑ x ∈ D c log ⁡ [ 1 ( 2 π ) d ∣ Σ c ∣ exp ⁡ ( − 1 2 ( x − μ c ) T Σ c − 1 ( x − μ c ) ) ] = arg ⁡ min ⁡ ( μ c , Σ c ) ∑ i = 1 N ln ⁡ [ 1 ( 2 π ) d ⋅ 1 ∣ Σ c ∣ ⋅ exp ⁡ ( − 1 2 ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ) ] = arg ⁡ min ⁡ ( μ c , Σ c ) ∑ i = 1 N { ln ⁡ 1 ( 2 π ) d + ln ⁡ 1 ∣ Σ c ∣ + ln ⁡ [ exp ⁡ ( − 1 2 ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ) ] } = arg ⁡ min ⁡ ( μ c , Σ c ) ∑ i = 1 N [ d 2 log ⁡ ( 2 π ) + 1 2 log ⁡ ∣ Σ c ∣ + 1 2 ( x − μ c ) T Σ c − 1 ( x i − μ c ) ] = arg ⁡ min ⁡ ( μ c , Σ c ) − N d 2 ln ⁡ ( 2 π ) − N 2 ln ⁡ ∣ Σ c ∣ − 1 2 ∑ i = 1 N ( x i − μ c ) T Σ c − 1 ( x i − μ c )

$$\begin{aligned} (\hat{\boldsymbol{\mu}}_{c}, \hat{\boldsymbol{\Sigma}}_{c})&= \underset{(\boldsymbol{\mu}_{c},\boldsymbol{\Sigma}_c)}{\arg \min }-\sum_{\boldsymbol{x} \in D_{c}} \log\left[\frac{1}{\sqrt{(2 \pi)^{d}|\boldsymbol{\Sigma}_c|}} \exp \left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu}_c)^{\mathrm{T}} \boldsymbol{\Sigma}_c^{-1}(\boldsymbol{x}-\boldsymbol{\mu}_c)\right)\right] \\ \\ &= \underset{(\boldsymbol{\mu}_{c},\boldsymbol{\Sigma}_c)}{\arg \min }\sum_{i=1}^{N} \ln \left[\frac{1}{\sqrt{(2 \pi)^{d}}} \cdot \frac{1}{\sqrt{\left|\boldsymbol{\Sigma}_{c}\right|}} \cdot \exp \left(-\frac{1}{2}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\right)\right] \\ &= \underset{(\boldsymbol{\mu}_{c},\boldsymbol{\Sigma}_c)}{\arg \min }\sum_{i=1}^{N}\left\{\ln \frac{1}{\sqrt{(2 \pi)^{d}}}+\ln \frac{1}{\sqrt{\left|\boldsymbol{\Sigma}_{c}\right|}}+\ln \left[\exp \left(-\frac{1}{2}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\right)\right]\right\}\\ &= \underset{(\boldsymbol{\mu}_{c},\boldsymbol{\Sigma}_c)}{\arg \min }\sum_{i=1}^{N} \left[\frac{d}{2}\log(2 \pi)+\frac{1}{2}\log|\boldsymbol{\Sigma}_c|+\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu}_c)^{\mathrm{T}} \boldsymbol{\Sigma}_c^{-1}(\boldsymbol{x_i}-\boldsymbol{\mu}_c)\right] \\ \\ &=\underset{(\boldsymbol{\mu}_{c},\boldsymbol{\Sigma}_c)}{\arg \min } -\frac{N d}{2} \ln (2 \pi)-\frac{N}{2} \ln \left|\boldsymbol{\Sigma}_{c}\right|-\frac{1}{2} \sum_{i=1}^{N}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right) \end{aligned}$$ (μ^​c​,Σ^c​)​=(μc​,Σc​)argmin​−x∈Dc​∑​log[(2π)d∣Σc​∣ ​1​exp(−21​(x−μc​)TΣc−1​(x−μc​))]=(μc​,Σc​)argmin​i=1∑N​ln[(2π)d ​1​⋅∣Σc​∣ ​1​⋅exp(−21​(xi​−μc​)TΣc−1​(xi​−μc​))]=(μc​,Σc​)argmin​i=1∑N​{ln(2π)d ​1​+ln∣Σc​∣ ​1​+ln[exp(−21​(xi​−μc​)TΣc−1​(xi​−μc​))]}=(μc​,Σc​)argmin​i=1∑N​[2d​log(2π)+21​log∣Σc​∣+21​(x−μc​)TΣc−1​(xi​−μc​)]=(μc​,Σc​)argmin​−2Nd​ln(2π)−2N​ln∣Σc​∣−21​i=1∑N​(xi​−μc​)TΣc−1​(xi​−μc​)​
由于参数 ${\mathbf{\theta }}_c$ 的极大似然估计${\hat{\mathbf{\theta }}}_c$为

$${\hat{\mathbf{\theta }}}_c=\underset{{\mathbf{\theta }}_c}{\mathrm{argmax}}LL\left({\mathbf{\theta }}_c\right)$$
所以接来下只需要求出使得对数似然函数 $LL\left({\mathbf{\theta }}_c\right)$ 取到最大值的${\hat{\mathbf{\mu }}}_c和{\hat{\mathbf{\Sigma }}}_c$ ，也就求出了${\hat{\mathbf{\theta }}}_c$

要求最值肯定要求偏导

对$LL\left({\mathbf{\theta }}_c\right)$ 关于${\mathbf{\mu }}_c$求偏导
∂ L L ( θ c ) ∂ μ c = ∂ ∂ μ c [ − N d 2 ln ⁡ ( 2 π ) − N 2 ln ⁡ ∣ Σ c ∣ − 1 2 ∑ i = 1 N ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ] = ∂ ∂ μ c [ − 1 2 ∑ i = 1 N ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ] = − 1 2 ∑ i = 1 N ∂ ∂ μ c [ ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ] = − 1 2 ∑ i = 1 N ∂ ∂ u − [ ( x i T − μ c T ) Σ c − 1 ( x i − μ c ) ] = − 1 2 ∑ i = 1 N ∂ ∂ μ c [ ( x i T − μ c T ) ( Σ c − 1 x i − Σ c − 1 μ c ) ] = − 1 2 ∑ i = 1 N ∂ ∂ μ c [ x i T Σ c − 1 x i − x i T Σ c − 1 μ c − μ c T Σ c − 1 x i + μ c T Σ c − 1 μ c ]

$$\begin{aligned} \frac{\partial L L\left(\boldsymbol{\theta}_{c}\right)}{\partial \boldsymbol{\mu}_{c}} &=\frac{\partial}{\partial \boldsymbol{\mu}_{c}}\left[-\frac{N d}{2} \ln (2 \pi)-\frac{N}{2} \ln \left|\boldsymbol{\Sigma}_{c}\right|-\frac{1}{2} \sum_{i=1}^{N}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\right] \\ &=\frac{\partial}{\partial \boldsymbol{\mu}_{c}}\left[-\frac{1}{2} \sum_{i=1}^{N}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\right] \\ &=-\frac{1}{2} \sum_{i=1}^{N} \frac{\partial}{\partial \boldsymbol{\mu}_{c}}\left[\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\right] \\ &=-\frac{1}{2} \sum_{i=1}^{N} \frac{\partial}{\partial \boldsymbol{u}_{-}}\left[\left(\boldsymbol{x}_{i}^{T}-\boldsymbol{\mu}_{c}^{T}\right) \boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\right] \\ &=-\frac{1}{2} \sum_{i=1}^{N} \frac{\partial}{\partial \boldsymbol{\mu}_{c}}\left[\left(\boldsymbol{x}_{i}^{T}-\boldsymbol{\mu}_{c}^{T}\right)\left(\boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{x}_{i}-\boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{\mu}_{c}\right)\right] \\ &=-\frac{1}{2} \sum_{i=1}^{N} \frac{\partial}{\partial \boldsymbol{\mu}_{c}}\left[\boldsymbol{x}_{i}^{T} \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{x}_{i}-\boldsymbol{x}_{i}^{T} \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{\mu}_{c}-\boldsymbol{\mu}_{c}^{T} \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{x}_{i}+\boldsymbol{\mu}_{c}^{T} \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{\mu}_{c}\right] \end{aligned}$$ ∂μc​∂LL(θc​)​​=∂μc​∂​[−2Nd​ln(2π)−2N​ln∣Σc​∣−21​i=1∑N​(xi​−μc​)TΣc−1​(xi​−μc​)]=∂μc​∂​[−21​i=1∑N​(xi​−μc​)TΣc−1​(xi​−μc​)]=−21​i=1∑N​∂μc​∂​[(xi​−μc​)TΣc−1​(xi​−μc​)]=−21​i=1∑N​∂u−​∂​[(xiT​−μcT​)Σc−1​(xi​−μc​)]=−21​i=1∑N​∂μc​∂​[(xiT​−μcT​)(Σc−1​xi​−Σc−1​μc​)]=−21​i=1∑N​∂μc​∂​[xiT​Σc−1​xi​−xiT​Σc−1​μc​−μcT​Σc−1​xi​+μcT​Σc−1​μc​]​
由于 ${\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c$ 的计算结果为标量，标量的转置还是标量，由于所${\Sigma }_c$是对称矩阵，转置等于其自身，所以
$${\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c={\left({\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c\right)}^T={\mathbf{\mu }}_c^T{\left({\mathbf{\Sigma }}_c^{-1}\right)}^T{\mathbf{x}}_i={\mathbf{\mu }}_c^T{\left({\mathbf{\Sigma }}_c^T\right)}^{-1}{\mathbf{x}}_i={\mathbf{\mu }}_c^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i$$
于是上式可以进一步化为

$$\frac{\partial LL\left({\mathbf{\theta }}_c\right)}{\partial {\mathbf{\mu }}_c}=-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mathbf{\mu }}_c}[{\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i-2{\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c+{\mathbf{\mu }}_c^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c$$

由矩阵微分公式 $\frac{\partial a^{T}x}{\partial x}=a，\frac{\partial x^{T}Bx}{\partial x}=\left(B+B^T\right)x$ 可得
∂ L L ( θ c ) ∂ μ c = − 1 2 ∑ i = 1 N [ 0 − ( 2 x i T Σ c − 1 ) T + ( Σ c − 1 + ( Σ c − 1 ) T ) μ c ] = − 1 2 ∑ i = 1 N [ − ( 2 ( Σ c − 1 ) T x i ) + ( Σ c − 1 + ( Σ c − 1 ) T ) μ c ] = − 1 2 ∑ i = 1 N [ − ( 2 Σ c − 1 x i ) + 2 Σ c − 1 μ c ] = ∑ i = 1 N Σ c − 1 x i − N Σ c − 1 μ c

$$\begin{aligned} \frac{\partial L L\left(\boldsymbol{\theta}_{c}\right)}{\partial \boldsymbol{\mu}_{c}} &=-\frac{1}{2} \sum_{i=1}^{N}\left[0-\left(2 \boldsymbol{x}_{i}^{T} \boldsymbol{\Sigma}_{c}^{-1}\right)^{T}+\left(\boldsymbol{\Sigma}_{c}^{-1}+\left(\boldsymbol{\Sigma}_{c}^{-1}\right)^{T}\right) \boldsymbol{\mu}_{c}\right] \\ &=-\frac{1}{2} \sum_{i=1}^{N}\left[-\left(2\left(\boldsymbol{\Sigma}_{c}^{-1}\right)^{T} \boldsymbol{x}_{i}\right)+\left(\boldsymbol{\Sigma}_{c}^{-1}+\left(\boldsymbol{\Sigma}_{c}^{-1}\right)^{T}\right) \boldsymbol{\mu}_{c}\right] \\ &=-\frac{1}{2} \sum_{i=1}^{N}\left[-\left(2 \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{x}_{i}\right)+2 \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{\mu}_{c}\right] \\ &=\sum_{i=1}^{N} \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{x}_{i}-N \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{\mu}_{c} \end{aligned}$$ ∂μc​∂LL(θc​)​​=−21​i=1∑N​[0−(2xiT​Σc−1​)T+(Σc−1​+(Σc−1​)T)μc​]=−21​i=1∑N​[−(2(Σc−1​)Txi​)+(Σc−1​+(Σc−1​)T)μc​]=−21​i=1∑N​[−(2Σc−1​xi​)+2Σc−1​μc​]=i=1∑N​Σc−1​xi​−NΣc−1​μc​​
令偏导数等于0可得

∂ L L ( θ c ) ∂ μ c = ∑ i = 1 N Σ c − 1 x i − N Σ c − 1 μ c = 0 N Σ c − 1 μ c = ∑ i = 1 N Σ c − 1 x i N Σ c − 1 μ c = Σ c − 1 ∑ i = 1 N x i N μ c = ∑ i = 1 N x i μ c = 1 N ∑ i = 1 N x i

$$\begin{array}{l} \frac{\partial L L\left(\boldsymbol{\theta}_{c}\right)}{\partial \boldsymbol{\mu}_{c}}=\sum_{i=1}^{N} \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{x}_{i}-N \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{\mu}_{c}=0 \\ N \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{\mu}_{c}=\sum_{i=1}^{N} \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{x}_{i} \\ N \boldsymbol{\Sigma}_{c}^{-1} \boldsymbol{\mu}_{c}=\boldsymbol{\Sigma}_{c}^{-1} \sum_{i=1}^{N} \boldsymbol{x}_{i} \\ N \boldsymbol{\mu}_{c}=\sum_{i=1}^{N} \boldsymbol{x}_{i} \\ \boldsymbol{\mu}_{c}=\frac{1}{N} \sum_{i=1}^{N} \boldsymbol{x}_{i} \end{array}$$ ∂μc​∂LL(θc​)​=∑i=1N​Σc−1​xi​−NΣc−1​μc​=0NΣc−1​μc​=∑i=1N​Σc−1​xi​NΣc−1​μc​=Σc−1​∑i=1N​xi​Nμc​=∑i=1N​xi​μc​=N1​∑i=1N​xi​​
于是
$${\hat{\mathbf{\mu }}}_c=\frac{1}{N}\sum _{i=1}^N{\mathbf{x}}_i\text{\hspace{1em}(7.12)}$$

---

对 $LL\left({\mathbf{\theta }}_c\right)$ 关于${\mathbf{\Sigma }}_c$求偏导

∂ L L ( θ c ) ∂ Σ c = ∂ ∂ Σ c [ − N d 2 ln ⁡ ( 2 π ) − N 2 ln ⁡ ∣ Σ c ∣ − 1 2 ∑ i = 1 N ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ] = ∂ ∂ Σ c [ − N 2 ln ⁡ ∣ Σ c ∣ − 1 2 ∑ i = 1 N ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ] = − N 2 ⋅ ∂ ∂ Σ c [ ln ⁡ ∣ Σ c ∣ ] − 1 2 ∑ i = 1 N ∂ ∂ Σ c [ ( x i − μ c ) T Σ c − 1 ( x i − μ c ) ]

$$\begin{aligned} \frac{\partial L L\left(\boldsymbol{\theta}_{c}\right)}{\partial \boldsymbol{\Sigma}_{c}} &=\frac{\partial}{\partial \boldsymbol{\Sigma}_{c}}\left[-\frac{N d}{2} \ln (2 \pi)-\frac{N}{2} \ln \left|\boldsymbol{\Sigma}_{c}\right|-\frac{1}{2} \sum_{i=1}^{N}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\right] \\ =& \frac{\partial}{\partial \boldsymbol{\Sigma}_{c}}\left[-\frac{N}{2} \ln \left|\boldsymbol{\Sigma}_{c}\right|-\frac{1}{2} \sum_{i=1}^{N}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\right] \\ =&-\frac{N}{2} \cdot \frac{\partial}{\partial \boldsymbol{\Sigma}_{c}}\left[\ln \left|\boldsymbol{\Sigma}_{c}\right|\right]-\frac{1}{2} \sum_{i=1}^{N} \frac{\partial}{\partial \boldsymbol{\Sigma}_{c}}\left[\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\right] \end{aligned}$$ ∂Σc​∂LL(θc​)​==​=∂Σc​∂​[−2Nd​ln(2π)−2N​ln∣Σc​∣−21​i=1∑N​(xi​−μc​)TΣc−1​(xi​−μc​)]∂Σc​∂​[−2N​ln∣Σc​∣−21​i=1∑N​(xi​−μc​)TΣc−1​(xi​−μc​)]−2N​⋅∂Σc​∂​[ln∣Σc​∣]−21​i=1∑N​∂Σc​∂​[(xi​−μc​)TΣc−1​(xi​−μc​)]​
由矩阵微分公式$\frac{\partial |\mathbf{X}|}{\partial \mathbf{X}}=|\mathbf{X}|\cdot {\left({\mathbf{X}}^{-1}\right)}^T，\frac{\partial a^T{\mathbf{X}}^{-1}b}{\partial \mathbf{X}}=-{\mathbf{X}}^{-T}a{b}^T{\mathbf{X}}^{-T}$ 可得

∂ L L ( θ c ) ∂ Σ c = − N 2 ⋅ 1 ∣ Σ c ∣ ⋅ ∣ Σ c ∣ ⋅ ( Σ c − 1 ) T − 1 2 ∑ i = 1 N [ − Σ c − T ( x i − μ c ) ( x i − μ c ) T Σ c − T ] = − N 2 ⋅ ( Σ c − 1 ) T − 1 2 ∑ i = 1 N [ − Σ c − T ( x i − μ c ) ( x i − μ c ) T Σ c − T ] = − N 2 Σ c − 1 + 1 2 ∑ i = 1 N [ Σ c − 1 ( x i − μ c ) ( x i − μ c ) T Σ c − 1 ]

$$\begin{aligned} \frac{\partial L L\left(\boldsymbol{\theta}_{c}\right)}{\partial \boldsymbol{\Sigma}_{c}} &=-\frac{N}{2} \cdot \frac{1}{\left|\boldsymbol{\Sigma}_{c}\right|} \cdot\left|\boldsymbol{\Sigma}_{c}\right| \cdot\left(\boldsymbol{\Sigma}_{c}^{-1}\right)^{T}-\frac{1}{2} \sum_{i=1}^{N}\left[-\boldsymbol{\Sigma}_{c}^{-T}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{T} \boldsymbol{\Sigma}_{c}^{-T}\right] \\ &=-\frac{N}{2} \cdot\left(\boldsymbol{\Sigma}_{c}^{-1}\right)^{T}-\frac{1}{2} \sum_{i=1}^{N}\left[-\boldsymbol{\Sigma}_{c}^{-T}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{T} \boldsymbol{\Sigma}_{c}^{-T}\right] \\ &=-\frac{N}{2} \boldsymbol{\Sigma}_{c}^{-1}+\frac{1}{2} \sum_{i=1}^{N}\left[\boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{T} \boldsymbol{\Sigma}_{c}^{-1}\right] \end{aligned}$$ ∂Σc​∂LL(θc​)​​=−2N​⋅∣Σc​∣1​⋅∣Σc​∣⋅(Σc−1​)T−21​i=1∑N​[−Σc−T​(xi​−μc​)(xi​−μc​)TΣc−T​]=−2N​⋅(Σc−1​)T−21​i=1∑N​[−Σc−T​(xi​−μc​)(xi​−μc​)TΣc−T​]=−2N​Σc−1​+21​i=1∑N​[Σc−1​(xi​−μc​)(xi​−μc​)TΣc−1​]​
令偏导数等于0可得

$$\frac{\partial LL\left({\mathbf{\theta }}_c\right)}{\partial {\mathbf{\Sigma }}_c}=-\frac{N}{2}{\mathbf{\Sigma }}_c^{-1}+\frac{1}{2}\sum _{i=1}^N\left[{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T{\mathbf{\Sigma }}_c^{-1}\right]=0$$

− N 2 Σ c − 1 = − 1 2 ∑ i = 1 N [ Σ c − 1 ( x i − μ c ) ( x i − μ c ) T Σ c − 1 ] N Σ c − 1 = ∑ i = 1 N [ Σ c − 1 ( x i − μ c ) ( x i − μ c ) T Σ c − 1 ] N Σ c − 1 = Σ c − 1 [ ∑ i = 1 N ( x i − μ c ) ( x i − μ c ) T ] Σ c − 1 N = Σ c − 1 [ ∑ i = 1 N ( x i − μ c ) ( x i − μ c ) T ] Σ c = 1 N ∑ i = 1 N ( x i − μ c ) ( x i − μ c ) T

$$\begin{array}{c} -\frac{N}{2} \boldsymbol{\Sigma}_{c}^{-1}=-\frac{1}{2} \sum_{i=1}^{N}\left[\boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{T} \boldsymbol{\Sigma}_{c}^{-1}\right] \\ N \boldsymbol{\Sigma}_{c}^{-1}=\sum_{i=1}^{N}\left[\boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{T} \boldsymbol{\Sigma}_{c}^{-1}\right] \\ N \boldsymbol{\Sigma}_{c}^{-1}=\boldsymbol{\Sigma}_{c}^{-1}\left[\sum_{i=1}^{N}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{T}\right] \boldsymbol{\Sigma}_{c}^{-1} \\ N=\boldsymbol{\Sigma}_{c}^{-1}\left[\sum_{i=1}^{N}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{T}\right] \\ \boldsymbol{\Sigma}_{c}=\frac{1}{N} \sum_{i=1}^{N}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}_{c}\right)^{T} \end{array}$$ −2N​Σc−1​=−21​∑i=1N​[Σc−1​(xi​−μc​)(xi​−μc​)TΣc−1​]NΣc−1​=∑i=1N​[Σc−1​(xi​−μc​)(xi​−μc​)TΣc−1​]NΣc−1​=Σc−1​[∑i=1N​(xi​−μc​)(xi​−μc​)T]Σc−1​N=Σc−1​[∑i=1N​(xi​−μc​)(xi​−μc​)T]Σc​=N1​∑i=1N​(xi​−μc​)(xi​−μc​)T​

于是
$${\hat{\mathbf{\Sigma }}}_c=\frac{1}{N}\sum _{i=1}^N\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T\text{\hspace{1em}(7.13)}$$

---