矩估计与最大似然估计的通俗理解

点估计与区间估计

矩估计与最大似然估计都属于点估计，也就是估计出来的结果是一个具体的值。对比区间估计，通过样本得出的估计值是一个范围区间。例如估计一个人的年龄，点估计就是最终直接估计年龄为50岁，而区间估计是最终估计的结果是48到52岁之间。

矩估计

矩估计就是直接用样本替代总体，所以样本均值$\overline{x}$等于总体均值$E(x)$,样本平方的均值$\overline{x^2}$等于总体均值$E(x^2)$。

利用数学语言描述如下：
设$A_k$是$x$的$k$阶原点矩。
$$A_k=\frac{1}{n}\sum _{i=1}^n{x}_i^k$$

期望估计（一阶原点矩）
$$A_1=E(x)=\overline{x}$$

方差估计（二阶原点距）
$$A_2=E(x^2)=D(x)+{\left[E(x)\right]}^2$$
在实际应用中可以通过样本算出样本的一阶矩和二阶矩，从而得到方差的估计值
$$D(x)=\overline{x^2}-(\overline{x}{)}^2$$

最大似然估计

最大似然估计认为我们既然已经抽取得到了样本结果，那么就认为这个样本结果就是所有情况、所有样本结果中出现概率最大的那一个。例如从一个箱子中又放回的取球，最终取出了70个黑球和30个白球，那么从现有的结果出发就可以估计箱子中黑球和白球比例大致就是7：3
考虑到这个样本中每次的取值都是独立同分布的，所以将每一个取值对应的概率相乘就是这一个样本结果出现的概率（也就是似然函数），那么只要让这一个结果出现的概率（似然函数）最大就可以估算出每个值对应的概率

所以最大似然估计的一般步骤为：

1. 写出似然函数（也就是样本结果出现的概率）。对于离散型变量是将对应概率相乘，连续型变量就是概率密度函数相乘。分别有：
   离散型：
   $$L(\theta )=\prod _{i=1}^n{P}_{\theta }(X_i=x_i)$$
   连续型：
   $$L(\theta )=\prod _{i=1}^{n}f(x_i)$$
2. 求似然函数最大时的$\theta$的值。一般为了简化计算，首先对等式两边取对数，然后对$\theta$求导，求得导数为0时$\hat{\theta }$的取值即为最大似然估计值

实际应用

假设总体$X$的概率分布为

其中$\theta （0<\theta <\frac{1}{2}）$是未知参数，利用总体$X$的如下样本值1,2,1,0,1,0,1,2,1,2,求$\theta$的矩估计与最大似然估计值。

矩估计：
$$E(X)=({\theta }^2)\times 0+2\theta (1-\theta )\times 1+(1-\theta {)}^2\times 2=2-2\theta$$
$$样本均值\overline{X}=\frac{11}{10}$$
根据$E(X)=\overline{X}$可解得$\hat{\theta }=\frac{9}{20}$

最大似然估计：
设似然函数为$L(\theta )$,根据样本有2个0值，5个1值，3个2，则有：
$$L(\theta )=({\theta }^2{)}^2[2\theta (1-\theta ){]}^5(1-\theta {)}^6=2^5{\theta }^9(1-\theta {)}^{11}$$
对式子两边取对数，有：
$$lnL(\theta )=5ln2+9ln\theta +11ln(1-\theta )$$
对$\theta$求导并令导数为0，有：
$$\frac{d[lnL(\theta )]}{d\theta }=\frac{9}{\theta }-\frac{11}{(1-\theta )}=0$$
$$\hat{\theta }=\frac{9}{20}$$

在本例中，矩估计和最大似然估计的值求出来时一致的，有的情况下两种办法求出来的估计值并不一致