机器学习专题记录

有偏估计和无偏估计

无偏估计和有偏估计的区别

无偏估计
无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。

有偏估计
有偏估计（biased estimate）是指由样本值求得的估计值与待估参数的真值之间有系统误差，其期望值不是待估参数的真值。在统计学中，估计量的偏差（或偏差函数）是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。

moment matching

矩

数理统计7：矩法估计（MM）、极大似然估计（MLE），定时截尾实验
对于随机变量$X$, 其$k$阶原点矩和$k$阶中心矩为
$$a_k=E(X^k),m_k=E[X-E(X){]}^k$$
特别地，一阶原点矩就是随机变量的期望，二阶中心矩就是随机变量的方差。
现实生活中，我们不知道$X$的客观分布，因而需要通过样本 $(X_1,X_2,X_3,....,X_n)$来估计总体矩。其样本$k$阶原点矩和样本$k$阶中心矩计算为
$$a_{n,k}=\frac{1}{n}\sum _{j=1}^n{E}_j(X^k),m_{n,k}=\frac{1}{n}\sum _{j=1}^n(X_j-\bar{X}{)}^k$$

显然，它们都是统计量，因为给出样本之后它们都是可计算的。形式上，样本矩是对总体矩中元素的直接替换后求平均，因此总是比较容易计算的。容易验证，$a_{n,k}$是$a_k$的无偏估计，但$m_{n,k}$则不是。

矩匹配

The method of moments can be very useful in obtaining approximations to the distributions of statistics. This technique is called moment matching.

Normal method of moments

假设数据 $X_1,....,X_n$服从正太分布 $N(\theta ,{\sigma }^2)$. 我们可以计算样本1阶矩和样本2阶矩
$$a_{n,1}=\bar{X},a_{n,2}=\frac{1}{n}\sum _{i=1}^n{X}_i^2$$

根据客观分布$N(\theta ,{\sigma }^2)$, 1阶矩和2阶矩的计算公式为
$$a_1=\theta ,a_2={\theta }^2+{\sigma }^2$$

我们将样本矩带入矩的计算公式，两个方程即可以解出两个未知数 $\theta ,{\sigma }^2$的估计值 $\tilde{\theta },{\tilde{\sigma }}^2$
$$\tilde{\theta }=\bar{X},{\tilde{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

在贝叶斯机器学习中，矩匹配(Moment Matching)是种基于KL-散度最小化的近似方法——期望传播( Expectation Propagation)的一种形式。