核密度估计：带宽宽度选择——原理阐述_核密度带宽选择

参考文献：

1. 维基百科 kernel density estimation：https://en.wikipedia.org/wiki/Kernel_density_estimation#Bandwidth_selection
2. 维基百科 little o notation：https://en.wikipedia.org/wiki/Big_O_notation#Little-o_notation
3. 林斯顿大学一本不知名的书的第一章（主要参考）
4. Silverman, B. W. (1986), Density Estimation for Statistics and Data Analysis,London: Chapman and Hall （书，不是论文，主要参考）
5. A Brief Survey of Bandwidth Selectionfor Density Estimation M. C. JONES, J. S. MARRON, and S. J. SHEATHER

核密度估计定义

在很多问题中，我们可能需要找到某个独立同分布数据集 $X=(X_1,X_2,\cdots ,X_n)$ 的分布。此时可以采用参数估计或非参数估计的方法。

参数估计方法

对于参数估计来说，首先需要假设数据集的分布族是已知的：例如我们可以假设数据集属于正态分布，但正态分布的参数是未知的，因此我们需要从原始数据集中导出正态分布的参数 $\mu ,\sigma$，即使事实上原始数据的分布并不是正态的。

为了求解正态分布的参数 $\mu ,\sigma$，我们采用极大似然法：在独立同分布的情况下，数据集 $X$ 的联合概率分布是各随机变量 $X_i$ 的概率密度的简单乘积：
$$f\left(X_1,\dots ,X_n\right)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{{\left(X_i-\mu \right)}^2}{2{\sigma }^2}}=\frac{1}{{\left(2\pi {\sigma }^2\right)}^{n/2}}{e}^{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n{\left(X_i-\mu \right)}^2}$$
在理想状态下，我们应该求出一个 $\mu ,\sigma$，使得 $f(X_1,X_2,\cdots ,X_n,\mu ,\sigma )$ ，也即联合概率分布最大，很容易得出：
$$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{X}_i{\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\hat{\mu }{)}^2$$
很显然，这种参数估计的方法的一个最致命的缺点就在于，需要事前假设出数据集的所属分布，这在很多情况下是无法做到的，因此就诞生了一种非参数估计的方法。

非参数估计方法

累计分布函数的定义为 $F(x)=P(X\le x)$，对于一个数据集来说，我们可以用频率去代替概率，于是可以估计累计分布函数：
$$F_n(x)=\frac{\text{小于}x\text{的样本数量}}{n}$$
由于概率密度函数：
$$f(x)=\underset{h\to 0}{\lim }\frac{F(x+h)-F(x-h)}{2h}$$
于是我们也可以用频率去估计概率密度函数：
f ^ ( x ) = 1 2 n h { 落在 [ x − h , x + h ] 的样本数量 } \hat{f}(x) = \frac{1}{2nh} \{\text{落在} [x-h, x+h] \text{的样本数量} \} f^​(x)=2nh1​{ 落在[x−h,x+h]的样本数量}
其中 $h$ 为带宽宽度，或者又叫窗口宽度。若我们定义一个均匀分布的核函数 $k(x)$，如下所示：
k ( x ) = { 1 / 2  if  ∣ x ∣ ≤ 1 0  otherwise  k(x)=

$$\begin{cases}1 / 2 & \text { if }|x| \leq 1 \\ 0 & \text { otherwise }\end{cases}$$ k(x)={ 1/20​ if ∣x∣≤1 otherwise ​
于是我们便可以将上述的 $f_n(x)$ 表示成数学形式，如下所示：
$$\hat{f}(x)=\frac{1}{nh}\sum _{i=1}^{n}k(\frac{x-X_i}{h})$$
我们也常常称上述的概率密度估计为均匀核密度估计，函数 $k(x)$ 称为核函数。一般的，核函数取为标准正态分布，这种核密度估计也叫正态核密度估计。

核函数一般需要满足如下要求：

(i) $\int k(v)dv=1$
(ii) $k(v)=k(-v)$
(iii) $\int v^{2}k(v)dv={\kappa }_2>0$

换句话说核函数必须是一个关于y轴对称的概率密度函数。当然，21世纪以来，也有很多学者开始研究非对称的核函数。此外，在数据量较少的情况下，如果数据真的来源于一个正态总体，那么核密度估计的方法是要比参数估计的方法的精确度要低很多的。

带宽选择的重要性

选取的核函数满足上述的三个要求的情况下，核函数估计的方法也不一定会准，如下图所示，以示例数据：example_data = [-1.95, -1.5, -0.7, -0.65, -0.62, 0.1, 0.9] 为例，将标准正态分布作为核函数，选取不同的宽度 $h$，最终求解出来的经验概率密度函数会呈现不同的形态。一般来说，宽度 $h$ 越小则得出的概率密度函数越不平滑，包含的噪声也越多；若选取的宽度过大，则产生的概率密度函数会过分平滑，包含的细节也越少。

因此本博客及后续的博客，将主要讨论，使用核密度估计时，宽度 h 的选择原则和方法。

宽度 h 的选择原则

设核函数已知，且满足上述的三个条件。那么宽度 h 的选择，应使得实际的概率密度，与使用数据集（随机向量）估计的经验概率密度函数之差的均方最小，也即找到一个 $h$，使得：
MSE ( h ) = E { [ f ^ ( x ) − f ( x ) ] 2 } \text{MSE}(h) = E\{ [\hat{f}(x) - f(x)]^2 \} MSE(h)=E{ [f^​(x)−f(x)]2}

为了分析 $h$ 与 MSE 的关系，我们假设存在 $n$ 个独立同分布的随机变量（不是具体样本）：$X\sim (X_1,X_2,\cdots ,X_n)$，设 $x$ 为一个已知量，$k(x)$ 为核函数，$h$ 为窗口宽度，从而有：

定理 1 ：可以证明
$$\mathrm{MSE}(\hat{f}(x))=\frac{h^4}{4}{\left[{\kappa }_2{f}^{(2)}(x)\right]}^2+\frac{\kappa f(x)}{nh}+o(h^4)+\frac{O(h)}{nh}$$
当 $n\to \infty ,h\to 0,nh\to \infty$ 时，有：
MSE ⁡ ( f ^ ( x ) ) = h 4 4 [ κ 2 f ( 2 ) ( x ) ] 2 + κ f ( x ) n h + o ( h 4 + ( n h ) − 1 ) = O ( h 4 + ( n h ) − 1 ) ,

$$\begin{aligned} \operatorname{MSE}(\hat{f}(x)) &=\frac{h^{4}}{4}\left[\kappa_{2} f^{(2)}(x)\right]^{2}+\frac{\kappa f(x)}{n h}+o\left(h^{4}+(n h)^{-1}\right) \\ &=O\left(h^{4}+(n h)^{-1}\right), \end{aligned}$$ MSE(f^​(x))