考研数一概率论与数理统计（二）_六大检验及拒绝域

上一篇考研数一概率论与数理统计（一）

七、大数定律及中心极限定理

7.1大数定律

依概率收敛：是指随着样本数量的不断增加，随机变量序列在概率意义下趋近于一个确定值的现象。换句话说，对于任意小的正实数ε，当样本数量n足够大时，随机变量与期望之差的绝对值小于ε的概率趋近于1。
lim ⁡ n → ∞ P { ∣ X n − a ∣ ≥ ε } = 0 \lim_{n\rightarrow \infty}P\left\{|X_n - a| ≥ ε\right\} = 0 n→∞lim​P{∣Xn​−a∣≥ε}=0或 lim ⁡ n → ∞ P { ∣ X n − a ∣ < ε } = 1 \lim_{n\rightarrow \infty}P\left\{|X_n - a| < ε\right\} =1 n→∞lim​P{∣Xn​−a∣<ε}=1
其中，|X_n - a|表示X_n与a之间的距离，ε为任意正数。这个式子表示了当样本数量n不断增加时，随机变量序列的取值将会越来越接近a这个确定的值，并以很高的概率落在以a为中心、ε为半径的范围内。
大数定律：是指在独立同分布的情况下，随着样本数量的增加，样本平均值会趋近于总体均值的现象。简单来说，样本数量越多，计算出来的平均值就越接近真实的平均值。
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-E(X)\right|\ge \epsilon \right\}=0$$
这个式子表示了当样本数量不断增加时，随机变量序列的平均值将会越来越接近于期望E(X)，并以很高的概率落在以E(X)为中心、ε为半径的范围内。
定理一切比雪夫大数定律：假设 { X n } ( n = 1 , 2 , . . ) \left\{X_n\right\}(n=1,2,..) {Xn​}(n=1,2,..)是相互独立的随机变量序列，如果方差 $DX(i\ge 1)$存在且一致有上界,即存在常数 $C$,使 $DX\le C$对一切$i\ge 1$ 均成立，则 { X n } \left\{X_n\right\} {Xn​}服从大数定律，即$\frac{1}{n}{\sum }_{i=1}^n{X}_i$依概率收敛于$\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)$，有：
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E(X_i)\right|<\epsilon \right\}=1$$
定理二伯努利大数定律：设${\mu }_n$为n重伯努利实验中事件A发生的次数，$p$为$A$在每次实验中发生的概率，则$\frac{{\mu }_n}{n}$依概率收敛于$p$，对任意给定的实数ε>0，有：
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{{\mu }_n}{n}-p\right|<\epsilon \right\}=1$$
定理三辛钦大数定律：假设 { X n } ( n = 1 , 2 , . . ) \left\{X_n\right\}(n=1,2,..) {Xn​}(n=1,2,..)是一组独立同分布的随机变量序列，如果$E(X_i)=\mu (i=1,2,\dots )$存在，则$\frac{1}{n}{\sum }_{i=1}^n{X}_i$依概率收敛于$\mu$，对任意给定的实数ε>0，有：$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu \right|<\epsilon \right\}=1$$

7.2中心极限定理

定理四列维-林德伯格定理：假设 { X n } \left\{X_n\right\} {Xn​}是一组独立同分布的随机变量序列，如果$E(X_i)=\mu$，$D(X_i)={\sigma }^2>0$存在，对$\forall x$，有：
$$\underset{n\to \infty }{\lim }P\left\{\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\le x\right\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{\frac{-t^2}{2}}dt=\Phi (x)$$
只要 { X n } \left\{X_n\right\} {Xn​}满足定理条件，当n很大时，独立同分布随机变量的和近似服从于正态分布$N(n\mu ,n{\sigma }^2)$，由此可知，有 P { a < ∑ i = 1 n X i < b } ≈ Φ ( b − n μ n σ ) − Φ ( a − n μ n σ ) P\left\{a<\sum_{i=1}^{n} X_i<b\right\}\approx\Phi\left(\frac{b-n\mu}{\sqrt{n}\sigma}\right)-\Phi\left(\frac{a-n\mu}{\sqrt{n}\sigma}\right) P{a<∑i=1n​Xi​<b}≈Φ(n ​σb−nμ​)−Φ(n ​σa−nμ​)
定理五棣莫弗-拉普拉斯定理：设随机变量$Y_n\sim \text{B}(1,p)(0<p<1,n\ge 1)$，则对任意实数$x$，有$$\underset{n\to \infty }{\lim }P\left\{\frac{Y_n-np}{\sqrt{np(1-p)}}\le x\right\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{\frac{-t^2}{2}}dt=\Phi (x)$$
使用$Y\sim \text{B}(n,p)$二项分布的期望与方差代换(只是为了方便记忆)$$\underset{n\to \infty }{\lim }P\left\{\frac{Y_n-EX}{\sqrt{DX}}\le x\right\}=\Phi (x)$$

7.3辨析

大数定律和中心极限定理区别在于：

1. 大数定律主要关注随机变量序列的均值，描述的是样本均值随着样本大小的增加趋向于总体均值。而中心极限定理则关注随机变量序列的和，描述的是当样本大小足够大时，样本和的分布近似于正态分布。
2. 大数定律是针对独立同分布随机变量序列的性质进行的，其中每个随机变量的方差必须有限。而中心极限定理不一定需要独立同分布条件，但要求随机变量序列具有一定的可加性或线性组合性质，并且满足一定的条件（例如方差有限）。
3. 大数定律通常用于统计推断中的参数估计问题，可以保证样本均值的渐进无偏性和一致性。而中心极限定理则广泛应用于概率密度函数的近似、假设检验问题以及随机过程等领域。

它们的联系在于：大数定律和中心极限定理都是关于随机变量序列的渐进性质，即当样本大小足够大时，它们所描述的极限结果会逐渐接近于某个确定值（对于大数定律）或概率分布（对于中心极限定理）。

八、数理统计

8.1总体与样本及概念辨析

在概率论中，“样本空间”指的是所有可能的基本事件构成的集合，常用符号为 $\Omega$。例如，掷一次骰子的样本空间为 Ω = { 1 , 2 , 3 , 4 , 5 , 6 } \Omega = \{1, 2, 3, 4, 5, 6\} Ω={1,2,3,4,5,6}。
在数理统计中，研究对象的全体成为“总体”，“样本”是指从总体中抽取出来的一组观测值的集合，常用符号为 $X_1,X_2,\cdots ,X_n$，其中 $n$ 是样本量。样本空间则指的是这组观测值可能的取值范围，通常选择一个合适的数学结构来表示样本空间，如实数轴上的一个区间、${\mathbb{R}}^n$ 空间中的一个点集等。
假设总体X的分布函数为F(x)，则$X_1,X_2,\cdots ,X_n$的分布函数为$$F(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}F(x_i)$$

8.2统计量

（一）常用统计量：
1.样本数字特征：
（1） 样本均值：表示样本数据的平均水平，是所有观测值之和除以样本容量。$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$
（2） 样本方差：反映样本数据的离散程度，是每个观测值与样本均值的差的平方和除以自由度。
$$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$
（3）样本标准差：样本方差的正平方根，衡量样本数据的离散程度。$S=\sqrt{S^2}$
（4）样本的k阶矩：是样本中每个观测值的k次方和的平均数。样本的k阶矩可表示为：$${\hat{\mu }}_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k(k=1,2,\cdots )$$
其中，$X_i$ 是第 i 个观测值，$n$ 是样本容量。特别地，当 k=1 时，${\hat{\mu }}_1$ 即为样本均值。当 k=2 时，${\hat{\mu }}_2$ 即为样本二阶中心矩，通常也称为样本方差。
（5）样本的k阶中心矩：是样本中每个观测值与样本均值之差的k次方和的平均数。样本的k阶中心矩可表示为：
$${\hat{\mu }}_k=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^k(k=2,3,\cdots )$$
其中，$X_i$ 是第 i 个观测值，$\bar{X}$ 是样本均值，$n$ 是样本容量。
2.顺序统计量：
顺序统计量是指从一组样本数据中按照大小顺序所得到的各个值，最小值是样本中最小的观测值，通常用 $X_{(1)}$ 表示。最大值是样本中最大的观测值，通常用 $X_{(n)}$ 表示。原本的统计量无序$X_1,X_2,\cdots ,X_n$，排序后为$X_{(1)},X_{(2)},\cdots ,X_{(n)}$，排序后的下标为顺序值，$X_{(k)}$成为第$k$顺序统计量。

3.常用性质

8.3统计量三大分布

不要求记忆概率密度，只需了解相应统计量的典型模式，以及它们的分布曲线的示意图和分位数,会查相应分位数的数值表。
卡方分布：是指 $Z_1,Z_2,\dots ,Z_n$ 等若干相互独立且都服从标准正态分布的随机变量，则$X={\sum }_{i=1}^n{X}_i^2$服从自由度为n的 ${\chi }^2$分布，记为 $X\sim {\chi }^2(n)$
卡方分布的上 $\alpha$ 分位点是指，使得其累积分布函数为 $\alpha$ 的最小非负实数 $x_{\alpha }$。换句话说，$\alpha$ 分位点表示了随机变量 $X$ 的概率分布中，在其左侧有 $\alpha$ 的概率质量，并且在其右侧有 $1-\alpha$ 的概率质量。对于连续型随机变量，对于一个给定的 $\alpha$ 值，我们需要求出 $F(x)={\int }_{-\infty }^{x}f(t)dt$，然后找到使得 $F(x_{\alpha })=\alpha$ 的 $x_{\alpha }$ 值。
卡方分布的性质：若 $X_1\sim {\chi }^2(n_1)$ 和 $X_2\sim {\chi }^2(n_2)$ 独立，则 $(X_1+X_2)\sim {\chi }^2(n_1+n_2)$
卡方分布的期望和方差：自由度为 $n$ 的卡方分布的期望为 $n$，方差为 $2n$。

$t$分布：
设随机变量$X\sim N(0,1),Y\sim {\chi }^2(n)，X与Y$相互独立，则随机变量$t=\frac{X}{\sqrt{Y/n}}服从自由度为n的t分布，记为t\sim t(n)$
由概率密度图知图形关于$x=0$对称，故$Et=0$
性质：$t_{1-\alpha }(n)=-t_{\alpha }(n)$

$F$分布：
F分布是由两个独立的卡方分布构成的比值，具体地，如果 $X_1\sim {\chi }^2(n_1)$ 和 $X_2\sim {\chi }^2(n_2)$ 独立，则 $F=\frac{X_1/n_1}{X_2/n_2}$ 服从自由度为 $(n_1,n_2)$ 的F分布，记为 $F(n_1,n_2)$。
性质：若$F\sim F(n_1,n_2)$，则$\frac{1}{F}\sim F(n_2,n_1)$。$F_{1-\alpha }(n_1,n_2)=\frac{1}{F(n_2,n_1)}$。

8.4正态总体分布下的常用结论

1. 样本均值：从正态总体中随机抽取 $n$ 个样本，则样本均值 $\bar{X}$ 也服从正态分布，其均值为总体均值 $\mu$，方差为总体方差除以样本量 $n$。可以表示为：
   $$\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$$

2. 样本方差：从正态总体中随机抽取 $n$ 个样本，则样本方差 $S^2$ 也服从自由度为 $n-1$ 的卡方分布，且 $S^2$ 和 $\bar{X}$ 是相互独立的。可以表示为：

$$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$

3. 样本均值的分布：当样本量 $n$ 足够大时，$\bar{X}$ 的分布近似为正态分布，且均值为总体均值 $\mu$，
   标准差为总体标准差除以样本量的平方根 $\frac{\sigma }{\sqrt{n}}$。可以表示为：

$$\frac{\bar{X}-\mu }{\frac{\sigma }{\sqrt{n}}}\sim N(0,1)$$

4. 样本比例的分布：从正态总体中随机抽取 $n$ 个样本，样本比例 $\hat{p}$ 的分布近似为正态分布，且均值为总体比例 $p$，方差为 $p(1-p)/n$。可以表示为：

$$\frac{\hat{p}-p}{\sqrt{\frac{p(1-p)}{n}}}\sim N(0,1)$$

5. 样本均值的置信区间：当样本量充分大时，可以使用正态分布来近似样本均值的分布，从而计算置信区间。样本均值的 $100(1-\alpha )\%$ 置信区间为 $\bar{X}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$，其中 $z_{\alpha /2}$ 是标准正态分布上 $\alpha /2$ 分位点。

6. 样本比例的置信区间：当样本量充分大时，可以使用正态分布来近似样本比例的分布，从而计算置信区间。样本比例的 $100(1-\alpha )\%$ 置信区间为 $\hat{p}\pm z_{\alpha /2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$，其中 $z_{\alpha /2}$ 是标准正态分布上 $\alpha /2$ 分位点。

8.5参数点的估计

矩估计法：是一种基于样本矩（如均值、方差等）与相应总体矩之间关系的估计方法。具体地，对于一个未知参数 $\theta$，我们可以通过样本矩来估计它的取值。设总体分布为 $F(x|\theta )$，其中 $\theta$ 是待估参数。假设存在 $k$ 个矩 ${\mu }_1,{\mu }_2,\cdots ,{\mu }_k$，可以利用样本矩 ${\hat{\mu }}_1,{\hat{\mu }}_2,\cdots ,{\hat{\mu }}_k$ 来估计相应的总体矩。具体来说，考虑下面的方程组：

μ 1 = E [ X ] = ∫ x F ( x ∣ θ ) d x μ 2 = E [ X 2 ] = ∫ x 2 F ( x ∣ θ ) d x ⋮ μ k = E [ X k ] = ∫ x k F ( x ∣ θ ) d x

$$\begin{aligned} \mu_1 &= E[X] = \int x F(x|\theta) dx \\ \mu_2 &= E[X^2] = \int x^2 F(x|\theta) dx \\ &\vdots \\ \mu_k &= E[X^k] = \int x^k F(x|\theta) dx \end{aligned}$$ μ1​μ2​μk​​=E[X]=∫xF(x∣θ)dx=E[X2]=∫x2F(x∣θ)dx⋮=E[Xk]=∫xkF(x∣θ)dx​

通过将上述积分式中的期望替换为样本均值，即 ${\mu }_1\approx \bar{x}$，${\mu }_2\approx \frac{1}{n}{\sum }_{i=1}^n{X}_i^2$，$\cdots$，${\mu }_k\approx \frac{1}{n}{\sum }_{i=1}^n{X}_i^k$，就得到了样本矩估计量 ${\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_k$，它们满足下面的方程组：

μ ^ 1 = θ ^ 1 ( μ ^ 1 ) μ ^ 2 = θ ^ 2 ( μ ^ 1 , μ ^ 2 ) ⋮ μ ^ k = θ ^ k ( μ ^ 1 , ⋯   , μ ^ k )

$$\begin{aligned} \hat{\mu}_1 &= \hat{\theta}_1(\hat{\mu}_1) \\ \hat{\mu}_2 &= \hat{\theta}_2(\hat{\mu}_1,\hat{\mu}_2) \\ &\vdots \\ \hat{\mu}_k &= \hat{\theta}_k(\hat{\mu}_1,\cdots,\hat{\mu}_k) \end{aligned}$$ μ^​1​μ^​2​μ^​k​​=θ^1​(μ^​1​)=θ^2​(μ^​1​,μ^​2​)⋮=θ^k​(μ^​1​,⋯,μ^​k​)​

在满足一定条件的情况下，可以解出上述方程组得到 ${\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_k$ 的估计值。这些估计量具有较好的渐进性质，在样本容量充分大时可以达到渐近无偏和渐近有效等性质。
最大似然估计法：是一种寻找最优参数估计值的方法。其基本思想是构造一个在给定参数下观测到数据概率最大的似然函数，然后通过求解该似然函数的最大值来得到参数的估计值。例如，在二项分布中，我们可以构造似然函数 $L(p)=\left(\genfrac{}{}{0ex}{}{n}{y}\right)p^y(1-p{)}^{n-y}$，其中 $p$ 是未知参数，$n$ 是样本量，$y$ 是成功次数。我们希望找到一个 $p$，使得 $L(p)$ 最大。这个问题可以通过对 $L(p)$ 求导并令其为0来求解。
最大似然估计量的不变性原则：如果 $\hat{\theta }$ 是参数 $\theta$ 的最大似然估计量，而 $g(\theta )$ 是 $\theta$ 的一个函数，则 $g(\hat{\theta })$ 是 $g(\theta )$ 的最大似然估计量。这个原则意味着，如果我们对某个参数进行换元，得到的新参数的最大似然估计量可以通过对原参数的最大似然估计量进行简单的函数变换得到。
估计量的评价标准：
（1）无偏性和有效性：一个估计量既要无偏（即期望等于真实值），又要具有较小的方差才能被称为“有效估计量”。如果存在两个无偏估计量，且其中一个的方差比另一个更小，则该估计量被认为比另一估计量更有效。
（2）一致性：是指当样本量趋近于无穷大时，估计量以概率1收敛于被估计参数的真实值。具体来说，如果一个估计量 ${\hat{\theta }}_n$ 满足 ${\lim }_{n\to \infty }P(|{\hat{\theta }}_n-\theta |>ϵ)=0$，其中 $ϵ>0$ 为任意小数，则称该估计量是一致的。

8.6参数的区间估计

设$\theta$是总体X 的一个未知参数,对于给定的a(0<a<1),如果由样本 $X_1,X_2,\cdots ,X_n$确定的两个统计量$\widehat{{\theta }_1}=\widehat{{\theta }_1}(X_1,X_2,\cdots ,X_n)$ ，$\widehat{{\theta }_2}=\widehat{{\theta }_2}(X_1,X_2,\cdots ,X_n)({\theta }_1<{\theta }_2)$，使$$P\left\{\widehat{{\theta }_1}(X_1,X_2,\cdots ,X_n)<0<\widehat{{\theta }_2}(X_1,X_2,\cdots ,X_n)\right\}=1-\alpha$$则称随机区间$(\widehat{{\theta }_1},\widehat{{\theta }_2})$是的置信度为$1-\alpha$ 的置信区间，$\widehat{{\theta }_1}$ 和$\widehat{{\theta }_2}$分别称为的置信度为$1-\alpha$ 的双侧置信区间的置信下限和置信上限，$1-\alpha$称为置信度或置信水平，$\alpha$称为显著性水平。
置信水平为$1-\alpha$的正态总体均值的置信区间：

8.7正态总体下的六大检验及拒绝域

8.8两类错误

弃真：弃真错误是指在小概率事件发生时拒绝原假设的错误。例如，在假设总体均值为 ${\mu }_0$ 的情况下，如果样本均值 $\bar{X}$ 落在拒绝域内，则会拒绝原假设，即认为总体均值不等于 ${\mu }_0$。然而，在总体均值确实等于 ${\mu }_0$ 的情况下，由于样本误差等因素的影响，有一定概率（称为显著性水平 $\alpha$）会出现样本均值落入拒绝域的情况，此时拒绝原假设就是一个弃真错误。
取伪：取伪错误是指在大概率事件没有发生时接受原假设的错误。同样以假设总体均值为 ${\mu }_0$ 的情况为例，如果样本均值 $\bar{X}$ 不在拒绝域内，则会接受原假设，即认为总体均值等于 ${\mu }_0$。但是，如果总体均值实际上并不等于 ${\mu }_0$，则有一定概率（称为检验力 $1-\beta$）出现样本均值不在拒绝域内却被接受原假设的情况，此时接受原假设就是一个取伪错误。

[注]：截图来自《30讲》