概率论复习总结——基本概念_估计p(a | +),p(b | +),p(c | +),p(a | - ),p(b | - )和p

本博客主要用于记录概率论复习中的基础概念。

1. 概率的性质

• 加法公式：
  ①对于任意事件A,B，有$P(A+B)=P(A)+P(B)-P(AB)$;
  ②$P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$

理解： P(A)+P(B)导致P(AB)被多计算一次，因此需要减去一个P(AB)。P(A)+P(B)+P©导致P(ABC)被多计算两次，但P(AB), P(AC), P(BC)将P(ABC)减去三次，因此需要补上一个P(ABC)。

• 减法公式：
  ①对于任意事件A,B，有$P(A-B)=P(A)-P(AB)$;

• 分配律：先并后交等于先交后并。
  ① P { ( A ∪ B ) ∩ C } = P { A C ∪ B C } P\{(A \cup B )\cap C \} = P\{AC \cup BC \} P{(A∪B)∩C}=P{AC∪BC}
  ② P { ( A ∩ B ) ∪ C } = P { ( A ∪ C ) ∩ ( B ∪ C ) } P\{(A \cap B )\cup C \} = P\{(A \cup C) \cap (B \cup C) \} P{(A∩B)∪C}=P{(A∪C)∩(B∪C)}

2. 条件概率

• 条件概率：事件A发生的条件下，事件B发生的概率为$P(B|A)=\frac{P(AB)}{P(A)}$;
• 乘法公式：若$P(A)>0$，则$P(AB)=P(B|A)P(A)$;
• 性质
  ①$P(\bar{B}|A)=1-P(B|A)$
  ②$P(B\cup C|A)=P(B|A)+P(C|A)-P(BC|A)$;

3. 古典概型

• 若随机试验的样本空间$\Omega$只有有限个样本点，且每个基本事件发生的可能性相等，则事件A发生的概率为A中所含样本点数k除以样本空间$\Omega$所有样本点数n：$P(A)=\frac{k}{n}$;
  ①样本空间$\Omega$只有有限个样本点。
  ②每个基本事件发生的可能性相等。

理解： 古典概型是通过事件样本数除以总的测试样本数以近似事件发生的概率。

4. 全概率与贝叶斯公式

• 全概率公式：$P(A)={\sum }_{i=1}^{n}P(A{B}_i)={\sum }_{i=1}^{n}P(A|B_i)P(B_i)$
  当事件A可以分为几种情况时，A发生的概率就是这些情况对应概率之和
• 贝叶斯公式：$P(B_i|A)=\frac{P(B_{i}A)}{P(A)}=\frac{P(A|B_i)P(B_i)}{{\sum }_{i=1}^{n}P(A|B_i)P(B_i)}$
  假设事件A可以分成几种情况，当结果A发生了，需要判断是那种情况时，要用贝叶斯公式。

理解： 贝叶斯公式一般用于已知事件B_i的概率和在事件B_i发生条件下A发生的条件概率时，因为不同B_i对应发生事件A的概率不同，利用贝叶斯公式求事件B_i发生的概率。根据公式可以知道，分母就是全概率公式对于所有的事件B都相同，导致结果不同的是分子即B_i发生的概率乘以A对应的条件概率。

5. 事件的独立性

事件A, B相互独立，则：

• $P(AB)=P(A)P(B)$
• 条件概率：$P(B|A)=P(B|\bar{A})=P(B)$
• 联合分布律：$P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)$
• 联合、边缘概率密度：$f(x,y)=f_X(x)f_Y(y)$
• 数学期望：$E(XY)=E(X)E(Y);$
• 方差：$D(X\pm Y)=D(X)+D(Y);$
• 协方差：$Cov(X,Y)=0;$

6. 离散型随机变量分布律与分布函数

• 分布律：$P(X=x_k)=p_k$
• 分布函数：$F(x)=P(X\le x)={\sum }_{x_k\le x}{p}_k$
  ①$0\le F(x)\le 1$
  ②F(x)单调不减，右连续。
• 概率：$P(X\le a)=F(a)$
  ①$P(X=a)=F(a)-F(a-1)$
  ②$P(X>a)=1-F(a)$
  ③$P(a<X\le b)=F(b)-F(a)$

7. 连续型随机变量概率的计算

• 分布函数：$F(x)=P(X\le x)={\int }_{-\infty }^{x}f(t)dt$
  ①$0\le F(x)\le 1$
  ②F(x)单调不减，右连续。
• 概率密度：$f(x),-\infty <x<\infty$
  ①$f(x)\ge 0$
  ②若f(x)连续，则$F^{\prime }(x)=f(x)$
• 概率：
  ①$P(X=a)=0$
  ②$P(X<a)=P(x\le a)=1-F(a)$

注意： 连续型随机变量在某一点处的概率为0，这是与离散型随机变量概率极大的不同点。

8. 连续型随机变量函数的分布

已知连续型随机变量X的概率密度函数为$f_X(x)$，则$Y=g(X)$的概率密度的求解步骤为：

• 分布函数法：
  ①求出Y的分布函数，并利用关系$Y=g(X)$，将Y的范围转化为X的范围，利用X的分布获得Y的分布：
  $F_Y(y)=P(Y\le y)=P(g(X)\le y)=P(X\in G_y)={\int }_{G_y}{f}_X(x)dx;$
  ②求导得到$f_Y(y)=F_Y^{\prime }(y);$

已知连续型随机变量X, Y的联合概率密度函数为$f(x,y)$，则$Z=g(x,y)$的概率密度函数为：

• 分布函数法：
  ①求$Z=g(x,y)$的分布函数：
  $F(z)=P(Z\le z)=P(g(x,y)\le z)=P((X,Y)\in G_z)={\int \int }_{G_z}f(x,y)dxdy;$
  ②求导得到$f(z)=F^{\prime }(z)$

9. 二维离散型随机变量的分布

• 联合分布律、边缘分布律
  
• 若X, Y相互独立，则$P(X=x_i,Y=y_j)=P(X=x_i)\times P(Y=y_j)$

10. 二维连续型随机变量的分布

• 联合分布函数： F ( x , y ) = P { X ≤ x , Y ≤ y } = ∫ − ∞ x ∫ − ∞ y f ( u , v ) d u d v ; F(x,y)=P\{X \leq x, Y \leq y\}=\int_{-\infty}^x\int_{-\infty}^yf(u,v)dudv; F(x,y)=P{X≤x,Y≤y}=∫−∞x​∫−∞y​f(u,v)dudv;
• 联合概率密度：$f(x,y)>0,{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }f(x,y)dxdy=1$
• 边缘概率密度：$f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy;f_Y(y)={\int }_{-\infty }^{\infty }f(x,y)dx$
• 条件概率密度：$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)};f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$
• 若X和Y相互独立，$f(x,y)=f_X(x)f_Y(y)$

11. 常见分布

二项分布与泊松分布

• 二项分布：$B(n,p)$，其中n表示n重伯努利试验中A发生的次数，$X\sim B(n,p)$，其中p表示每次试验中A发生的概率。
  ①分布律： P { X = k } = C n k p k ( 1 − p ) n − k P\{X=k\}=C_n^kp^k(1-p)^{n-k} P{X=k}=Cnk​pk(1−p)n−k;表示事件A发生k次的概率。

• 泊松分布：$P(\lambda )$，若$X\sim B(n,p)$，当n较大，p较小时，X近似服从$P(np)$。
  ①分布律： P { X = k } = λ k e − λ k ! P\{X=k\}=\frac{\lambda^k e^{-\lambda}}{k!} P{X=k}=k!λke−λ​

均匀分布

• 均匀分布：$U(a,b)$
  ①概率密度函数：$f(x)=\{\begin{array}{ll}\frac{1}{b-a},& a<x<b\\ 0,& else\end{array}$

正太分布

• 正太分布：$N(\mu ,{\sigma }^2)$
  ①概率密度函数：$\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$
  ②当$\mu =0,\sigma =1$时，为标准正太分布$X\sim N(0,1);$

12. 数学期望与方差和标准差

• 离散型随机变量的期望：$E(X)={\sum }_{i=1}^{\infty }{x}_i{p}_i$
• 连续型随机变量的期望：$E(X)={\int }_{-\infty }^{\infty }xf(x)dx$
• 期望的性质
  ①$E(C)=C;$
  ②$E(CX)=CE(X);$
  ③$E(X+Y)=E(X)+E(Y);$
  ③若X, Y相互独立，$E(XY)=E(X)E(Y);$

---

• 方差：$D(X)=E[X-E(X){]}^2=E(X^2)-E(X{)}^2$
  理解：方差等于平方的期望减去期望的平方。

• 标准差：$\sigma =\sqrt{D(X)}$

• 方差的性质
  ①$D(C)=0;$
  ②$D(X+C)=D(X);$
  ③$D(CX)=C^{2}E(X);$
  ④ D ( X ± Y ) = D ( X ) + D ( Y ) ± 2 E { [ X − E [ X ] ] [ Y − E [ Y ] ] } = D ( X ) + D ( Y ) ± C o v ( X , Y ) ; D(X \pm Y)=D(X)+D(Y) \pm 2E\{[X-E[X]][Y-E[Y]] \}=D(X)+D(Y)\pm Cov(X,Y); D(X±Y)=D(X)+D(Y)±2E{[X−E[X]][Y−E[Y]]}=D(X)+D(Y)±Cov(X,Y);
  ⑤若X, Y相互独立，$D(X\pm Y)=D(X)+D(Y);$

13. 常用分布的期望和方差

14. 协方差和相关系数

• 协方差：$Cov(X,Y)=E(XY)-E(X)E(Y);$

• 相关系数：${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)DY}}$
  理解：当X, Y相互独立时，它们的协方差和相关系数为0.

• 协方差的性质：
  ①$Cov(X,C)=0;$
  ②$Cov(aX,bY)=abCov(X,Y);$
  ③$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y);$
  ④$D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y);$
  ⑤若X, Y相互独立，则$Cov(X,Y)=0;$

15. 大数定律

• 辛钦大数定理：对于独立同分布且具有均值$\mu$的随机变量$X_1,X_2,\cdots ,X_n$，当n充分大时，它们的算数平均$\frac{1}{n}{\sum }_{i=1}^n{X}_i$很可能接近于$\mu$。
  理解：对独立同分布的随机变量求和，当n充分大时，求和的均值与分布均值相似。

• 伯努利大数定理：设$f_A$是n次独立重复实验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意正数$ϵ>0$有：${\lim }_{n\to \infty }P(|\frac{f_A}{n}-p|<ϵ)=1$。
  理解：对于n次独立重复实验，当n充分大时，事件发生的比例可以近似于事件发生的概率。

16. 中心极限定理

• 设随机变量$X_1,X_2,\cdots$独立同分布，$E(X_k)=\mu ,D(X_k)={\sigma }^2$，则当n充分大时，近似有${\sum }_{k=1}^n{X}_k\sim N(n\mu ,n{\sigma }^2)，即\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\sim N(0,1)$。
  理解：独立同分布的随机变量求和，当n趋近于无穷大时，它们和的分布趋近于正太分布。

• 设随机变量$X\sim B(n,p)$，当n充分大时，近似有$X\sim N(np,npq)，即\frac{X-np}{\sqrt{npq}}\sim N(0,1)$。
  理解：对于二项分布，当n充分大时二项分布可以近似于泊松分布和正态分布（中心极限定理）。

17. 三大分布

• ${\chi }^2(n)$分布：若$X_1,X_2,\cdots ,X_n$相互独立，且$X_i\sim N(0,1)$，则$X_1^2+X_2^2+\cdots +X_n^2\sim {\chi }^2(n);$
  理解：$\chi (n{)}^2$分布就是服从于正态分布N(0,1)的相互独立的随机变量的平方和。

• $t(n)$分布：设$X\sim N(0,1),Y\sim {\chi }^2(n)$，X, Y相互独立，则$T=\frac{X}{\sqrt{Y/n}}\sim t(n)$。
  理解：$t(n)$分布就是正态分布除以${\chi }^2(n)$分布。

• $F$分布：设$X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2)$，X, Y相互独立，则$F=\frac{X/n_1}{Y/n_2}$。
  理解：$F$分布就是两个${\chi }^2$分布相除。

18. 点估计

• 求解步骤：
  ①写出总体一阶矩$E(X)=g(\theta )$，和样本一阶矩$\bar{X}$。
  ②令总体矩=样本矩，反解出矩估计量$\hat{\theta }=h(\bar{X})$。

19. 极大似然估计

• 离散型总体的最大似然估计：
  ①计算似然函数$L(\theta )={\prod }_{i=1}^{n}p(x_i,\theta );$
  ②对似然函数取对数$\ln L(\theta )={\sum }_{i=1}^n\ln p(x_i,\theta );$
  ③令$\frac{d}{d\theta }\ln L(\theta )=0$，解出最大似然估计$\hat{\theta };$

• 连续型总体的最大似然估计：
  ①计算似然函数$L(\theta )={\prod }_{i=1}^{n}f(x_i,\theta );$
  ②对似然函数取对数$\ln L(\theta )={\sum }_{i=1}^n\ln f(x_i,\theta );$
  ③令$\frac{d}{d\theta }\ln L(\theta )=0$，解出最大似然估计$\hat{\theta };$