第五章 大数定律和中心极限定理
大数定律预备知识
关于期望的重要不等式
设非负连续性随机变量 \(X\) 的期望 \(E(X)\) 存在，则对于任意实数 \(\varepsilon > 0\)，有
\[
P(X \geq \varepsilon) \leq \frac{E(X)}{\varepsilon}
\]
马尔可夫（Markov）不等式
马尔可夫不等式描述的是非负随机变量绝对位置的概率上限，设随机变量 \(X\) 的 \(k\) 阶绝对原点矩 \(E(|X|^k)\) 存在，则对于任意实数 \(\varepsilon >0\)，则有
\[
P(|X| \geq \varepsilon) \leq \frac{E\left(|X|^{k}\right)}{\varepsilon^{k}}
\]
切比雪夫（Chebyshev）不等式
切比雪夫不等式描述的是随机变量距期望相对位置偏离的概率上限，设随机变量 \(X\) 的期望 \(E(X)=\mu\) ，方差 \(D(X) = \sigma^2\)，则对于任意实数 \(\varepsilon > 0\)，恒有
\[
P(|X-\mu| \geqslant \varepsilon) \leqslant \frac{\sigma^{2}}{\varepsilon^{2}}
\]
或
\[
P(|X-\mu|<\varepsilon)>1-\frac{\sigma^{2}}{\varepsilon^{2}}
\]
依概率收敛
设 \(Y_{1},Y_{2},\cdots,Y_{n},\cdots\) 是一个随机变量序列，\(X\) 是一个随机变量，若 \(\forall \varepsilon > 0\)，有
\[
\lim _{n \rightarrow+\infty} P\left(\left|Y_{n}-X\right| \geqslant \varepsilon\right)=0
\]
或
\[
\lim _{n \rightarrow+\infty} P\left(\left|Y_{n}-X\right|<\varepsilon\right)=1
\]
则称随机变量序列 \(Y_{1},Y_{2},\cdots,Y_{n},\cdots\) 依概率收敛于 \(X\)，记作 \(Y_{n} \underset{n \rightarrow+\infty}{\stackrel{P}{\longrightarrow}} X\)
大数定律
定义
若随机变量序列 \(X_{1},X_{2},\cdots,X_{n},\cdots\) 满足 \(\forall \varepsilon>0\)，有
\[
\lim _{n \rightarrow+\infty} P\left(\left|\frac{1}{n} \sum_{k=1}^{n} X_{k}-\frac{1}{n} \sum_{k=1}^{n} E\left(X_{k}\right)\right|<\varepsilon\right)=1
\]
则称该序列服从 大数定律
- 当试验次数进行到无穷大时，某一随机变量取值的邻域内概率收敛至 1
伯努利（Bernoulli）大数定律
设 \(n_{A}\) 表示 \(n\) 次独立重复试验中事件 \(A\) 发生的次数，\(p\) 是每次试验中 \(A\) 发生的概率 (即 伯努利 试验)，则 \(\forall \varepsilon > 0\)，有
\[
\lim _{n \rightarrow+\infty} P\left(\left|\frac{n_{A}}{n}-p\right| \geqslant \varepsilon\right)=0
\]
或
\[
\lim _{n \rightarrow+\infty} P\left(\left|\frac{n_{A}}{n}-p\right|<\varepsilon\right)=1
\]
即随机事件 \(A\) 在 \(n\) 次试验中发生的 频率 \(\dfrac{n_A}{n}\) 依概率收敛 于 \(A\) 在一次试验中发生的 概率 \(p\)
切比雪夫（Chebyshev）大数定律
若满足以下条件：
- 随机变量序列 \(X_{1},X_{2},\cdots,X_{n},\cdots\) 两两不相关：\(\rho_{X_iX_j} = 0\ (i\neq j)\)
- 方差 存在且 有共同上界：\(D\left(X_{k}\right)=\sigma_{k}^{2} \leqslant \sigma^{2},k= 1,2,\cdots,n,\cdots\)
则该序列服从大数定律，记 \(E(X_k) = \mu_k\)，则 \(\forall \varepsilon > 0\)，则有
\[
\lim _{n \rightarrow+\infty} P\left(\left|\frac{1}{n} \sum_{k=1}^{n} X_{k}-\frac{1}{n} \sum_{k=1}^{n} \mu_{k}\right|<\varepsilon\right)=1
\]
辛钦（Khintchine）大数定律
随机变量序列 \(X_{1},X_{2},\cdots,X_{n},\cdots\) 满足以下条件：
- 独立同分布（i.i.d.）
- 数学期望存在，\(E(X_k) = \mu,k=1,2,\cdots\)
则该序列服从大数定律，对 \(\forall \varepsilon > 0\)，有
\[
\lim _{n \rightarrow+\infty} P\left(\left|\frac{1}{n} \sum_{k=1}^{n} X_{k}-\mu\right|<\varepsilon\right)=1
\]
马尔科夫（Markov）大数定律
设一个随机变量序列满足
\[
D\left(\dfrac1n\sum_{k=1}^{n} X_{k}\right) = \frac{1}{n^{2}} D\left(\sum_{k=1}^{n} X_{k}\right) \stackrel{n \rightarrow \infty}{\longrightarrow } 0
\]
则该随机变量序列服从大数定律，即对 \(\forall \varepsilon > 0\)，有
\[
\lim_{n \rightarrow \infty} P\left(\left|\frac{1}{n} \sum_{i=1}^{n} X_{i}-\frac{1}{n} \sum_{i=1}^{n} E\left(X_{i}\right)\right|<\varepsilon\right)=1
\]
中心极限定理
独立同分布的中心极限定理
设 \(X_{1},X_{2},\cdots,X_{n},\cdots\) 为独立同分布的随机变量序列，\(E(X_k) = \mu,D(X_k) = \sigma^2,k=1,2,\cdots,n,\cdots\)，记 \(\displaystyle\sum_{k=1}^n X_k\) 的标准化随机变量为
\[
Y_n = \dfrac{\displaystyle\sum_{k=1}^nX_k-n\mu}{\sqrt{n}\ \sigma}
\]
则
\[
\lim_{n\to \infty}P(Y_n\le y) \approx \mathit \Phi (y) = \dfrac{1}{\sqrt{2\pi}}\int_{-\infty}^y\mathrm e^{-\frac{t^2}{2}}\ \mathrm dt
\]
即 \(n\to\infty\) 时，\(Y_n\sim N(0,1)\) 或 \(\displaystyle\sum_{k=1}^n X_k \sim N(n\mu,n\sigma^2)\)
\[
P\left(\sum_{k=1}^n X_k \le x\right)\approx \mathit\Phi\left(\dfrac{x - n\mu}{\sqrt n\ \sigma}\right)
\]
棣莫弗—拉普拉斯（De Moivre-Laplace）中心极限定理
随机变量 \(Y_n\sim B(n,p),0<p<1,n=1,2,\cdots\)，则
\[
Y_n\sim N(np,np(1-p)) 或 \dfrac{Y_n - np}{\sqrt{np(1-p)}}\sim N(0,1)
\]
用频率估计概率
可以用切比雪夫不等式估计概率，但是用中心极限定理通过频率估计得到的结果更精确
\[
\begin{aligned} &P\left\{\left|\dfrac{\eta_{n}}{n}-p\right|<\varepsilon\right\}\\ =&P\left\{\left|\dfrac{\eta_{n}-n p}{n}\right|<\varepsilon\right\} \\ =&P\left\{-\varepsilon \sqrt{\dfrac{n}{p q}}<\dfrac{\eta_{n}-n p}{\sqrt{n p q}}<\varepsilon \sqrt{\dfrac{n}{p q}}\right\} \\ \approx &\Phi\left(\varepsilon \sqrt{\dfrac{n}{p q}}\right)-\Phi\left(-\varepsilon \sqrt{\dfrac{n}{p q}}\right)\\ =& 2 \Phi\left(\varepsilon \sqrt{\dfrac{n}{p q}}\right)-1 \end{aligned}
\]