第五章 - 概率不等式和极限定理¶
5.1 概率不等式¶
马尔可夫不等式¶
-
马尔可夫不等式（Markov's inequality）：设 \(X\) 为非负随机变量，且 \(E(X)<\infty\)，则对任意 \(\varepsilon>0\)，有
\[ P(X\geq\varepsilon)\leq\frac{E(X)}{\varepsilon} \] -
偏离常数的概率界：对任意常数 \(a\)，若 \(E(|X-a|)<\infty\)，则
\[ P(|X-a|\geq\varepsilon)\leq\frac{E(|X-a|)}{\varepsilon} \]更一般地，若 \(r>0\) 且 \(E(|X-a|^r)<\infty\)，则
\[ P(|X-a|\geq\varepsilon)\leq\frac{E(|X-a|^r)}{\varepsilon^r} \] -
说明：
-
利用示性函数证明：
\[ \epsilon\cdot I(X\geq\varepsilon)\leq X \]两边取期望得：
\[ \varepsilon\cdot P(X\geq\varepsilon)\leq E(X) \] -
不要求已知随机变量的具体分布，只利用非负性和矩条件给出尾概率的上界。
-
偏离概率会随着 \(\varepsilon\) 增大而减小，且衰减速度是 \(O(\varepsilon^{-r})\)，矩条件为 \(E(X)<\infty\)
-
切比雪夫不等式¶
-
切比雪夫不等式（Chebyshev's inequality）：设 \(E(X)=\mu\)、\(\operatorname{var}(X)=\sigma^2<\infty\)，则对任意 \(\varepsilon>0\)，有
\[ P(|X-\mu|\geq\varepsilon)\leq\frac{\sigma^2}{\varepsilon^2} \]等价地，
\[ P(|X-\mu|<\varepsilon)\geq1-\frac{\sigma^2}{\varepsilon^2} \] -
说明：
-
将马尔可夫不等式用于 \((X-\mu)^2\) 即可得到切比雪夫不等式。
-
衰减速度为 \(O(\varepsilon^{-2})\)，相应的矩条件更强，要求 \(E[(X-\mu)^2]<\infty\)。
-
霍夫丁不等式¶
-
霍夫丁引理（Hoeffding's lemma）：若 \(a\leq X\leq b\) 几乎处处成立，则对任意 \(t\in\mathbb R\)，有
\[ E\{\exp[t(X-E(X))]\}\leq\exp\left\{\frac{t^2(b-a)^2}{8}\right\} \] -
霍夫丁不等式（Hoeffding's inequality）：设 \(X_1,\ldots,X_n\) 相互独立，且 \(a_i\leq X_i\leq b_i\)。记
\[ S_n=\sum_{i=1}^nX_i,\qquad B_n=\sum_{i=1}^n(b_i-a_i)^2 \]当 \(B_n>0\) 时，对任意 \(\varepsilon>0, t>0\)，有
\[ P(\sum_{i=1}^n[X_i-E(X_i)]\geq\varepsilon)\leq e^{-t\varepsilon}\prod_{i=1}^n\exp\left(\frac{t^2(b_i-a_i)^2}{8}\right) \]即
\[ P(S_n-E(S_n)\geq\varepsilon)\leq\exp\left(-t\varepsilon+\frac{t^2B_n}{8}\right) \] -
霍夫丁不等式的推广：设 \(X_1,\ldots,X_n\) 相互独立，且 \(a_i\leq X_i\leq b_i\)。由于霍夫丁不等式对任意 \(t>0\) 都成立，可以令不等式右侧取最小值。对 \(t\) 求导并令其为零，可以得到最优参数 \(t=\frac{4\varepsilon}{B_n}\)，代入可得：
-
上尾概率界：
\[ P(S_n-E(S_n)\geq\varepsilon)\leq\exp\left(-\frac{2\varepsilon^2}{B_n}\right) \] -
下尾概率界：
\[ P(S_n-E(S_n)\leq-\varepsilon)\leq\exp\left(-\frac{2\varepsilon^2}{B_n}\right) \] -
双侧概率界：
\[ P(|S_n-E(S_n)|\geq\varepsilon)\leq2\exp\left(-\frac{2\varepsilon^2}{B_n}\right) \]
-
-
伯努利频率的偏差界：若 \(X_i\overset{\mathrm{iid}}{\sim}B(1,p)\)，则
\[ P(|\bar X-p|\geq\varepsilon)\leq2e^{-2n\varepsilon^2} \]其中 \(\bar X=\frac{1}{n}\sum_{i=1}^nX_i\)。要使该上界不超过 \(\alpha\)，只需
\[ n\geq\frac{\ln(2/\alpha)}{2\varepsilon^2} \] -
说明：
-
霍夫丁不等式不要求同分布，但要求独立且有界；
-
在固定偏差阈值下，伯努利频率的尾概率界随 \(n\) 指数衰减。
-
詹森不等式¶
-
凸函数：若对任意定义域内的 \(x,y\) 和 \(\alpha\in[0,1]\)，都有
\[ g(\alpha x+(1-\alpha)y)\leq\alpha g(x)+(1-\alpha)g(y) \]则称 \(g\) 为凸函数；不等号反向时称为凹函数。
-
詹森不等式（Jensen's inequality）：设 \(X\) 的取值位于 \(g\) 的凸定义域内，且 \(E(X)\)、\(E[g(X)]\) 均存在。
-
若 \(g\) 为凸函数，则
\[ g(E(X))\leq E[g(X)] \] -
若 \(g\) 为凹函数，则
\[ g(E(X))\geq E[g(X)] \]
-
5.2 极限定理¶
随机变量序列收敛的类型¶
依概率收敛¶
-
依概率收敛：设 \(\{X_n\}\) 是一个随机变量序列，\(X\) 是一个随机变量。若对任意 \(\varepsilon>0\)，
\[ \lim_{n\to\infty}P(|X_n-X|>\varepsilon)=0 \]则称 \(\{X_n\}\) 依概率收敛到 \(X\)，记为
\[ X_n\xrightarrow{\mathcal P}X \] -
说明：依概率收敛表示偏差超过任意固定正数的概率趋于 \(0\)，不要求 \(P(X_n=X)\to1\)。
依分布收敛¶
-
依分布收敛：设 \(\{X_n\}\) 是一个随机变量序列，\(X\) 是一个随机变量，\(X_n\) 与 \(X\) 的分布函数分别为 \(F_n\) 和 \(F\)，若对 \(F\) 的所有连续点 \(x\)，都有
\[ \lim_{n\to\infty}F_n(x)=F(x) \]则称 \(\{X_n\}\) 依分布收敛到 \(X\)，也称 \(F_n\) 弱收敛到 \(F\)，记为
\[ X_n\xrightarrow{\mathcal L}X \] -
说明：
-
依分布收敛只涉及分布，不要求 \(X_n\) 与 \(X\) 定义在同一概率空间上。
-
只需在极限分布函数的连续点检验收敛，不要求在跳跃点收敛。
-
\(r\) 阶矩收敛¶
-
\(r\) 阶矩收敛：设 \(\{X_n\}\) 是一个随机变量序列，\(X\) 是一个随机变量，若二者存在 \(r\) 阶原点矩，即 \(E(|X_n|^r)<\infty\)、\(E(|X|^r)<\infty\)，其中 \(r>0\)。若
\[ \lim_{n\to\infty}E(|X_n-X|^r)=0 \]则称 \(\{X_n\}\) 依 \(r\) 阶矩收敛到 \(X\)，记为
\[ X_n\xrightarrow{r}X \] -
\(r\) 阶均方收敛：当 \(r=2\) 时，若
\[ \lim_{n\to\infty}E[(X_n-X)^2]=0 \]则称 \(\{X_n\}\) 均方收敛到 \(X\)，记为
\[ X_n\xrightarrow{\mathrm{qm}}X \]
三种收敛之间的关系¶
-
蕴含关系：
\[ X_n\xrightarrow{r}X\quad\Longrightarrow\quad X_n\xrightarrow{\mathcal P}X\quad\Longrightarrow\quad X_n\xrightarrow{\mathcal L}X \]第一个蕴含可由马尔可夫不等式得到：
\[ P(|X_n-X|>\varepsilon)\leq\frac{E(|X_n-X|^r)}{\varepsilon^r}\longrightarrow0 \] -
常数极限的特殊情况：若 \(c\) 为常数，则
\[ X_n\xrightarrow{\mathcal L}c\quad\Longleftrightarrow\quad X_n\xrightarrow{\mathcal P}c \]
收敛的运算性质¶
-
依概率收敛的四则运算：设 \(\{X_n\}, \{Y_n\}\) 是随机变量序列，\(X,Y\) 是随机变量，\(a,b\in\mathbb R\)，若 \(X_n\xrightarrow{P}X\)、\(Y_n\xrightarrow{P}Y\)，则
-
线性组合依概率收敛：
\[ aX_n\pm bY_n\xrightarrow{\mathcal P}aX\pm bY \] -
乘积依概率收敛：
\[ X_nY_n\xrightarrow{\mathcal P}XY \] -
若 \(Y\ne0\)，则比值依概率收敛：
\[ \frac{X_n}{Y_n}\xrightarrow{\mathcal P}\frac XY \] -
二维随机向量序列依概率收敛：
\[ \begin{pmatrix}X_n\\Y_n\end{pmatrix}\xrightarrow{\mathcal P}\begin{pmatrix}X\\Y\end{pmatrix} \]
-
-
斯卢茨基定理（Slutsky's theorem）：设 \(\{X_n\}, \{Y_n\}\) 是随机变量序列，\(X,Y\) 是随机变量，\(c\) 为常数，若 \(X_n\xrightarrow{\mathcal L}X\)、\(Y_n\xrightarrow{\mathcal L}c\)，则
-
线性组合依分布收敛：
\[ X_n\pm Y_n\xrightarrow{\mathcal L}X\pm c \] -
乘积依分布收敛：
\[ X_nY_n\xrightarrow{\mathcal L}cX \] -
若 \(c\ne0\)，则比值依分布收敛：
\[ \frac{X_n}{Y_n}\xrightarrow{\mathcal L}\frac Xc \] -
二维随机向量序列依分布收敛：
\[ \begin{pmatrix}X_n\\Y_n\end{pmatrix}\xrightarrow{\mathcal L}\begin{pmatrix}X\\c\end{pmatrix} \]
-
-
连续映射定理：设 \(\{X_n\}\) 是随机变量序列，\(X\) 是随机变量，若存在 \(C\subset\mathbb R\) 使得 \(g\) 在集合 \(C\) 上连续，且 \(P(X\in C)=1\)，则
\[ X_n\xrightarrow{P}X\quad\Longrightarrow\quad g(X_n)\xrightarrow{P}g(X) \]\[ X_n\xrightarrow{\mathcal L}X\quad\Longrightarrow\quad g(X_n)\xrightarrow{\mathcal L}g(X) \]- 示例：若 \(X_n\xrightarrow{\mathcal L}N(0,1)\)，则 \(X_n^2\xrightarrow{\mathcal L}\chi^2(1)\)。
-
\(r\) 阶矩收敛的线性运算：设 \(\{X_n\}, \{Y_n\}\) 是随机变量序列，\(X,Y\) 是随机变量，\(a,b\in\mathbb R\)，若 \(X_n\xrightarrow{r}X\)、\(Y_n\xrightarrow{r}Y\)，则
\[ aX_n\pm bY_n\xrightarrow{r}aX\pm bY \] -
渐近等价：若随机变量序列 \(\{X_n\}, \{Y_n\}\) 满足 \(X_n-Y_n\xrightarrow{\mathcal P}0\)，则称两随机变量序列渐近等价。
-
若 \(X_n\xrightarrow{\mathcal L}X\) 且 \(\{X_n\}\) 与 \(\{Y_n\}\) 渐近等价，则
\[ Y_n=X_n+(Y_n-X_n)\xrightarrow{\mathcal L}X \]
-
大数定律¶
-
辛钦大数定律：设 \(X_1,X_2,\ldots\) 独立同分布，且 \(E(|X_i|)<\infty\)、\(E(X_i)=\mu\)，则
\[ \bar X=\frac1n\sum_{i=1}^nX_i\xrightarrow{\mathcal P}\mu \]即对任意 \(\varepsilon>0\)，
\[ \lim_{n\to\infty}P(|\bar X-\mu|<\varepsilon)=1 \]- 说明：仅要求期望存在，不要求方差有限；有限方差时也可直接用切比雪夫不等式证明。
-
伯努利大数定律：设 \(n_A\) 为 \(n\) 次独立重复试验中事件 \(A\) 发生的次数，每次发生概率为 \(p\)，则
\[ \frac{n_A}{n}\xrightarrow{\mathcal P}p \]即对任意 \(\varepsilon>0\)，
\[ \lim_{n\to\infty}P\left(\left|\frac{n_A}{n}-p\right|<\varepsilon\right)=1 \]- 含义：频率具有稳定性，在大量独立重复试验中可以用频率估计概率。
-
样本方差的一致性：若 \(X_i\) 独立同分布且 \(\operatorname{var}(X_i)=\sigma^2<\infty\)，定义样本方差
\[ S_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2 \]则
\[ S_n^2\xrightarrow{\mathcal P}\sigma^2 \]-
推导：利用分解
\[ S_n^2=\frac n{n-1}\left[\frac1n\sum_{i=1}^n(X_i-\mu)^2-(\bar X-\mu)^2\right] \]由大数定律，第一项收敛到 \(E[(X_i-\mu)^2]=\sigma^2\)，第二项依概率收敛到 \(0\)，再结合 \(\frac{n}{n-1}\to 1\) 即得结论。
-
中心极限定理¶
-
林德伯格-莱维中心极限定理：设 \(X_1,X_2,\ldots\) 独立同分布，\(E(X_i)=\mu\)、\(0<\operatorname{var}(X_i)=\sigma^2<\infty\)，则
\[ Z_n=\frac{\sqrt n(\bar X-\mu)}\sigma =\frac{\sum_{i=1}^nX_i-n\mu}{\sigma\sqrt n} \xrightarrow{\mathcal L}N(0,1) \]即对任意 \(z\in\mathbb R\)，
\[ \lim_{n\to\infty}P(Z_n\leq z)=\Phi(z)=\int_{-\infty}^z\frac1{\sqrt{2\pi}}e^{-t^2/2}\,\mathrm dt \] -
渐近正态近似：当 \(n\) 较大时，按标准化均值、中心化均值、均值及总和的顺序，可写为
\[ \begin{aligned} \frac{\sqrt n(\bar X-\mu)}\sigma &\approx AN(0,1)\\[5pt] \sqrt n(\bar X-\mu) &\approx AN(0,\sigma^2)\\[5pt] \bar X-\mu &\approx AN\left(0,\frac{\sigma^2}{n}\right)\\[5pt] \bar X &\approx AN\left(\mu,\frac{\sigma^2}{n}\right)\\[5pt] \sum_{i=1}^nX_i &\approx AN(n\mu,n\sigma^2) \end{aligned} \] -
用样本标准差替代总体标准差：若 \(X_i\) 独立同分布且 \(\operatorname{var}(X_i)=\sigma^2<\infty\)，则样本标准差 \(S_n\xrightarrow{P}\sigma>0\)，则
\[ \frac{\sqrt n(\bar X_n-\mu)}{S_n} =\frac{\sqrt n(\bar X_n-\mu)}\sigma\cdot\frac\sigma{S_n} \xrightarrow{\mathcal L}N(0,1) \] -
多元中心极限定理：设 \(\mathbf X_1,\mathbf X_2,\ldots\) 为独立同分布的 \(k\) 维随机向量，具有有限二阶矩，均值向量为 \(\boldsymbol\mu\)，协方差矩阵为 \(\Sigma\)。即
\[ \mathbf{X_i}=\begin{pmatrix}X_{i1}\\\vdots\\X_{ik}\end{pmatrix},\qquad E(\mathbf{X_i})=\begin{pmatrix}E(X_{i1})\\\vdots\\E(X_{ik})\end{pmatrix}=\begin{pmatrix}\mu_1\\\vdots\\\mu_k\end{pmatrix}\triangleq\boldsymbol\mu \\[10pt] \operatorname{cov}(\mathbf{X_i})=\begin{pmatrix}\operatorname{var}(X_{i1})&\cdots&\operatorname{cov}(X_{i1},X_{ik})\\\vdots&\ddots&\vdots\\\operatorname{cov}(X_{ik},X_{i1})&\cdots&\operatorname{var}(X_{ik})\end{pmatrix}\triangleq\Sigma \]令
\[ \bar{\mathbf X}=\frac1n\sum_{i=1}^n\mathbf X_i \]则
\[ \sqrt n(\bar{\mathbf X}-\boldsymbol\mu)\xrightarrow{\mathcal L}N_k(\mathbf0,\Sigma) \]-
说明：
-
不同样本向量之间要求独立，同一样本向量内的分量可以相关，其关系由 \(\Sigma\) 描述。
-
\(\Sigma\) 可以奇异，此时极限正态分布可能退化。
-
-
德尔塔（Delta）方法¶
-
一元 Delta 方法：若随机变量序列 \(\{Y_n\}\) 是渐近正态的，即
\[ \frac{\sqrt n(Y_n-\mu)}{\sigma}\xrightarrow{\mathcal L}N(0,1),\qquad\sigma>0 \]且 \(g:\mathbb R\to\mathbb R\) 在 \(\mu\) 处可微，\(g'(\mu)\ne0\)，则
\[ \frac{\sqrt n[g(Y_n)-g(\mu)]}{|g'(\mu)|\sigma}\xrightarrow{\mathcal L}N\left(0,1\right) \]因而大样本下可近似写成
\[ g(Y_n)\approx AN\left(g(\mu),\frac{[g'(\mu)]^2\sigma^2}{n}\right) \]-
基本思想：在 \(\mu\) 附近作一阶泰勒展开，
\[ g(Y_n)-g(\mu)\approx g'(\mu)(Y_n-\mu) \]由一阶线性项确定变换后的渐近方差。
-
说明：若 \(g'(\mu)=0\)，一阶 Delta 方法在 \(\sqrt n\) 尺度下只给出退化极限，不能使用上述标准化公式；要获得非退化极限需进一步考察更高阶展开。
-
-
多元 Delta 方法：若随机变量序列 \(\{\mathbf Y_n = (Y_{n1},\ldots,Y_{nk})^\top\}\) 是渐近正态的，即
\[ \sqrt n(\mathbf Y_n-\boldsymbol\mu)\xrightarrow{\mathcal L}N_k(\mathbf0,\Sigma) \]且 \(g:\mathbb R^k\to\mathbb R\) 在 \(\boldsymbol\mu\) 处可微，记梯度列向量为
\[ \nabla g(\boldsymbol\mu)=\left(\frac{\partial g}{\partial y_1}(\boldsymbol\mu),\ldots, \frac{\partial g}{\partial y_k}(\boldsymbol\mu)\right)^\top \]则
\[ \sqrt n[g(\mathbf Y_n)-g(\boldsymbol\mu)] \xrightarrow{\mathcal L}N\left(0,\nabla g(\boldsymbol\mu)^\top\Sigma\nabla g(\boldsymbol\mu)\right) \]- 说明：不要求梯度的每个分量均非零。要使极限非退化，需要 \(\nabla g(\boldsymbol\mu)^\top\Sigma\nabla g(\boldsymbol\mu)>0\)；该值为 \(0\) 时极限退化于 \(0\)。