第二章 - 随机变量及其分布

2.1 随机变量与分布函数

随机变量

• 随机变量：随机变量 \(X\) 是一个映射

  \[ X:\Omega\to\mathbb{R} \]

  对样本空间 \(\Omega\) 中每个元素 \(\omega\) 赋予一个实值 \(X(\omega)\)。因此对每个可测集 \(A\subset\mathbb{R}\)，\(\{X\in A\}\) 是一个随机事件，且

  \[ P(X\in A)=P(\{\omega\in\Omega:X(\omega)\in A\}) \]

• 随机变量的特点：

  • 随机变量随试验结果的不同而取不同的值，试验之前只知道它可能取值的范围，而不能预先肯定它将取哪个值

  • 随机变量通常用大写字母 \(X,Y,Z\) 等表示，随机变量所取的值一般采用小写字母 \(x,y,z\) 等

• 随机变量的分布：研究随机变量包括随机变量取哪些值以及随机变量取这些值的概率，这两个问题合在一起称为随机变量的分布

分布函数

• 分布函数：设 \(X\) 为随机变量，其（累积）分布函数为

  \[ F(x)=P(X\leq x),\quad \forall x\in\mathbb{R} \]

• 说明：

  • \(F(x)\) 是定义在实数空间 \(\mathbb{R}\) 上的一元函数。

  • 如果将 \(X\) 看作数轴上随机点的坐标，那么 \(F(x)\) 表示 \(X\) 落在区间 \((-\infty,x]\) 内的概率

  • 对任意 \(a<b\)，

    \[ P(a<X\leq b)=F(b)-F(a) \]

• 分布函数的性质：

  • 正则性：

    \[ 0\leq F(x)\leq1,\qquad F(-\infty)=0,\qquad F(+\infty)=1 \]

  • 单调增函数：\(\forall x_1\leq x_2\)，

    \[ F(x_1)\leq F(x_2) \]

  • 右连续：

    \[ F(x)=F(x+0)=\lim_{y\to x+}F(y) \]

  • 任意满足上述三个性质的函数一定是某个随机变量的分布函数，因此这三个性质是鉴别一个函数是否为某随机变量分布函数的充分必要条件

• 常见概率的计算：

  • 点概率：

    \[ P(X=x)=F(x)-F(x-0) \]

  • 右尾概率：

    \[ P(X>x)=1-F(x) \]

  • 区间概率：

    \[ P(a<X\leq b)=F(b)-F(a) \]
    \[ P(a\leq X\leq b)=F(b)-F(a-0) \]

分位数函数

• 分位数函数：设随机变量 \(X\) 的分布函数为 \(F(x)\)，定义

  \[ F^{-1}(q)=\inf\{x:F(x)>q\},\quad \forall q\in[0,1] \]

• 说明：

  • \(F^{-1}(q)\) 是分布函数 \(F(x)\) 的反函数，它给出了使得 \(F(x) > q\) 成立的最小的 \(x\) 值。

  • \(F^{-1}(1/4)\) 为第一分位数，\(F^{-1}(1/2)\) 为中位数，\(F^{-1}(3/4)\) 为第三分位数

2.2 离散型随机变量

离散型随机变量及其概率质量函数

• 离散型随机变量：如果随机变量 \(X\) 只取有限个或可数个值，则称 \(X\) 是离散型随机变量。

• 概率质量函数：若 \(X\) 的一切可能取值为 \(x_1,x_2,\ldots\)，定义 \(X\) 的概率质量函数为

  \[ f(x)=P(X=x) \]

• 分布律：设离散型随机变量 \(X\) 的一切可能取值为 \(x_1,x_2,\ldots\)，则

  \[ P(X=x_k)=p_k,\quad k=1,2,\ldots \]

  称为 \(X\) 的分布律

• 分布律的性质：

  • 分布律 \(\{p_k\}\) 满足

    \[ p_k\geq0,\qquad \sum_{k=1}^{\infty}p_k=1 \]

  • 如果数列 \(\{p_k\}\) 满足上述条件，它一定是某一离散型随机变量的分布律

  • 分布律与分布函数的关系：

    \[ F(x)=P(X\leq x)=\sum_{x_k\leq x}p_k \]

  • 可测集上的概率：对任意可测集 \(A\subset\mathbb{R}\)，

    \[ P(X\in A)=\sum_{x_k\in A}P(X=x_k) \]

单点分布 \(X\sim\delta_a\)

• 单点分布：若随机变量 \(X\) 的分布律为

  \[ P(X=a)=1 \]

  其中 \(a\) 为给定常数，则称 \(X\) 服从单点分布或退化分布，记为 \(X\sim\delta_a\)

• 概率质量函数：

  \[ f(x)= \begin{cases} 1,&x=a\\ 0,&x\neq a \end{cases} \]

• 分布函数：

  \[ F(x)= \begin{cases} 0,&x<a\\ 1,&x\geq a \end{cases} \]

离散均匀分布

• 离散均匀分布：若随机变量 \(X\) 的分布律为

  \[ P(X=a_k)=\frac1K,\quad k=1,2,\ldots,K \]

  其中 \(a_1,\ldots,a_K\) 为 \(K\) 个不同的实数，则称 \(X\) 在 \(\{a_1,\ldots,a_K\}\) 上服从离散均匀分布

• 概率质量函数：

  \[ f(x)= \begin{cases} \frac1K,&x\in\{a_1,\ldots,a_K\}\\ 0,&x\notin\{a_1,\ldots,a_K\} \end{cases} \]

• 分布函数：

  \[ F(x)= \begin{cases} 0,&x<a_1\\ \frac{k}{K},&a_k\leq x<a_{k+1},\quad k=1,2,\ldots,K-1\\ 1,&x\geq a_K \end{cases} \]

两点分布 \(X\sim B(1,p)\)

• 两点分布：若随机变量 \(X\) 的分布律为

  \[ P(X=0)=1-p,\qquad P(X=1)=p \]

  则称 \(X\) 服从 0-1 分布、两点分布或伯努利分布，记为 \(X\sim B(1,p)\)

• 概率质量函数：

  \[ f(x)=p^x(1-p)^{1-x},\quad x=0\text{ 或 }1,\quad 0<p<1 \]

• 示性随机变量：设 \(A\) 为随机事件，

  \[ I_A(\omega)=I(\omega\in A)= \begin{cases} 1,&\omega\in A\\ 0,&\omega\in\overline A \end{cases} \]

  则 \(I_A\sim B(1,P(A))\)

二项分布 \(X\sim B(n,p)\)

• 二项分布：若随机变量 \(X\) 的分布律为

  \[ P(X=k)=\binom nk p^k(1-p)^{n-k},\quad k=0,1,\ldots,n \]

  其中 \(0<p<1\)，则称 \(X\) 服从二项分布，记为 \(X\sim B(n,p)\)

• \(n\) 重伯努利试验：\(n\) 次试验条件相同，每次只有两个结果，且各次试验相互独立。若成功事件为 \(A\)，则成功次数 \(X\) 服从 \(B(n,P(A))\)，且

  \[ X=\sum_{i=1}^nX_i,\qquad X_i\overset{\mathrm{iid}}{\sim}B(1,P(A)) \]

• 可加性：若 \(X_1\sim B(n_1,p)\)，\(X_2\sim B(n_2,p)\) 且相互独立，则

  \[ X_1+X_2\sim B(n_1+n_2,p) \]

泊松分布 \(X\sim P(\lambda)\)

• 泊松逼近定理：当 \(n\to\infty\) 且 \(np_n\to\lambda>0\) 时，对任意 \(k=0,1,2,\ldots\)，有

  \[ \lim_{n\to\infty}\binom nkp_n^k(1-p_n)^{n-k} =\frac{\lambda^k}{k!}e^{-\lambda} \]

• 泊松分布：若随机变量 \(X\) 的分布律为

  \[ P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},\quad k=0,1,2,\ldots,\quad\lambda>0 \]

  则称 \(X\) 服从泊松分布，记为 \(X\sim P(\lambda)\)

• 说明：

  • 泊松分布常用于描述稀有事件在一定时间或空间内发生的次数

  • 当 \(np\to\lambda\) 时，二项分布可以由泊松分布近似

• 可加性：若 \(X_1\sim P(\lambda_1)\)，\(X_2\sim P(\lambda_2)\) 且相互独立，则

  \[ X_1+X_2\sim P(\lambda_1+\lambda_2) \]

负二项分布 \(X\sim NB(r,p)\)

• 负二项分布：若随机变量 \(X\) 的分布律为

  \[ P(X=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r},\quad k=r,r+1,\ldots \]

  其中 \(r\) 为正整数，\(0<p<1\)，则称 \(X\) 服从负二项分布，记为 \(X\sim NB(r,p)\)

• 说明：负二项分布描述独立重复的伯努利试验中，第 \(r\) 次试验成功发生时的试验次数 \(X\)

几何分布 \(X\sim G(p)\)

• 几何分布：若随机变量 \(X\) 的分布律为

  \[ P(X=k)=(1-p)^{k-1}p,\quad k=1,2,\ldots \]

  其中 \(0<p<1\)，则称 \(X\) 服从几何分布，记为 \(X\sim G(p)\)

• 说明：几何分布是负二项分布 \(r=1\) 的特例，描述独立重复的伯努利试验中，第 1 次试验成功发生时的试验次数 \(X\)

• 无记忆性：\(X\sim G(p)\) 当且仅当对任意正整数 \(m,n\)，

  \[ P(X>m+n\mid X>m)=P(X>n) \]

2.3 连续型随机变量

连续型随机变量及其概率密度函数

• 连续型随机变量：设随机变量 \(X\) 的分布函数为 \(F(x)\)，若存在非负函数 \(f(x)\geq0\)，满足 \(\forall x\in\mathbb{R}\)，

  \[ F(x)=\int_{-\infty}^{x}f(t)\,dt \]

  则称 \(X\) 为连续型随机变量，\(f(x)\) 为 概率密度函数，简称密度函数，记作 \(X\sim f(x)\)

• 概率密度函数的性质：

  • 非负性：

    \[ f(x)\geq0,\quad\forall x\in\mathbb{R} \]

  • 归一性：

    \[ \int_{-\infty}^{+\infty}f(x)\,dx=1 \]

  • 区间概率：

    \[ P(a<X\leq b)=\int_a^bf(x)\,dx \]

  • 任意集合上的概率：对任意可测集 \(A\subset\mathbb{R}\)，

    \[ P(X\in A)=\int_Af(x)\,dx \]

  • 若 \(f(x)\) 在 \(x_0\) 点连续，则

    \[ F'(x_0)=f(x_0) \]

  • 点概率为零：

    \[ P(X=a)=0 \]

    因此对任意 \(a<b\)，

    \[ P(a<X<b)=P(a<X\leq b)=P(a\leq X<b)=P(a\leq X\leq b)=\int_a^bf(x)\,dx \]

均匀分布 \(X\sim U(a,b)\)

• 均匀分布：设随机变量 \(X\) 在有限区间 \((a,b)\) 内取值 \(-\infty<a<b<\infty\)，且概率密度函数

  \[ f(x)=\frac1{b-a}I(a<x<b) \]

  则称 \(X\) 服从区间 \((a,b)\) 上的均匀分布，记为 \(X\sim U(a,b)\)

• 分布函数：

  \[ F(x)= \begin{cases} 0,&x<a\\ \dfrac{x-a}{b-a},&a\leq x<b\\ 1,&x\geq b \end{cases} \]

• 对任意长度为 \(d\) 的区间 \((c,c+d)\)，\(a\leq c<c+d\leq b\)，

  \[ P(c<X<c+d)=\frac{d}{b-a} \]

正态分布 \(X\sim N(\mu,\sigma^2)\)

• 正态分布：设随机变量 \(X\) 的概率密度函数为

  \[ f(x)=\frac1{\sqrt{2\pi}\sigma} \exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\},\quad x\in\mathbb{R} \]

  其中 \(\mu\in\mathbb{R}\)，\(\sigma>0\)，则称 \(X\) 服从参数为 \((\mu,\sigma^2)\) 的正态分布，记为 \(X\sim N(\mu,\sigma^2)\)

• 性质：

  • 钟形曲线，两头小、中间大，关于 \(x=\mu\) 对称

  • 最大值在 \(x=\mu\) 处取得，\(f(\mu)=\frac1{\sqrt{2\pi}\sigma}\)

  • \(\mu\) 为位置参数，决定图形中心位置

  • \(\sigma>0\) 为尺度参数，决定图形峰的陡峭程度

  • \(\mu\) 和 \(\sigma\) 唯一确定一个正态分布

• 标准正态分布：\(\mu = 0, \sigma = 1\) 的正态分布称为标准正态分布，其密度函数和分布函数分别为

  \[ \varphi(x)=\frac1{\sqrt{2\pi}}e^{-x^2/2} \]
  \[ \Phi(x)=\frac1{\sqrt{2\pi}}\int_{-\infty}^xe^{-t^2/2}\,dt \]

• 正态分布的性质：

  • 对称性：

    \[ f(\mu-x)=f(\mu+x),\qquad F(\mu-x)+F(\mu+x)=1 \]

    对于标准正态分布

    \[ \varphi(-x)=\varphi(x),\qquad \Phi(-x)+\Phi(x)=1 \]

  • 标准化变换：若 \(X\sim N(\mu,\sigma^2)\)，则

    \[ Z\triangleq\frac{X-\mu}{\sigma}\sim N(0,1) \]

  • 区间概率：若 \(X\sim N(\mu,\sigma^2)\)，则

    \[ P(a<X<b)=P\left(\frac{a-\mu}{\sigma}<Z<\frac{b-\mu}{\sigma}\right)= \Phi\left(\frac{b-\mu}{\sigma}\right) -\Phi\left(\frac{a-\mu}{\sigma}\right) \]

  • 可加性：若 \(X_i\sim N(\mu_i,\sigma_i^2)\)，\(i=1,\ldots,n\) 相互独立，则

    \[ \sum_{i=1}^nX_i\sim N\left(\sum_{i=1}^n\mu_i,\sum_{i=1}^n\sigma_i^2\right) \]

• 标准正态分布的上 \(\alpha\) 分位数：若 \(Z\sim N(0,1)\) 且

  \[ P(Z>z_\alpha)=\alpha,\quad0<\alpha<1 \]

  则 \(z_\alpha\) 为标准正态分布的上 \(\alpha\) 分位数

  • 特点：

    • \(P(Z<-z_\alpha)=\alpha\)

    • \(z_{1-\alpha}=-z_\alpha\)

指数分布 \(X\sim\operatorname{Exp}(\lambda)\)

• 指数分布：设随机变量 \(X\) 的概率密度函数为

  \[ f(x)=\lambda e^{-\lambda x}I(x>0) \]

  其中 \(\lambda>0\)，则称 \(X\) 服从参数为 \(\lambda\) 的指数分布，记为 \(X\sim\operatorname{Exp}(\lambda)\)

• 说明：指数分布常用于描述事件发生的时间间隔，也用于可靠性分析

• 分布函数：

  \[ F(x)=1-e^{-\lambda x},\quad x>0 \]

• 泊松分布与指数分布的关系：

  • 在给定时间段内，事件发生的次数服从泊松分布的随机过程称为泊松过程。如果事件遵循参数为 \(\lambda\) 的泊松过程，其两个连续事件发生的时间间隔 \(T\) 服从参数为 \(\lambda\) 的指数分布

  • 若连续事件发生的时间间隔 \(T\) 服从参数为 \(\lambda\) 的指数分布，则固定时间段 \(t\) 内事件发生次数 \(X\) 服从参数为 \(\lambda t\) 的泊松分布

• 无记忆性：若 \(X\) 服从指数分布，则对任意 \(m,n>0\)，

  \[ P(X>m+n\mid X>m)=P(X>n) \]

伽马分布 \(X\sim Ga(\alpha,\lambda)\)

• 伽马函数：

  \[ \Gamma(\alpha)=\int_0^\infty y^{\alpha-1}e^{-y}\,dy,\quad\alpha>0 \]

• 伽马分布：设随机变量 \(X\) 的概率密度函数为

  \[ f(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},\quad x>0 \]

  其中 \(\alpha>0,\lambda>0\)，则称 \(X\) 服从参数为 \(\alpha,\lambda\) 的伽马分布，记为 \(X\sim Ga(\alpha,\lambda)\)

• 说明：

  • 伽马分布是一种描述事件发生两次或多次之前的总工作时间的分布

  • 伽马分布是右偏分布，由 \(\alpha\) 和 \(\lambda\) 唯一确定；当 \(\alpha=1\) 时为指数分布

  • \(\alpha\) 为形状参数，随着 \(\alpha\) 的增大，分布变得更加集中和对称

  • \(\lambda\) 称为尺度参数，随着 \(\lambda\) 的增大，分布变得更加平坦

• 可加性：若 \(X_1\sim Ga(\alpha_1,\lambda)\)，\(X_2\sim Ga(\alpha_2,\lambda)\) 且相互独立，则

  \[ X_1+X_2\sim Ga(\alpha_1+\alpha_2,\lambda) \]

卡方分布 \(X\sim\chi^2(n)\)

• 卡方分布：设随机变量 \(X\) 的概率密度函数为

  \[ f(x)=\frac1{\Gamma(n/2)2^{n/2}}x^{n/2-1}e^{-x/2},\quad x>0 \]

  则称 \(X\) 服从自由度为 \(n\) 的卡方分布，记为 \(X\sim\chi^2(n)\)

• 卡方分布是伽马分布的特例：

  \[ \alpha=\frac n2,\qquad\lambda=\frac12 \]

• 卡方分布的性质：

  • 卡方分布是由正态分布派生出来的一种分布: 若 \(X_i \sim N(0,1)\)，\(i=1,\ldots,n\) 相互独立，则

    \[ \chi^2\triangleq\sum_{i=1}^nX_i^2\sim\chi^2(n) \]

  • 若 \(X_i\sim N(\mu,\sigma^2)\)，\(i=1,\ldots,n\) 相互独立，则

    \[ \frac1{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\sim\chi^2(n) \]

  • 可加性：若 \(X_1\sim\chi^2(n_1)\)，\(X_2\sim\chi^2(n_2)\) 且相互独立，则

    \[ X_1+X_2\sim\chi^2(n_1+n_2) \]

• 卡方分布的上 \(\alpha\) 分位数：设 \(X\sim\chi^2(n)\) 且

  \[ P(X>\chi_\alpha^2(n))=\alpha,\quad0<\alpha<1 \]

  则称 \(\chi_\alpha^2(n)\) 为 \(\chi^2(n)\) 分布的上 \(\alpha\) 分位数

\(t\) 分布 \(X\sim t(n)\)

• \(t\) 分布：设随机变量 \(X\) 的概率密度函数为

  \[ f(x)= \frac{\Gamma\left(\frac{n+1}{2}\right)} {\Gamma\left(\frac n2\right)\sqrt{n\pi}} \left(1+\frac{x^2}{n}\right)^{-(n+1)/2}, \quad x\in\mathbb{R} \]

  则称 \(X\) 服从自由度为 \(n\) 的 \(t\) 分布，记为 \(X\sim t(n)\)

• 说明：

  • \(t\) 分布主要用于小样本的假设检验和置信区间估计

  • 柯西分布是 \(t\) 分布 \(n=1\) 的特例，无均值和方差：

    \[ f(x)=\frac1{\pi(1+x^2)},\quad x\in\mathbb{R} \]

• 性质：

  • \(t\) 分布的密度函数关于 \(t=0\) 对称，是单峰偶函数，在 \(t=0\) 处取得最大值

  • \(t\) 分布是重尾分布，随着自由度 \(n\) 增大逐渐接近标准正态分布

  • \(t\) 分布可由标准正态分布和卡方分布派生出来：若 \(X\sim N(0,1)\)，\(Y\sim\chi^2(n)\) 且相互独立，则

    \[ T\triangleq\frac{X}{\sqrt{Y/n}}\sim t(n) \]

• \(t\) 分布的上 \(\alpha\) 分位数：设 \(X\sim t(n)\) 且

  \[ P(X>t_\alpha(n))=\alpha,\quad0<\alpha<1 \]

  则 \(t_\alpha(n)\) 为 \(t\) 分布的上 \(\alpha\) 分位数

  • 特点：

    \[ t_{1-\alpha}(n)=-t_\alpha(n) \]

\(F\) 分布 \(X\sim F(n_1,n_2)\)

• \(F\) 分布：设随机变量 \(X\) 的概率密度函数为

  \[ f(x)= \frac{\Gamma\left(\frac{n_1+n_2}{2}\right)\left(\frac{n_1}{n_2}\right)^{n_1/2}x^{n_1/2-1}} {\Gamma\left(\frac{n_1}{2}\right)\Gamma\left(\frac{n_2}{2}\right)\left(1+\frac{n_1}{n_2}x\right)^{-(n_1+n_2)/2}} ,\quad x>0 \]

  则称 \(X\) 服从自由度为 \(n_1\) 和 \(n_2\) 的 \(F\) 分布，记为 \(X\sim F(n_1,n_2)\)

• 说明：

  • \(F\) 分布主要用于方差分析、回归分析中方程的显著性检验等问题

  • \(F\) 分布的参数 \(n_1,n_2\) 是有顺序的；若 \(n_1\neq n_2\)，交换顺序会得到不同的 \(F\) 分布

  • \(F\) 分布是右偏分布，\(n_2\) 越小右偏越严重

• 性质：

  • 若 \(X_1\sim\chi^2(n_1)\)，\(X_2\sim\chi^2(n_2)\) 且相互独立，则

    \[ F\triangleq \frac{X_1/n_1}{X_2/n_2}\sim F(n_1,n_2) \]

  • 若 \(F\sim F(n_1,n_2)\)，则

    \[ \frac1F\sim F(n_2,n_1) \]

  • 若 \(T\sim t(n)\)，则

    \[ T^2\sim F(1,n) \]

• \(F\) 分布的上 \(\alpha\) 分位数：设 \(X\sim F(n_1,n_2)\) 且

  \[ P(X>F_\alpha(n_1,n_2))=\alpha,\quad0<\alpha<1 \]

  则 \(F_\alpha(n_1,n_2)\) 为 \(F\) 分布的上 \(\alpha\) 分位数

  • 特点：

    \[ F_{1-\alpha}(n_1,n_2)=\frac1{F_\alpha(n_2,n_1)} \]

2.4 随机变量函数的分布

离散型随机变量函数的分布

• 离散型随机变量函数的分布：假设 \(X\) 的分布律为

  \[ P(X=x_i)=p_i \]

  则 \(Y=g(X)\) 的分布律为

  \[ P(Y=g(x_k))=\sum_{i:g(x_i)=g(x_k)}p_i \]

连续型随机变量函数的分布

• 分布函数法：设 \(X\sim f(x)\)，\(Y=g(X)\)，则随机变量 \(Y\) 的分布函数为

  \[ F_Y(y) =P(Y\leq y) =P(g(X)\leq y) =\int_{\{x:g(x)\leq y\}}f(x)\,dx \]

• 密度函数变换公式：设 \(X\) 是取值于区间 \([a,b]\) 的连续型随机变量，具有密度函数 \(f(x)\)，\(Y=g(X)\)。若 \(g(x)\) 处处可导，且对任意 \(x\) 恒有 \(g'(x)>0\) 或恒有 \(g'(x)<0\)，则 \(Y\) 仍为连续型随机变量，其密度函数为

  \[ f_Y(y)= \begin{cases} f[h(y)]|h'(y)|,&\alpha<y<\beta\\ 0,&\text{其它} \end{cases} \]

  其中 \(\alpha=\min_{a\leq x\leq b}g(x),\beta=\max_{a\leq x\leq b}g(x)\)，\(x=h(y)\) 是 \(y=g(x)\) 的反函数

• 正态随机变量的线性变换

  • 若 \(X\sim N(\mu,\sigma^2)\)，\(Y=aX+b\) 且 \(a\neq0\)，则

    \[ Y\sim N(a\mu+b,a^2\sigma^2) \]

  • 特别地，任一正态随机变量 \(Y\sim N(\mu,\sigma^2)\) 都可以由标准正态随机变量 \(X\sim N(0,1)\) 线性表出：

    \[ Y=\sigma X+\mu \]