第零章 - 常见分布

0.1 离散型分布

单点分布 \(X\sim\delta_c\)

• 含义：随机变量恒等于常数 \(c\)，也称退化分布。

• 分布律：

  \[ P(X=c)=1 \]

• 分布函数：

  \[ F_X(x)=I(x\geq c) \]

• 数学期望：

  \[ E(X)=c \]

• 方差：

  \[ \operatorname{var}(X)=0 \]

期望和方差的推导

\[ E(X)=c\cdot1=c,\qquad E(X^2)=c^2,\qquad \operatorname{var}(X)=c^2-c^2=0 \]

离散均匀分布

• 含义：有限个不同的取值等可能出现。例如公平骰子的点数。

• 分布律：设 \(a_1<\cdots<a_K\)，则

  \[ P(X=a_j)=\frac1K,\quad j=1,\ldots,K \]

• 分布函数：

  \[ F_X(x)=\frac1K\sum_{j=1}^K I(a_j\leq x) \]

• 数学期望：

  \[ E(X)=\frac1K\sum_{j=1}^Ka_j \]

  特别地，在 \(\{1,\ldots,K\}\) 上均匀时，

  \[ E(X)=\frac{K+1}{2} \]

• 方差：

  \[ \operatorname{var}(X)=\frac1K\sum_{j=1}^Ka_j^2-\left(\frac1K\sum_{j=1}^Ka_j\right)^2 \]

  特别地，在 \(\{1,\ldots,K\}\) 上均匀时，

  \[ \operatorname{var}(X)=\frac{K^2-1}{12} \]

期望和方差的推导

一般情形直接按分布律求加权平均。对 \(a_j=j\)，利用求和公式，

\[ E(X)=\frac1K\cdot\frac{K(K+1)}2=\frac{K+1}2 \]

\[ E(X^2)=\frac1K\cdot\frac{K(K+1)(2K+1)}6=\frac{(K+1)(2K+1)}6 \]

\[ \operatorname{var}(X)=\frac{(K+1)(2K+1)}6-\frac{(K+1)^2}4=\frac{K^2-1}{12} \]

伯努利分布 \(X\sim B(1,p)\)

• 含义：一次试验中成功记为 \(1\)，失败记为 \(0\)，\(0<p<1\)。也称两点分布或 0-1 分布。

• 分布律：

  \[ P(X=k)=p^k(1-p)^{1-k},\quad k=0,1 \]

• 分布函数：

  \[ F_X(x)=\begin{cases}0,&x<0,\\1-p,&0\leq x<1,\\1,&x\geq1.\end{cases} \]

• 数学期望：

  \[ E(X)=p \]

• 方差：

  \[ \operatorname{var}(X)=p(1-p) \]

• 示性变量：\(I_A\sim B(1,P(A))\)。\(p=0,1\) 时退化为常数。

期望和方差的推导

\[ E(X)=0\cdot(1-p)+1\cdot p=p \]

因 \(X^2=X\)，有

\[ E(X^2)=p \]

故

\[ \operatorname{var}(X)=p-p^2=p(1-p) \]

二项分布 \(X\sim B(n,p)\)

• 含义：\(n\) 次独立重复伯努利试验中的成功次数，\(n\) 为正整数，\(0<p<1\)。

• 分布律：

  \[ P(X=k)=\binom nkp^k(1-p)^{n-k},\quad k=0,\ldots,n \]

• 分布函数：

  \[ F_X(x)=\sum_{\substack{0\leq k\leq n\\k\leq x}}\binom nkp^k(1-p)^{n-k} \]

• 数学期望：

  \[ E(X)=np \]

• 方差：

  \[ \operatorname{var}(X)=np(1-p) \]

• 矩母函数：

  \[ \phi_X(t)=(1-p+pe^t)^n,\qquad t\in\mathbb R \]

期望和方差的推导

令 \(X_i\) 为第 \(i\) 次试验成功的示性变量，则 \(X=\sum_{i=1}^nX_i\)，且 \(X_i\overset{\mathrm{iid}}{\sim}B(1,p)\)。

\[ E(X)=\sum_{i=1}^nE(X_i)=np \]

利用独立性，

\[ \operatorname{var}(X)=\sum_{i=1}^n\operatorname{var}(X_i)=np(1-p) \]

泊松分布 \(X\sim P(\lambda)\)

• 含义：一定时间或空间范围内事件发生的次数，\(\lambda>0\)；可用于稀有事件计数。

• 分布律：

  \[ P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!},\quad k=0,1,\ldots \]

• 分布函数：

  \[ F_X(x)=e^{-\lambda}\sum_{\substack{0\leq k\leq x}}\frac{\lambda^k}{k!} \]

• 数学期望：

  \[ E(X)=\lambda \]

• 方差：

  \[ \operatorname{var}(X)=\lambda \]

• 矩母函数：

  \[ \phi_X(t)=\exp\{\lambda(e^t-1)\},\qquad t\in\mathbb R \]

期望和方差的推导

利用指数函数的幂级数，

\[ E(X)=e^{-\lambda}\sum_{k=1}^{\infty}\frac{k\lambda^k}{k!} =\lambda e^{-\lambda}\sum_{j=0}^{\infty}\frac{\lambda^j}{j!}=\lambda \]

\[ E[X(X-1)]=e^{-\lambda}\sum_{k=2}^{\infty}\frac{k(k-1)\lambda^k}{k!}=\lambda^2 \]

因 \(X^2=X(X-1)+X\)，即 \(E(X^2)=E[X(X-1)]+E(X)\)，有

\[ \operatorname{var}(X)=\lambda^2+\lambda-\lambda^2=\lambda \]

几何分布 \(X\sim G(p)\)

• 含义：独立重复伯努利试验中，第一次成功时的总试验次数，\(0<p<1\)。

• 分布律：记 \(q=1-p\)，则

  \[ P(X=k)=q^{k-1}p,\quad k=1,2,\ldots \]

• 分布函数：

  \[ F_X(x)=\begin{cases}0,&x<1,\\1-q^{\lfloor x\rfloor},&x\geq1.\end{cases} \]

• 数学期望：

  \[ E(X)=\frac1p \]

• 方差：

  \[ \operatorname{var}(X)=\frac{1-p}{p^2} \]

• 无记忆性：

  \[ P(X>m+n\mid X>m)=P(X>n),\qquad m,n\in\mathbb Z_{\geq0} \]

• 失败次数：若 \(Y=X-1\)，则

  \[ E(Y)=\frac{1-p}{p} \]

  方差不变。

期望和方差的推导

由 \(\sum_{k=0}^{\infty}q^k=(1-q)^{-1}\) 逐项求导，

\[ \sum_{k=1}^{\infty}kq^{k-1}=\frac1{(1-q)^2},\qquad \sum_{k=2}^{\infty}k(k-1)q^{k-2}=\frac2{(1-q)^3} \]

因此

\[ E(X)=\frac{p}{(1-q)^2}=\frac1p,\qquad E[X(X-1)]=\frac{2pq}{(1-q)^3}=\frac{2q}{p^2} \]

\[ \operatorname{var}(X)=\frac{2q}{p^2}+\frac1p-\frac1{p^2}=\frac q{p^2} = \frac{1-p}{p^2} \]

负二项分布 \(X\sim NB(r,p)\)

• 含义：独立重复伯努利试验中，第 \(r\) 次成功时的总试验次数；\(r\) 为正整数，\(0<p<1\)。

• 分布律：

  \[ P(X=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r},\quad k=r,r+1,\ldots \]

• 分布函数：

  \[ F_X(x)=\sum_{\substack{r\leq k\leq x}}\binom{k-1}{r-1}p^r(1-p)^{k-r} \]

• 数学期望：

  \[ E(X)=\frac rp \]

• 方差：

  \[ \operatorname{var}(X)=\frac{r(1-p)}{p^2} \]

• 失败次数：若 \(Y=X-r\)，则

  \[ P(Y=j)=\binom{j+r-1}{r-1}p^r(1-p)^j,\quad j\geq0,\qquad E(Y)=\frac{r(1-p)}p \]

  方差与 \(X\) 相同。几何分布是 \(r=1\) 的特例。

期望和方差的推导

令 \(G_i\) 为第 \(i-1\) 次成功后到第 \(i\) 次成功所需的试验次数，则 \(G_1,\ldots,G_r\) 独立同分布于 \(G(p)\)，且 \(X=\sum_{i=1}^rG_i\)。

\[ E(X)=rE(G_1)=\frac rp,\qquad \operatorname{var}(X)=r\operatorname{var}(G_1)=\frac{r(1-p)}{p^2} \]

超几何分布 \(X\sim H(N,M,n)\)

• 含义：总体有 \(N\) 个对象，其中 \(M\) 个为目标对象，不放回随机抽取 \(n\) 个，\(X\) 为抽到的目标对象数。此处用 \(H(N,M,n)\) 表示该分布。

• 参数与分布律：\(N\geq2\)，\(0\leq M,n\leq N\)，均为整数。

  \[ P(X=k)=\frac{\binom Mk\binom{N-M}{n-k}}{\binom Nn},\quad \max(0,n-N+M)\leq k\leq\min(n,M) \]

• 分布函数：

  \[ F_X(x)=\sum_{\substack{\max(0,n-N+M)\leq k\leq\min(n,M)\\k\leq x}}\frac{\binom Mk\binom{N-M}{n-k}}{\binom Nn} \]

• 数学期望：记 \(p=M/N\)，则

  \[ E(X)=np \]

• 方差：

  \[ \operatorname{var}(X)=np(1-p)\frac{N-n}{N-1} \]

  因子 \((N-n)/(N-1)\) 为有限总体修正；不放回抽样的各次结果一般不独立。

期望和方差的推导

令 \(I_i\) 表示第 \(i\) 个抽取位置是否为目标对象，则 \(X=\sum_{i=1}^n I_i\)，且

\[ E(I_i)=p,\qquad\operatorname{var}(I_i)=p(1-p) \]

对 \(i\ne j\)，

\[ E(I_iI_j)=\frac{M(M-1)}{N(N-1)},\qquad \operatorname{cov}(I_i,I_j)=-\frac{p(1-p)}{N-1} \]

因此

\[ E(X)=np \]

\[ \operatorname{var}(X)=np(1-p)-n(n-1)\frac{p(1-p)}{N-1} =np(1-p)\frac{N-n}{N-1} \]

0.2 连续型分布

以下密度在所列支持集之外均为 \(0\)。正值分布的分布函数在 \(x\leq0\) 时为 \(0\)；\(\operatorname{Beta}\) 分布的分布函数在 \(x\leq0\) 时为 \(0\)，在 \(x\geq1\) 时为 \(1\)。

均匀分布 \(X\sim U(a,b)\)

• 含义：在区间 \((a,b)\) 内等密度取值，\(a<b\)；等长子区间具有相同概率。

• 密度函数：

  \[ f_X(x)=\frac1{b-a}I(a<x<b) \]

• 分布函数：

  \[ F_X(x)=\begin{cases}0,&x\leq a,\\\dfrac{x-a}{b-a},&a<x<b,\\1,&x\geq b.\end{cases} \]

• 数学期望：

  \[ E(X)=\frac{a+b}2 \]

• 方差：

  \[ \operatorname{var}(X)=\frac{(b-a)^2}{12} \]

期望和方差的推导

\[ E(X)=\frac1{b-a}\int_a^b x\,dx=\frac{a+b}2 \]

\[ E(X^2)=\frac1{b-a}\int_a^b x^2\,dx=\frac{a^2+ab+b^2}3 \]

\[ \operatorname{var}(X)=\frac{a^2+ab+b^2}3-\frac{(a+b)^2}4=\frac{(b-a)^2}{12} \]

正态分布 \(X\sim N(\mu,\sigma^2)\)

• 含义：取值围绕中心 \(\mu\) 对称波动的钟形分布，\(\mu\in\mathbb R\)、\(\sigma>0\)。

• 密度函数：

  \[ f_X(x)=\frac1{\sqrt{2\pi}\sigma}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right],\quad x\in\mathbb R \]

• 分布函数：

  \[ F_X(x)=\Phi\left(\frac{x-\mu}\sigma\right),\qquad \Phi(z)=\int_{-\infty}^z\frac1{\sqrt{2\pi}}e^{-t^2/2}\,dt \]

• 数学期望：

  \[ E(X)=\mu \]

• 方差：

  \[ \operatorname{var}(X)=\sigma^2 \]

• 标准化：

  \[ \frac{X-\mu}\sigma\sim N(0,1) \]

• 矩母函数：

  \[ \phi_X(t)=e^{\mu t+\sigma^2t^2/2},\quad t\in\mathbb R \]

期望和方差的推导

令 \(Z=(X-\mu)/\sigma\)，记标准正态密度为 \(\varphi(z)\)，则 \(\varphi'(z)=-z\varphi(z)\)。由对称性及绝对可积性，

\[ E(Z)=0 \]

分部积分得

\[ E(Z^2)=-\int_{-\infty}^{\infty}z\varphi'(z)\,dz =[-z\varphi(z)]_{-\infty}^{\infty}+\int_{-\infty}^{\infty}\varphi(z)\,dz=1 \]

因 \(X=\mu+\sigma Z\)，

\[ E(X)=\mu+\sigma E(Z)=\mu,\qquad \operatorname{var}(X)=\sigma^2\operatorname{var}(Z)=\sigma^2 \]

指数分布 \(X\sim\operatorname{Exp}(\lambda)\)

• 含义：泊松过程中等待下一次事件的时间，也可描述无记忆性的寿命；\(\lambda>0\) 为率参数。

• 密度函数：

  \[ f_X(x)=\lambda e^{-\lambda x},\quad x>0 \]

• 分布函数：

  \[ F_X(x)=1-e^{-\lambda x},\quad x>0 \]

• 数学期望：

  \[ E(X)=\frac1\lambda \]

• 方差：

  \[ \operatorname{var}(X)=\frac1{\lambda^2} \]

• 无记忆性：

  \[ P(X>s+t\mid X>s)=P(X>t),\qquad s,t\geq0 \]

• 矩母函数：

  \[ \phi_X(t)=\frac{\lambda}{\lambda-t},\qquad t<\lambda \]

期望和方差的推导

作代换 \(u=\lambda x\)，对 \(j=1,2\)，

\[ E(X^j)=\int_0^{\infty}x^j\lambda e^{-\lambda x}\,dx =\frac{\Gamma(j+1)}{\lambda^j}=\frac{j!}{\lambda^j} \]

其中 \(\Gamma(x) =\int_0^{\infty}t^{x-1}e^{-t}\,dt\) 为伽马函数，且 \(\Gamma(j+1)=j!\)。

因此

\[ E(X)=\frac{1}{\lambda},\qquad E(X^2)=\frac{2}{\lambda^2} \]

从而

\[ \operatorname{var}(X)=\frac2{\lambda^2}-\frac1{\lambda^2}=\frac1{\lambda^2} \]

伽马分布 \(X\sim Ga(\alpha,\lambda)\)

• 含义：正值、常呈右偏的分布；当 \(\alpha\) 为正整数时，可表示速率为 \(\lambda\) 的泊松过程中等待第 \(\alpha\) 次事件的时间。\(\alpha>0\) 为形状参数，\(\lambda>0\) 为率参数。

• 密度函数：

  \[ f_X(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},\quad x>0 \]

• 分布函数：

  \[ F_X(x)=\frac{\gamma(\alpha,\lambda x)}{\Gamma(\alpha)},\quad x>0 \]

• 数学期望：

  \[ E(X)=\frac\alpha\lambda \]

• 方差：

  \[ \operatorname{var}(X)=\frac\alpha{\lambda^2} \]

• 矩母函数：

  \[ \phi_X(t)=\left(\frac{\lambda}{\lambda-t}\right)^\alpha,\qquad t<\lambda \]

• 特例：\(Ga(1,\lambda)=\operatorname{Exp}(\lambda)\)；增大率参数会缩小均值和标准差。

期望和方差的推导

对 \(j> -\alpha\)，作代换 \(u=\lambda x\)，

\[ E(X^j)=\frac{\lambda^\alpha}{\Gamma(\alpha)}\int_0^{\infty}x^{\alpha+j-1}e^{-\lambda x}\,dx =\frac{\Gamma(\alpha+j)}{\Gamma(\alpha)\lambda^j} \]

取 \(j=1,2\)，由伽马函数递推式，

\[ E(X)=\frac\alpha\lambda,\qquad E(X^2)=\frac{\alpha(\alpha+1)}{\lambda^2} \]

\[ \operatorname{var}(X)=\frac{\alpha(\alpha+1)-\alpha^2}{\lambda^2}=\frac\alpha{\lambda^2} \]

卡方分布 \(X\sim\chi^2(\nu)\)

• 含义：\(\nu\) 个独立标准正态变量的平方和，\(\nu\) 为正整数；密度也可推广至任意实数 \(\nu>0\)。

• 密度函数：

  \[ f_X(x)=\frac{x^{\nu/2-1}e^{-x/2}}{2^{\nu/2}\Gamma(\nu/2)},\quad x>0 \]

• 分布函数：

  \[ F_X(x)=\frac{\gamma(\nu/2,x/2)}{\Gamma(\nu/2)},\quad x>0 \]

• 数学期望：

  \[ E(X)=\nu \]

• 方差：

  \[ \operatorname{var}(X)=2\nu \]

• 与伽马分布的关系：\(\chi^2(\nu)=Ga(\nu/2,1/2)\)。

期望和方差的推导

将 \(\alpha=\nu/2\)、\(\lambda=1/2\) 代入伽马分布的矩公式，

\[ E(X)=\frac{\nu/2}{1/2}=\nu,\qquad \operatorname{var}(X)=\frac{\nu/2}{(1/2)^2}=2\nu \]

\(t\) 分布 \(T\sim t(\nu)\)

• 含义：若 \(Z\sim N(0,1)\)、\(V\sim\chi^2(\nu)\) 且相互独立，则 \(T=Z/\sqrt{V/\nu}\sim t(\nu)\)。\(\nu>0\) 为自由度。

• 密度函数：

  \[ f_T(t)=\frac{\Gamma((\nu+1)/2)}{\sqrt{\nu\pi}\Gamma(\nu/2)} \left(1+\frac{t^2}\nu\right)^{-(\nu+1)/2},\quad t\in\mathbb R \]

• 分布函数：

  \[ F_T(t)=\int_{-\infty}^t f_T(u)\,du \]

• 数学期望：

  \[ E(T)=0\quad(\nu>1) \]

• 方差：

  \[ \operatorname{var}(T)=\frac\nu{\nu-2}\quad(\nu>2) \]

  \(0<\nu\leq1\) 时期望不存在；\(1<\nu\leq2\) 时均值存在，但二阶中心矩发散，无有限方差。

• 性质：关于 \(0\) 对称、尾部比正态分布更厚；\(t(1)\) 是标准柯西分布，\(\nu\to\infty\) 时趋近 \(N(0,1)\)。

期望和方差的推导及存在条件

密度在尾部满足 \(f_T(t)\) 与 \(|t|^{-\nu-1}\) 同阶，因此对 \(r>0\)，

\[ E(|T|^r)<\infty\quad\Longleftrightarrow\quad r<\nu \]

只有先确认 \(\nu>1\)，才能由对称性得到

\[ E(T)=0 \]

当 \(\nu>2\) 时，由独立性及标准正态变量的二阶矩，

\[ E(Z^2)=1 \]

可得

\[ E(T^2)=\nu E(Z^2)E(V^{-1}) \]

由伽马分布的负阶矩公式，

\[ E(V^{-1})=\frac{\Gamma(\nu/2-1)}{2\Gamma(\nu/2)}=\frac1{\nu-2} \]

因而

\[ \operatorname{var}(T)=E(T^2)=\frac{\nu}{\nu-2} \]

\(F\) 分布 \(W\sim F(d_1,d_2)\)

• 含义：若 \(U\sim\chi^2(d_1)\)、\(V\sim\chi^2(d_2)\) 且相互独立，则 \(W=(U/d_1)/(V/d_2)\) 服从 \(F\) 分布；\(d_1,d_2>0\) 为有顺序的两个自由度。

• 密度函数：

  \[ f_W(w)=\frac{(d_1/d_2)^{d_1/2}w^{d_1/2-1}}{B(d_1/2,d_2/2)} \left(1+\frac{d_1}{d_2}w\right)^{-(d_1+d_2)/2},\quad w>0 \]

• 分布函数：

  \[ F_W(w)=I_{d_1w/(d_1w+d_2)}(d_1/2,d_2/2),\quad w>0 \]

• 数学期望：

  \[ E(W)=\frac{d_2}{d_2-2}\quad(d_2>2) \]

• 方差：

  \[ \operatorname{var}(W)=\frac{2d_2^2(d_1+d_2-2)}{d_1(d_2-2)^2(d_2-4)}\quad(d_2>4) \]

  \(d_2\leq2\) 时无有限期望；\(2<d_2\leq4\) 时期望有限，但无有限方差。

• 性质：\(1/W\sim F(d_2,d_1)\)；若 \(T\sim t(\nu)\)，则 \(T^2\sim F(1,\nu)\)。

期望和方差的推导

由卡方分布的正、负阶矩，

\[ E(U)=d_1,\quad E(U^2)=d_1(d_1+2),\quad E(V^{-1})=\frac1{d_2-2}\quad(d_2>2) \]

\[ E(V^{-2})=\frac1{(d_2-2)(d_2-4)}\quad(d_2>4) \]

利用独立性，

\[ E(W)=\frac{d_2}{d_1}E(U)E(V^{-1})=\frac{d_2}{d_2-2} \]

\[ E(W^2)=\frac{d_2^2(d_1+2)}{d_1(d_2-2)(d_2-4)} \]

\[ \operatorname{var}(W)=E(W^2)-\frac{d_2^2}{(d_2-2)^2} =\frac{2d_2^2(d_1+d_2-2)}{d_1(d_2-2)^2(d_2-4)} \]

贝塔分布 \(X\sim\operatorname{Beta}(\alpha,\beta)\)

• 含义：取值在 \((0,1)\) 内的比例或概率模型，\(\alpha,\beta>0\) 为形状参数。

• 密度函数：

  \[ f_X(x)=\frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha,\beta)},\quad0<x<1 \]

• 分布函数：

  \[ F_X(x)=I_x(\alpha,\beta),\quad0<x<1 \]

• 数学期望：

  \[ E(X)=\frac\alpha{\alpha+\beta} \]

• 方差：

  \[ \operatorname{var}(X)=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} \]

• 特例：\(\operatorname{Beta}(1,1)=U(0,1)\)。

期望和方差的推导

\[ E(X^j)=\frac{B(\alpha+j,\beta)}{B(\alpha,\beta)},\qquad j=1,2 \]

利用贝塔函数与伽马函数的关系，

\[ E(X)=\frac\alpha{\alpha+\beta},\qquad E(X^2)=\frac{\alpha(\alpha+1)}{(\alpha+\beta)(\alpha+\beta+1)} \]

两者相减得到

\[ \operatorname{var}(X)=E(X^2)-[E(X)]^2 =\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} \]

对数正态分布 \(X\sim\operatorname{LN}(\mu,\sigma^2)\)

• 含义：\(\ln X\sim N(\mu,\sigma^2)\)，常描述乘性增长形成的正值、右偏变量。\(\mu,\sigma^2\) 是对数变量的均值和方差，\(\sigma>0\)。

• 密度函数：

  \[ f_X(x)=\frac1{\sqrt{2\pi}\sigma x}\exp\left[-\frac{(\ln x-\mu)^2}{2\sigma^2}\right],\quad x>0 \]

• 分布函数：

  \[ F_X(x)=\Phi\left(\frac{\ln x-\mu}\sigma\right),\quad x>0 \]

• 数学期望：

  \[ E(X)=e^{\mu+\sigma^2/2} \]

• 方差：

  \[ \operatorname{var}(X)=(e^{\sigma^2}-1)e^{2\mu+\sigma^2} \]

• 中位数与众数：

  \[ m=e^\mu,\qquad m_d=e^{\mu-\sigma^2} \]

期望和方差的推导

令 \(Y=\ln X\sim N(\mu,\sigma^2)\)，则由正态变量的矩母函数，

\[ E(X^j)=E(e^{jY})=\exp\left(j\mu+\frac{j^2\sigma^2}2\right),\quad j\in\mathbb R \]

因此

\[ E(X)=e^{\mu+\sigma^2/2},\qquad E(X^2)=e^{2\mu+2\sigma^2} \]

\[ \operatorname{var}(X)=e^{2\mu+2\sigma^2}-e^{2\mu+\sigma^2} =(e^{\sigma^2}-1)e^{2\mu+\sigma^2} \]

威布尔分布 \(X\sim\operatorname{Weibull}(k,\lambda)\)

• 含义：常用于寿命和可靠性模型，\(k>0\) 为形状参数，\(\lambda>0\) 为尺度参数。

• 密度函数：

  \[ f_X(x)=\frac k\lambda\left(\frac x\lambda\right)^{k-1}e^{-(x/\lambda)^k},\quad x>0 \]

• 分布函数：

  \[ F_X(x)=1-e^{-(x/\lambda)^k},\quad x>0 \]

• 数学期望：

  \[ E(X)=\lambda\Gamma\left(1+\frac1k\right) \]

• 方差：

  \[ \operatorname{var}(X)=\lambda^2\left[\Gamma\left(1+\frac2k\right)-\Gamma^2\left(1+\frac1k\right)\right] \]

• 特例与中位数：\(k=1\) 时为 \(\operatorname{Exp}(1/\lambda)\)；中位数为

  \[ m=\lambda(\ln2)^{1/k} \]

期望和方差的推导

作代换 \(u=(x/\lambda)^k\)，则 \(x=\lambda u^{1/k}\)，且 \(f_X(x)\,dx=e^{-u}\,du\)。于是

\[ E(X^j)=\lambda^j\int_0^{\infty}u^{j/k}e^{-u}\,du =\lambda^j\Gamma\left(1+\frac jk\right),\quad j>-k \]

取 \(j=1,2\) 即得一、二阶原点矩，再由

\[ \operatorname{var}(X)=E(X^2)-[E(X)]^2 \]

得所列方差。

柯西分布 \(X\sim\operatorname{Cauchy}(x_0,\gamma)\)

• 含义：具有位置参数 \(x_0\in\mathbb R\)、尺度参数 \(\gamma>0\) 的对称重尾分布；位置参数不等于期望。

• 密度函数：

  \[ f_X(x)=\frac1{\pi\gamma}\frac1{1+((x-x_0)/\gamma)^2},\quad x\in\mathbb R \]

• 分布函数：

  \[ F_X(x)=\frac12+\frac1\pi\arctan\left(\frac{x-x_0}\gamma\right) \]

• 数学期望：不存在。

• 方差：不存在。

• 中位数与众数：

  \[ m=m_d=x_0 \]

• 特例：\(\operatorname{Cauchy}(0,1)=t(1)\)。

为什么期望和方差不存在

对标准柯西变量 \(C\)，

\[ E(|C|)=\frac2\pi\int_0^{\infty}\frac{x}{1+x^2}\,dx =\lim_{A\to\infty}\frac1\pi\ln(1+A^2)=+\infty \]

两侧的一阶积分分别发散，不能以对称抵消得到均值 \(0\)。此外，

\[ E(C^2)=\frac2\pi\int_0^{\infty}\frac{x^2}{1+x^2}\,dx=+\infty \]

一般柯西变量 \(X=x_0+\gamma C\) 同样无有限绝对一阶矩和二阶矩；其均值未定义，因而不能使用通常的方差定义

\[ \operatorname{var}(X)=E[(X-E(X))^2] \]

0.3 常见随机向量分布

多项分布 \(\mathbf X\sim M(N;p_1,\ldots,p_m)\)

• 含义：\(N\) 次独立重复试验中，每次恰好落入 \(m\) 个互斥类别之一，\(X_j\) 为第 \(j\) 类出现次数。\(p_j\geq0\)，\(\sum_{j=1}^m p_j=1\)。

• 联合分布律：

  \[ P(X_1=x_1,\ldots,X_m=x_m)=\frac{N!}{x_1!\cdots x_m!}\prod_{j=1}^m p_j^{x_j},\quad x_j\in\mathbb Z_{\geq0},\quad\sum_{j=1}^m x_j=N \]

  其他取值的概率为 \(0\)，在边界参数处按 \(0^0=1\) 理解。联合分布函数为对满足各 \(x_j\leq t_j\) 的上述概率求和。

• 边际分布：

  \[ X_j\sim B(N,p_j) \]

• 数学期望：

  \[ E(X_j)=Np_j \]

• 方差：

  \[ \operatorname{var}(X_j)=Np_j(1-p_j) \]

• 协方差：

  \[ \operatorname{cov}(X_i,X_j)=-Np_ip_j,\quad i\ne j \]

  各类计数的总和固定，通常不独立。

期望、方差和协方差的推导

令 \(I_{\ell j}\) 表示第 \(\ell\) 次试验是否属于类别 \(j\)，则 \(X_j=\sum_{\ell=1}^N I_{\ell j}\)。对固定 \(j\)，各次试验独立，\(I_{\ell j}\sim B(1,p_j)\)，因此

\[ E(X_j)=Np_j,\qquad\operatorname{var}(X_j)=Np_j(1-p_j) \]

同一次试验中 \(i\ne j\) 的类别互斥，因此

\[ E(I_{\ell i}I_{\ell j})=0 \]

不同试验的示性变量独立，所以

\[ \operatorname{cov}(X_i,X_j)=\sum_{\ell=1}^N\operatorname{cov}(I_{\ell i},I_{\ell j})=-Np_ip_j \]

多元正态分布 \(\mathbf X\sim N_m(\boldsymbol\mu,\Sigma)\)

• 含义：一维正态分布的向量推广，均值向量为 \(\boldsymbol\mu\in\mathbb R^m\)，协方差矩阵为对称半正定矩阵 \(\Sigma\)。

• 联合密度：当 \(\Sigma\) 正定时，

  \[ f_{\mathbf X}(\mathbf x)=\frac1{(2\pi)^{m/2}|\Sigma|^{1/2}} \exp\left[-\frac12(\mathbf x-\boldsymbol\mu)^\top\Sigma^{-1}(\mathbf x-\boldsymbol\mu)\right],\quad\mathbf x\in\mathbb R^m \]

  联合分布函数为该密度在 \((-\infty,x_1]\times\cdots\times(-\infty,x_m]\) 上的积分。若 \(\Sigma\) 奇异，分布退化，不具有上述相对于 \(m\) 维体积的密度。

• 数学期望：

  \[ E(\mathbf X)=\boldsymbol\mu,\qquad E(X_j)=\mu_j \]

• 方差：

  \[ \operatorname{var}(X_j)=\Sigma_{jj} \]

• 协方差矩阵：

  \[ \operatorname{cov}(\mathbf X)=\Sigma \]

• 线性组合与独立性：

  \[ \mathbf a^\top\mathbf X\sim N(\mathbf a^\top\boldsymbol\mu,\mathbf a^\top\Sigma\mathbf a) \]

  联合正态的分量不相关当且仅当独立；仅边际分布为正态时不能使用这一结论。

期望向量和协方差矩阵的推导

可将 \(\mathbf X\) 表为 \(\boldsymbol\mu+A\mathbf Z\)，其中 \(\mathbf Z\) 的分量独立同分布于 \(N(0,1)\)，且 \(AA^\top=\Sigma\)。

\[ E(\mathbf X)=\boldsymbol\mu+AE(\mathbf Z)=\boldsymbol\mu \]

\[ \operatorname{cov}(\mathbf X)=A\operatorname{cov}(\mathbf Z)A^\top=AI_mA^\top=\Sigma \]

各分量的方差与协方差分别为

\[ \operatorname{var}(X_j)=\Sigma_{jj},\qquad\operatorname{cov}(X_i,X_j)=\Sigma_{ij} \]

0.4 常见分布的期望与方差速查

分布	记号与参数约定	期望	方差
单点分布	\(\delta_c\)	\(c\)	\(0\)
离散均匀分布	均匀取 \(1,\ldots,K\)	\(\frac{K+1}{2}\)	\(\frac{K^2-1}{12}\)
伯努利分布	\(B(1,p)\)	\(p\)	\(p(1-p)\)
二项分布	\(B(n,p)\)	\(np\)	\(np(1-p)\)
泊松分布	\(P(\lambda)\)	\(\lambda\)	\(\lambda\)
几何分布	\(G(p)\)，总试验次数	\(\frac{1}{p}\)	\(\frac{1-p}{p^2}\)
负二项分布	\(NB(r,p)\)，总试验次数	\(\frac{r}{p}\)	\(\frac{r(1-p)}{p^2}\)
超几何分布	\(H(N,M,n)\)，\(p=\frac{M}{N}\)	\(np\)	\(np(1-p)\frac{N-n}{N-1}\)
均匀分布	\(U(a,b)\)	\(\frac{a+b}{2}\)	\(\frac{(b-a)^2}{12}\)
正态分布	\(N(\mu,\sigma^2)\)	\(\mu\)	\(\sigma^2\)
指数分布	\(\operatorname{Exp}(\lambda)\)，率参数	\(\frac{1}{\lambda}\)	\(\frac{1}{\lambda^2}\)
伽马分布	\(Ga(\alpha,\lambda)\)，形状、率	\(\frac{\alpha}{\lambda}\)	\(\frac{\alpha}{\lambda^2}\)
卡方分布	\(\chi^2(\nu)\)	\(\nu\)	\(2\nu\)
\(t\) 分布	\(t(\nu)\)	\(0\)，\(\nu>1\)	\(\frac{\nu}{\nu-2}\)，\(\nu>2\)
\(F\) 分布	\(F(d_1,d_2)\)	\(\frac{d_2}{d_2-2}\)，\(d_2>2\)	\(\frac{2d_2^2(d_1+d_2-2)}{d_1(d_2-2)^2(d_2-4)}\)，\(d_2>4\)
贝塔分布	\(\operatorname{Beta}(\alpha,\beta)\)	\(\frac{\alpha}{\alpha+\beta}\)	\(\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}\)
对数正态分布	\(\operatorname{LN}(\mu,\sigma^2)\)	\(e^{\mu+\frac{\sigma^2}{2}}\)	\((e^{\sigma^2}-1)e^{2\mu+\sigma^2}\)
威布尔分布	\(\operatorname{Weibull}(k,\lambda)\)，形状、尺度	\(\lambda\Gamma(1+\frac{1}{k})\)	\(\lambda^2[\Gamma(1+\frac{2}{k})-\Gamma^2(1+\frac{1}{k})]\)
柯西分布	\(\operatorname{Cauchy}(x_0,\gamma)\)	不存在	不存在

• 常见关系：

  • 独立的 \(B(n_1,p)\) 与 \(B(n_2,p)\) 之和服从 \(B(n_1+n_2,p)\)。

  • 独立的 \(P(\lambda_1)\) 与 \(P(\lambda_2)\) 之和服从 \(P(\lambda_1+\lambda_2)\)。

  • 独立的 \(Ga(\alpha_1,\lambda)\) 与 \(Ga(\alpha_2,\lambda)\) 之和服从 \(Ga(\alpha_1+\alpha_2,\lambda)\)，要求率参数相同。

  • \(B(n,p_n)\) 在 \(n\to\infty\)、\(np_n\to\lambda>0\) 时依分布收敛到 \(P(\lambda)\)。

  • \(B(n,p)\) 在 \(np\)、\(n(1-p)\) 均足够大时可用 \(N(np,np(1-p))\) 近似；计算整数计数的区间概率时可使用连续性修正。