第四章 - 随机变量（向量）的数字特征

4.1 数学期望

随机变量的数学期望

• 离散型随机变量的数学期望：设随机变量 \(X\) 的分布律为

  \[ P(X=x_k)=p_k,\quad k=1,2,\ldots \]

  若级数 \(\displaystyle\sum_{k=1}^{\infty}x_kp_k\) 绝对收敛，即 \(\displaystyle\sum_{k=1}^{\infty}|x_k|p_k<\infty\)，则称

  \[ E(X)=\sum_{k=1}^{\infty}x_kp_k \]

  为随机变量 \(X\) 的数学期望。

  • 若级数 \(\displaystyle\sum_{k=1}^{\infty}|x_k|p_k\) 发散，则称 \(E(X)\) 不存在。

• 连续型随机变量的数学期望：设随机变量 \(X\) 的密度函数为 \(f(x)\)，若积分 \(\displaystyle\int_{-\infty}^{+\infty}x f(x)\,dx\) 绝对收敛，即 \(\displaystyle\int_{-\infty}^{+\infty}|x|f(x)\,dx<\infty\)，则称

  \[ E(X)=\int_{-\infty}^{+\infty}xf(x)\,dx \]

  为随机变量 \(X\) 的数学期望。

  • 若积分 \(\displaystyle\int_{-\infty}^{+\infty}|x| f(x)\,dx\) 发散，则称 \(E(X)\) 不存在。

• 一般随机变量的数学期望：设 \(X\) 的分布函数为 \(F_X(x)\)，若 \(E(|X|)<\infty\)，则

  \[ E(X)=\int_{\mathbb R}x\,dF_X(x) \]

• 说明：

  • 在离散情形下，概率 \(p_k\) 可视为直线上点 \(x_k\) 处的质量，期望是该物体的质心。在连续情形下，密度函数 \(f(x)\) 可视为线密度，期望是该直线的质心。因此，对于连续型随机变量，加权平均等价于加权积分。

  • 对于一般的随机变量 \(X\)，如果 \(\int_X |x| dF_X(x) < \infty\)，则称随机变量 \(X\) 的期望 \(E(X)\) 存在，且

    \[ E(X) = \int_X x dF_X(x). \]

  • 如果随机变量 \(X_1,\dots,X_n\) 独立同分布，则有

    \[ E(X_1) = E(X_2) = \dots = E(X_n). \]

  • 柯西分布的期望不存在：标准柯西分布的密度为

    \[ f(x)=\frac1{\pi(1+x^2)},\quad x\in\mathbb R \]

    由于

    \[ \begin{aligned} E(|X|)&=\int_{-\infty}^{\infty}\frac{|x|}{\pi(1+x^2)}\,dx\\ &=\frac2\pi\int_0^{\infty}\frac{x}{1+x^2}\,dx\\ &=\frac2\pi\left[\left.x\arctan(x)\right|_0^{\infty}- \int_0^{\infty}\arctan(x)\,dx \right]\\ &=\infty \end{aligned} \]

    其数学期望不存在，不能仅由密度关于原点对称就认定 \(E(X)=0\)。

• 常见分布的数学期望

  分布类型	分布符号	数学期望
  单点分布	\(X\sim\delta_c\)	\(E(X)=c\)
  伯努利分布	\(X\sim B(1,p)\)	\(E(X)=p\)
  二项分布	\(X\sim B(n,p)\)	\(E(X)=np\)
  泊松分布	\(X\sim P(\lambda)\)	\(E(X)=\lambda\)
  几何分布	\(X\sim G(p)\)	\(E(X)=1/p\)
  均匀分布	\(X\sim U(a,b)\)	\(E(X)=(a+b)/2\)
  指数分布	\(X\sim\operatorname{Exp}(\lambda)\)	\(E(X)=1/\lambda\)
  正态分布	\(X\sim N(\mu,\sigma^2)\)	\(E(X)=\mu\)
  伽马分布	\(X\sim Ga(\alpha,\lambda)\)	\(E(X)=\alpha/\lambda\)
  卡方分布	\(X\sim\chi^2(n)\)	\(E(X)=n\)

• 数学期望的性质

  1. 常数的期望：设 \(C\) 为常数，则

     \[ E(C)=C \]

  2. 线性性：对任意常数 \(a_1,\ldots,a_n\)，

     \[ E\left(\sum_{i=1}^{n}a_iX_i\right)=\sum_{i=1}^{n}a_iE(X_i) \]

     特别地，

     \[ E(aX+bY)=aE(X)+bE(Y) \]

     线性性不要求随机变量相互独立。

  3. 独立随机变量乘积的期望：若 \(X_1,\ldots,X_n\) 相互独立，则

     \[ E\left(\prod_{i=1}^{n}X_i\right)=\prod_{i=1}^{n}E(X_i) \]

     特别地，若 \(X,Y\) 相互独立，则

     \[ E(XY)=E(X)E(Y) \]

     反之一般不成立。

  4. 示性随机变量的期望：对任意事件 \(A\)，

     \[ E(I_A)=P(A) \]

     因而概率也可看成一种期望，特别地，

     \[ E[I(X\leq x)]=P(X\leq x)=F_X(x) \]

  5. 单调性：若 \(X\leq Y\) 几乎处处成立，则

     \[ E(X)\leq E(Y) \]

• 示性变量法：若 \(X\) 表示一组事件中发生的事件个数，可将其写为

  \[ X=\sum_{i=1}^{n}I_{A_i},\qquad E(X)=\sum_{i=1}^{n}P(A_i) \]

  即使事件之间不独立，也可以用期望的线性性计算。

随机变量（向量）函数的数学期望

• 随机变量函数的期望公式：设 \(Y=g(X)\)，若 \(E(|g(X)|)<\infty\)，则

  \[ E(Y)=E[g(X)]=\int_{\mathbb R}g(x)\,dF_X(x) \]

  • 离散型：若 \(P(X=x_k)=p_k\)，则

    \[ E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k \]

  • 连续型：若 \(X\) 的密度为 \(f(x)\)，则

    \[ E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)\,dx \]

• 二维随机向量函数的期望公式：设 \(Z=g(X,Y)\)，若 \(E(|g(X,Y)|)<\infty\)，则

  \[ E(Z)=E[g(X,Y)]=\int_{\mathbb R^2}g(x,y)\,dF_{X,Y}(x,y) \]

  • 离散型：若 \((X,Y)\) 的联合分布律为 \(p_{ij}=P(X=x_i,Y=y_j)\)，则

    \[ E(Z)=\sum_i\sum_jg(x_i,y_j)p_{ij} \]

  • 连续型：若 \((X,Y)\) 的联合密度为 \(f(x,y)\)，则

    \[ E(Z)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)\,dy\,dx \]

条件期望

• 条件期望：对于二维随机向量 \((X,Y)\)，记 \(f_{Y\mid X}(y\mid x)\) 为给定 \(X=x\) 时 \(Y\) 的概率质量函数或条件密度函数，则称

  \[ E(Y\mid X=x)=\int_{\mathbb R}y\,dF_{Y\mid X}(y\mid x) \]

  为给定 \(X=x\) 时 \(Y\) 的条件期望。

  • 离散型：当 \(P(X=x)>0\) 时，

    \[ E(Y\mid X=x)=\sum_jy_jP(Y=y_j\mid X=x) \]

  • 连续型：当 \(f_X(x)>0\) 时，

    \[ E(Y\mid X=x)=\int_{-\infty}^{+\infty}yf_{Y\mid X}(y\mid x)\,dy \]

• 二元正态分布的条件期望：若

  \[ (X,Y)\sim N(\mu_1,\sigma_1^2,\mu_2,\sigma_2^2,\rho) \]

  则

  \[ E(Y\mid X)=\mu_2+\rho\frac{\sigma_2}{\sigma_1}(X-\mu_1) \]

• 条件期望与随机变量：

  • 固定 \(x\) 后，\(E(Y\mid X=x)\) 是一个数；将它记为 \(h(x)\)，则它是关于 \(x\) 的函数。

  • 不固定 \(X\) 的取值时，\(E(Y\mid X)=h(X)\) 是随机变量。

  • 若 \(X,Y\) 相互独立，则

    \[ E(Y\mid X)=E(Y) \]

    此时条件期望为常数。

• 随机向量函数的条件期望：对于二维随机向量 \((X,Y)\)，记 \(f_{Y\mid X}(y\mid x)\) 为给定 \(X=x\) 时 \(Y\) 的概率质量函数或条件密度函数，\(g(X,Y)\) 为 \(x,y\) 的函数，则称

  \[ E[g(X,Y)\mid X=x]=\int_{\mathbb R}g(x,y)\,dF_{Y\mid X}(y\mid x) \]

  为给定 \(X=x\) 时 \(g(X,Y)\) 的条件期望。

  • 离散型：当 \(P(X=x)>0\) 时，

    \[ E[g(X,Y)\mid X=x]=\sum_jg(x,y_j)P(Y=y_j\mid X=x) \]

  • 连续型：当 \(f_X(x)>0\) 时，

    \[ E[g(X,Y)\mid X=x]=\int_{-\infty}^{+\infty}g(x,y)f_{Y\mid X}(y\mid x)\,dy \]

• 全期望公式：对于二维随机向量 \((X,Y)\)，假设条件期望 \(E(Y\mid X)\) 和 \(E(X\mid Y)\) 存在，则有

  \[ E(Y)=E[E(Y\mid X)],\qquad E(X)=E[E(X\mid Y)] \]

  更一般地，对于任一函数 \(g(X,Y)\)，有

  \[ E\{E[g(X,Y)\mid X]\}=E[g(X,Y)] \]

  • 离散型条件变量：

    \[ E(Y)=\sum_iE(Y\mid X=x_i)P(X=x_i) \]

  • 连续型条件变量：

    \[ E(Y)=\int_{-\infty}^{+\infty}E(Y\mid X=x)f_X(x)\,dx \]

4.2 中位数和众数

中位数

• 中位数：设随机变量 \(X\) 的分布函数为 \(F(x)\)，若常数 \(m\) 满足

  \[ P(X\leq m)=F(m)\geq\frac12,\qquad P(X\geq m)=1-F(m-0)\geq\frac12 \]

  则称 \(m\) 为 \(X\) 的中位数。等价地，

  \[ F(m-0)\leq\frac12\leq F(m) \]

• 性质：

  • 中位数总是存在，但可能不唯一。

  • 对于连续型随机变量 \(X\sim f(x)\)，中位数唯一且满足

    \[ F(m)=\int_{-\infty}^{m}f(x)\,dx=\frac12 \]

  • 若 \(F\) 在中位数附近严格递增，则中位数唯一；例如 \(f\) 在 \(m\) 处连续且 \(f(m)>0\)。

  • 若 \(X\sim B(1,1/2)\)，则 \([0,1)\) 中每一个数都是中位数。

众数

• 众数：记为 \(m_d\)

  • 离散型：概率质量函数取得最大值时对应的取值

  • 连续型：概率密度函数取得最大值时对应的 \(x\)

• 说明：

  • 众数可能不唯一；若密度函数有唯一极大值点，则称该密度函数是单峰的，其众数唯一。

  • 连续型随机变量的众数对应密度最大的位置，不能理解为该点的概率最大，因为其单点概率均为 \(0\)。

  • 均值、中位数和众数均用来刻画分布的位置，但三者一般不同。

• 对数正态分布的位置特征：若 \(\ln X\sim N(\mu,\sigma^2)\)，\(\sigma>0\)，则

  \[ E(X)=e^{\mu+\sigma^2/2},\qquad m=e^\mu,\qquad m_d=e^{\mu-\sigma^2} \]

  因此 \(m_d<m<E(X)\)。

分位数与内四分位距

• \(p\) 分位数：设 \(0<p<1\)，定义

  \[ Q_p=\inf\{x:F(x)>p\} \]

  为随机变量 \(X\) 的 \(p\) 分位数，满足

  \[ P(X\leq Q_p)\geq p,\qquad P(X\geq Q_p)\geq1-p \]

  等价地，

  \[ F(Q_p-0)\leq p\leq F(Q_p) \]

  对于连续型随机变量，有

  \[ F(Q_p)=p \]

• 四分位数：\(Q_{0.25}\)、\(Q_{0.5}\)、\(Q_{0.75}\) 分别称为第一、第二、第三四分位数，其中 \(Q_{0.5}\) 是一个中位数。

• 内四分位距：定义

  \[ \operatorname{IQR}(X)=Q_{0.75}-Q_{0.25} \]

  为内四分位距，描述分布中间部分的离散程度。

• 正态分布的分位数：若 \(X\sim N(\mu,\sigma^2)\)，则

  \[ Q_p=\mu+\sigma\Phi^{-1}(p) \]

  从而

  \[ \operatorname{IQR}(X)=\sigma[\Phi^{-1}(0.75)-\Phi^{-1}(0.25)]\approx1.35\sigma \]

4.3 方差和协方差

方差和标准差

• 方差和标准差：若随机变量 \(X\) 平方可积，即 \(E(X^2)<\infty\)，则称

  \[ \sigma^2 = \operatorname{var}(X)=E[(X-\mu)^2], \qquad \sigma = \sqrt{\operatorname{var}(X)} \]

  分别为 \(X\) 的方差与标准差

  • 说明：标准差与随机变量具有相同的量纲，方差的量纲为其平方。

  • 含义：对于一个随机变量 \(X\)

    \[ \begin{aligned} &\argmin_a E(X-a)^2=E(X) \triangleq \mu\\ &\min_a E(X-a)^2=E(X-E(X))^2 - \operatorname{var}(X) \triangleq \sigma^2 \end{aligned} \]

    • 期望体现 \(X\) 取值的平均水平，\(E(X)\) 越大表明平均值越大

    • 方差体现 \(X\) 取值的离散程度，\(\operatorname{var}(X)\) 越大表明 \(X\) 取值越分散，\(E(X)\) 的代表性越差

• 方差的计算

  • 定义法：

    • 离散型：设分布律为 \(P(X=x_k)=p_k\)，则

      \[ \operatorname{var}(X)=\sum_k(x_k-E(X))^2p_k \]

    • 连续型：设概率密度函数为 \(f(x)\)，则

      \[ \operatorname{var}(X)=\int_{-\infty}^{+\infty}(x-E(X))^2f(x)\,dx \]

  • 方差计算公式：

    \[ \operatorname{var}(X)=E(X^2)-[E(X)]^2 \]

• 常见分布的方差

  分布类型	分布符号	方差
  单点分布	\(X\sim\delta_c\)	\(\operatorname{var}(X)=0\)
  伯努利分布	\(X\sim B(1,p)\)	\(\operatorname{var}(X)=p(1-p)\)
  二项分布	\(X\sim B(n,p)\)	\(\operatorname{var}(X)=np(1-p)\)
  泊松分布	\(X\sim P(\lambda)\)	\(\operatorname{var}(X)=\lambda\)
  几何分布	\(X\sim G(p)\)	\(\operatorname{var}(X)=\frac{1-p}{p^2}\)
  均匀分布	\(X\sim U(a,b)\)	\(\operatorname{var}(X)=\frac{(b-a)^2}{12}\)
  指数分布	\(X\sim\operatorname{Exp}(\lambda)\)	\(\operatorname{var}(X)=\frac1{\lambda^2}\)
  正态分布	\(X\sim N(\mu,\sigma^2)\)	\(\operatorname{var}(X)=\sigma^2\)
  伽马分布	\(X\sim Ga(\alpha,\lambda)\)	\(\operatorname{var}(X)=\frac{\alpha}{\lambda^2}\)
  卡方分布	\(X\sim\chi^2(n)\)	\(\operatorname{var}(X)=2n\)

• 方差的性质：假设有关随机变量的二阶矩有限。

  1. 非负性：\(\operatorname{var}(X)\geq0\)，且

     \[ \operatorname{var}(X)=0\quad\Longleftrightarrow\quad P(X=E(X))=1 \]

     特别地，常数 \(C\) 的方差为 \(0\)。

  2. 线性变换：对任意常数 \(a,b\)，

     \[ \operatorname{var}(aX+b)=a^2\operatorname{var}(X) \]

  3. 独立随机变量和的方差：若 \(X_1,\ldots,X_n\) 相互独立，则

     \[ \operatorname{var}\left(\sum_{i=1}^{n}a_iX_i\right)=\sum_{i=1}^{n}a_i^2\operatorname{var}(X_i) \]

     特别地，若 \(X,Y\) 相互独立，则

     \[ \operatorname{var}(X\pm Y)=\operatorname{var}(X)+\operatorname{var}(Y) \]

  4. 样本均值的期望和方差：若 \(X_1,\ldots,X_n\) 独立同分布，\(E(X_i)=\mu\)，\(\operatorname{var}(X_i)=\sigma^2\)，记 \(\overline X=\frac1n\sum_{i=1}^{n}X_i\)，则

     \[ E(\overline X)=\mu,\qquad\operatorname{var}(\overline X)=\frac{\sigma^2}{n} \]

• 独立正态随机变量的线性组合：若 \(X_i\overset{iid}{\sim} N(\mu_i,\sigma_i^2)\)，\(i=1,\ldots,n\)，则

  \[ \sum_{i=1}^{n}a_iX_i\sim N\left(\sum_{i=1}^{n}a_i\mu_i,\sum_{i=1}^{n}a_i^2\sigma_i^2\right) \]

协方差和相关系数

• 协方差：设 \(X,Y\) 的二阶矩有限，记 \(\mu_X=E(X)\)、\(\mu_Y=E(Y)\)，定义

  \[ \operatorname{cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)] \]

• 协方差计算公式：

  \[ \operatorname{cov}(X,Y)=E(XY)-E(X)E(Y) \]

• 协方差的性质：

  1. 对称性：\(\operatorname{cov}(X,Y)=\operatorname{cov}(Y,X)\)。

  2. 与自身的协方差：\(\operatorname{cov}(X,X)=\operatorname{var}(X)\)。

  3. 与常数的协方差：\(\operatorname{cov}(X,C)=0\)。

  4. 可加性：

     \[ \operatorname{cov}(X_1+X_2,Y)=\operatorname{cov}(X_1,Y)+\operatorname{cov}(X_2,Y) \]

  5. 线性变换：

     \[ \operatorname{cov}(aX+b,cY+d)=ac\operatorname{cov}(X,Y) \]

  6. 和与差的方差：

     \[ \operatorname{var}(X\pm Y)=\operatorname{var}(X)+\operatorname{var}(Y)\pm2\operatorname{cov}(X,Y) \]

• 线性组合的方差：对任意二阶矩有限的随机变量 \(X_1,\ldots,X_n\)，有

  \[ \operatorname{var}\left(\sum_{i=1}^{n}a_iX_i\right) =\sum_{i=1}^{n}a_i^2\operatorname{var}(X_i)+2\sum_{1\leq i<j\leq n}a_ia_j\operatorname{cov}(X_i,X_j) \]

  • 特别的，若 \(X_1,\ldots,X_n\) 相互独立，则

    \[ \operatorname{var}\left(\sum_{i=1}^{n}a_iX_i\right)=\sum_{i=1}^{n}a_i^2\operatorname{var}(X_i) \]

• 柯西-施瓦茨不等式：

  \[ \operatorname{cov}^2(X,Y)\leq\operatorname{var}(X)\operatorname{var}(Y) \]

  当两个方差均大于 \(0\) 时，等号成立当且仅当 \(X,Y\) 之间具有严格的线性关系。

• 相关系数：记 \(\sigma_X=\sqrt{\operatorname{var}(X)}\)、\(\sigma_Y=\sqrt{\operatorname{var}(Y)}\)，若 \(0<\sigma_X,\sigma_Y<\infty\)，则定义

  \[ \rho_{XY}=\frac{\operatorname{cov}(X,Y)}{\sigma_X\sigma_Y} \]
  • 说明：相关系数无量纲，刻画两个随机变量之间的线性相关程度。\(|\rho_{XY}|\) 越接近 \(1\)，线性相关程度越强；越接近 \(0\)，线性相关程度越弱。正负号表示线性关系的方向。

• 相关系数的性质：

  • 取值范围：\(-1\leq\rho_{XY}\leq1\)。

  • 完全正线性相关：\(\rho_{XY}=1\) 当且仅当存在 \(a>0,b\in\mathbb R\)，使

    \[ P(Y=aX+b)=1 \]

  • 完全负线性相关：\(\rho_{XY}=-1\) 当且仅当存在 \(a<0,b\in\mathbb R\)，使

    \[ P(Y=aX+b)=1 \]

  • 不相关：\(\rho_{XY}=0 \iff \operatorname{cov}(X,Y)=0 \iff E(XY)=E(X)E(Y)\)。

• 独立与不相关：在二阶矩有限且方差为正时，

  \[ X,Y\text{ 相互独立}\quad\Longrightarrow\quad X,Y\text{ 不相关} \]

  反之一般不成立，不相关不能排除非线性依赖。

  • 二元正态分布的特殊性质：若

    \[ (X,Y)\sim N(\mu_1,\sigma_1^2,\mu_2,\sigma_2^2,\rho) \]

    则

    \[ \operatorname{cov}(X,Y)=\rho\sigma_1\sigma_2,\qquad\rho_{XY}=\rho \]

    且

    \[ X,Y\text{ 相互独立}\quad\Longleftrightarrow\quad X,Y\text{ 不相关}\quad\Longleftrightarrow\quad\rho=0 \]
    • 说明：该结论要求联合分布为二元正态，不能仅由两个边际分布均为正态就推出。

• 正态线性组合的独立性判定：若 \(X,Y\) 为相互独立的正态随机变量，令 \(U=aX+bY\)、\(V=aX-bY\)，则 \((U,V)\) 联合正态，且

  \[ \operatorname{cov}(U,V)=a^2\operatorname{var}(X)-b^2\operatorname{var}(Y) \]

  因此 \(U,V\) 相互独立当且仅当 \(a^2\operatorname{var}(X)=b^2\operatorname{var}(Y)\)。

条件方差

• 条件方差：对于二维随机向量 \((X,Y)\)，记 \(f_{Y\mid X}(y\mid x)\) 为给定 \(X=x\) 时 \(Y\) 的概率质量函数或条件密度函数，记 \(\mu(x)=E(Y\mid X=x)\)，给定 \(X=x\) 时 \(Y\) 的条件方差为

  \[ \operatorname{var}(Y\mid X=x)=E\{[Y-\mu(x)]^2\mid X=x\} \]

  • 离散型：

    \[ \operatorname{var}(Y\mid X=x)=\sum_j[y_j-\mu(x)]^2P(Y=y_j\mid X=x) \]

  • 连续型：

    \[ \operatorname{var}(Y\mid X=x)=\int_{-\infty}^{+\infty}[y-\mu(x)]^2f_{Y\mid X}(y\mid x)\,dy \]

• 随机向量函数的条件方差：设 \(g(X,Y)\) 是随机向量 \(X\) 和 \(Y\) 的函数，记 \(\mu_g(x)=E[g(X,Y)\mid X=x]\)，则

  \[ \operatorname{var}(g(X,Y)\mid X=x)=E\{[g(x,Y)-\mu_g(x)]^2\mid X=x\} \]

• 条件方差计算公式：

  \[ \operatorname{var}(Y\mid X)=E(Y^2\mid X)-[E(Y\mid X)]^2 \]

  • 说明：固定 \(x\) 时，\(\operatorname{var}(Y\mid X=x)\) 是一个数；不固定 \(X\) 时，\(\operatorname{var}(Y\mid X)\) 是 \(X\) 的函数，因而是随机变量。

  • 二元正态分布的条件方差：

    \[ \operatorname{var}(Y\mid X=x)=\sigma_2^2(1-\rho^2) \]

• 全方差公式：若 \(E(Y^2)<\infty\)，则

  \[ \operatorname{var}(Y)=E[\operatorname{var}(Y\mid X)]+\operatorname{var}[E(Y\mid X)] \]

  • \(E[\operatorname{var}(Y\mid X)]\) 表示给定条件后剩余波动的平均。

  • \(\operatorname{var}[E(Y\mid X)]\) 表示不同条件下条件均值的波动。

• 分层模型中的应用：若

  \[ Q\sim U(0,1),\qquad X\mid Q=q\sim B(n,q) \]

  则

  \[ E(X\mid Q)=nQ,\qquad\operatorname{var}(X\mid Q)=nQ(1-Q) \]

  利用全期望公式和全方差公式，

  \[ E(X)=nE(Q)=\frac n2 \]
  \[ \operatorname{var}(X)=nE[Q(1-Q)]+n^2\operatorname{var}(Q)=\frac n6+\frac{n^2}{12}=\frac{n(n+2)}{12} \]

4.4 矩

原点矩和中心矩

• 关于常数的矩：设 \(k\) 为正整数，若 \(E(|X|^k)<\infty\)，则称

  \[ E[(X-c)^k] \]

  为 \(X\) 关于常数 \(c\) 的 \(k\) 阶矩。

• \(k\) 阶原点矩：

  \[ \alpha_k=E(X^k) \]

• \(k\) 阶中心矩：

  \[ \mu_k=E[(X-E(X))^k] \]

• 常见的矩：

  \[ \alpha_1=E(X),\qquad\mu_1=0,\qquad\mu_2=\operatorname{var}(X)=\alpha_2-\alpha_1^2 \]

混合原点矩和混合中心矩

• 混合矩：设 \(k,l\) 为正整数，若 \(E(|X^kY^l|)<\infty\)，则称

  \[ E[(X-a)^k(Y-b)^l] \]

  为 \(X,Y\) 关于常数 \(a,b\) 的 \(k+l\) 阶混合矩。

• 混合原点矩：

  \[ \alpha_{kl}=E(X^kY^l) \]

• 混合中心矩：

  \[ \mu_{kl}=E[(X-E(X))^k(Y-E(Y))^l] \]

• 协方差与混合矩：协方差是二阶混合中心矩，即

  \[ \mu_{11}=\operatorname{cov}(X,Y)=\alpha_{11}-E(X)E(Y) \]

矩母函数

• 矩母函数：随机变量 \(X\) 的矩母函数（moment generating function，MGF，又称矩生成函数）定义为

  \[ \phi_X(t)=E(e^{tX})=\int_{\mathbb R}e^{tx}\,dF_X(x) \]

  • 离散型：

    \[ \phi_X(t)=\sum_ke^{tx_k}p_k \]

  • 连续型：

    \[ \phi_X(t)=\int_{-\infty}^{+\infty}e^{tx}f(x)\,dx \]

• 存在条件：通常要求存在 \(\delta>0\)，使 \(\phi_X(t)\) 在 \(U(0) = (-\delta,\delta)\) 内均有限；仅有 \(\phi_X(0)=1\) 不足以使用下述求矩和唯一性结论。

• 利用矩母函数求矩：若矩母函数在 \(0\) 的某个开邻域 \(U(0)\) 内有限，则各阶原点矩均存在，且

  \[ \phi_X^{(k)}(0)=E(X^k),\quad k=1,2,\ldots \]

  特别地，

  \[ E(X)=\phi_X'(0),\qquad\operatorname{var}(X)=\phi_X''(0)-[\phi_X'(0)]^2 \]

• 矩母函数的性质

  1. 线性变换：若 \(Y=aX+b\)，则在相应期望有限时，

     \[ \phi_Y(t)=e^{bt}\phi_X(at) \]

  2. 独立随机变量和的矩母函数：若 \(X_1,\ldots,X_n\) 相互独立，\(Y=\sum_{i=1}^{n}X_i\)，则

     \[ \phi_Y(t)=\prod_{i=1}^{n}\phi_{X_i}(t) \]

  3. 唯一性：若 \(X,Y\) 的矩母函数在 \(0\) 的同一个开邻域内均有限且相等，则两者同分布，记为

     \[ X\overset{d}=Y \]

• 常见矩母函数及其应用

  • 泊松分布：若 \(X\sim P(\lambda)\)，则

    \[ \phi_X(t)=\sum_{k=0}^{\infty}e^{tk}\frac{\lambda^k}{k!}e^{-\lambda} =\exp\{\lambda(e^t-1)\},\quad t\in\mathbb R \]

    因而

    \[ \phi_X'(0)=\lambda,\qquad\phi_X''(0)=\lambda^2+\lambda \]

    所以 \(E(X)=\operatorname{var}(X)=\lambda\)。

  • 指数分布：若 \(X\sim\operatorname{Exp}(\lambda)\)，则

    \[ \phi_X(t)=\int_0^{+\infty}e^{tx}\lambda e^{-\lambda x}\,dx =\frac{\lambda}{\lambda-t},\quad t<\lambda \]

    当 \(t\geq\lambda\) 时该期望发散；由在 \(0\) 处的一、二阶导数可得

    \[ E(X)=\frac1\lambda,\qquad E(X^2)=\frac2{\lambda^2},\qquad\operatorname{var}(X)=\frac1{\lambda^2} \]

  • 伯努利分布与二项分布：若 \(X_i\overset{\mathrm{iid}}{\sim}B(1,p)\)，\(X=\sum_{i=1}^{n}X_i\sim B(n,p)\)，则

    \[ \phi_{X_i}(t)=1-p+pe^t,\qquad\phi_X(t)=(1-p+pe^t)^n \]

    因而

    \[ E(X)=np,\qquad E(X^2)=np(1-p)+n^2p^2,\qquad\operatorname{var}(X)=np(1-p) \]

  • 利用矩母函数证明可加性：若 \(X\sim B(n_1,p)\)、\(Y\sim B(n_2,p)\) 且相互独立，则

    \[ \phi_{X+Y}(t)=\phi_X(t)\phi_Y(t) =(1-p+pe^t)^{n_1+n_2} \]

    右侧是 \(B(n_1+n_2,p)\) 的矩母函数，由唯一性得到

    \[ X+Y\sim B(n_1+n_2,p) \]