第七章 - 参数估计

7.1 点估计

引言

• 统计模型：一系列分布（或密度或回归函数）的集合，记为 \(\mathcal F\)。

  • 参数模型：可由有限个参数表示的统计模型，一般写为

    \[ \mathcal F=\{f(x;\boldsymbol\theta):\boldsymbol\theta\in\Theta\} \]

    其中 \(\boldsymbol\theta\) 表示在参数空间 \(\Theta\) 中取值的未知参数（或参数向量）。

  • 非参数模型：不能用有限个参数表示的统计模型。

• 参数估计：通过样本 \(X_1,\ldots,X_n\) 推断总体 \(F(x;\boldsymbol\theta)\) 的某个特征 \(g(\boldsymbol\theta)\) 的过程称为参数估计，如总体均值、总体方差、总体中位数等。

• 参数的点估计：设 \(X_1,\ldots,X_n\) 为来自分布 \(F(x;\boldsymbol\theta)\) 的简单随机样本，参数（向量）的点估计记为

  \[ \hat{\boldsymbol\theta}=h(X_1,\ldots,X_n) \]

  也称为参数的估计量。当有了样本观测值 \(x_1,\ldots,x_n\)，代入估计量中得到的值称为参数的估计值。

  • 参数 \(\boldsymbol\theta\)：固定的未知常数

  • 估计量 \(\hat{\boldsymbol\theta}\)：是统计量，是随机变量或随机向量

  • 估计值 \(\hat{\boldsymbol\theta}(x_1,\ldots,x_n)\)：将样本观测值代入估计量后得到的数值

• 感兴趣参数与冗余参数：对于参数模型，感兴趣问题对应的参数 \(g(\boldsymbol\theta)\) 称为感兴趣的参数（parameter of interest），其余参数称为冗余参数（nuisance parameter）。

矩估计法

• 基本原理：用样本原点矩估计相应的总体原点矩，理论依据是大数定律。在相应矩存在时，

  \[ \hat\alpha_k=\frac1n\sum_{i=1}^nX_i^k\xrightarrow{\mathcal P}\alpha_k=E(X^k) \]
  \[ g(\hat\alpha_1,\ldots,\hat\alpha_k)\xrightarrow{\mathcal P}g(\alpha_1,\ldots,\alpha_k) \]

• 矩估计具体求法：设总体分布含有 \(m\) 个未知参数 \(\theta_1,\ldots,\theta_m\)，其前 \(k\) 阶总体原点矩是这些参数的函数：

  \[ \alpha_j=E(X^j)=\alpha_j(\theta_1,\ldots,\theta_m),\qquad j=1,\ldots,k \]

  从这 \(k\) 个方程（\(k\geq m\)）中解出

  \[ \theta_j=h_j(\alpha_1,\ldots,\alpha_k),\qquad j=1,\ldots,m \]

  用相应样本矩 \(\hat\alpha_j\) 代替总体矩 \(\alpha_j\)，即得参数的矩估计：

  \[ \hat\theta_j=h_j\left(\hat\alpha_1,\ldots,\hat\alpha_k\right),\qquad j=1,\ldots,m \]

  若要估计的是参数函数 \(g(\theta_1,\ldots,\theta_m)\)，则其矩估计量为

  \[ g(\hat\theta_1,\ldots,\hat\theta_m) \]

• 常见矩估计：

  • 均值的矩估计：

    \[ \hat\mu=\frac1n\sum_{j=1}^nX_j\triangleq\bar X \]

  • 方差的矩估计：

    \[ \hat\sigma^2=\frac1n\sum_{i=1}^nX_i^2-\left(\frac1n\sum_{i=1}^nX_i\right)^2=\frac1n\sum_{i=1}^n\left(X_i-\frac1n\sum_{j=1}^nX_j\right)^2\triangleq B_2 \]

• 示例：

  • 均匀分布的矩估计：若 \(X\sim U(a,b)\)，则

    \[ E(X)=\frac{a+b}{2},\qquad\operatorname{var}(X)=\frac{(b-a)^2}{12} \]

    解得

    \[ a=\mu-\sqrt{3\sigma^2},\qquad b=\mu+\sqrt{3\sigma^2} \]

    代入样本矩估计量，得到

    \[ \hat a=\bar X-\sqrt{3B_2},\qquad \hat b=\bar X+\sqrt{3B_2} \]

  • 幂密度参数的矩估计：若 \(f(x;\alpha)=(\alpha+1)x^\alpha I(0<x<1)\)，\(\alpha>-1\)，则

    \[ E(X)=\frac{\alpha+1}{\alpha+2} \qquad\Longrightarrow\qquad \alpha=\frac{2E(X)-1}{1-E(X)} \]

    代入样本矩估计量，得到

    \[ \hat\alpha=\frac{2\bar X-1}{1-\bar X} \]

• 优缺点：

  • 优点：简单易行，估计总体均值、方差时不需要事先知道总体是什么分布。

  • 缺点：

    • 当总体类型已知时，没有充分利用分布提供的信息，导致其在某些准则下不是最优估计。

    • 矩估计量不具有唯一性，主要原因在于选取哪些总体矩用相应样本矩代替带有一定的随意性，尽量用低阶矩来估计参数。