跳转至

第七章 参数估计

点估计

定义

对于一个已知分布函数形式的总体 \(X\)，令

\[ F\left(x;\theta_{1},\theta_{2},\cdots,\theta_{k}\right) \]

但存在未知参数的情况，对于样本 \(\left(X_{1},X_{2},\cdots,X_{n}\right)\) 构造统计量

\[ \hat{\theta}_{j}=\hat{\theta}_{j}\left(X_{1},X_{2},\cdots,X_{n}\right),j=1,2,\cdots,k \]

再代入样本数据 \(\left(x_{1},x_{2},\cdots,x_{n}\right)\)，对未知参数 \(\theta_{j}(j=1,2,\cdots,k)\) 进行估计

这种用 \(\left(X_{1},X_{2},\cdots,X_{n}\right)\) 构造统计量去估计未知参数的方法称为 点估计法

频率估计法

对于仅有一个未知量 \(p\) 的情况，利用事件 \(A\) 在 \(n\) 次试验中发生的频率 \(\dfrac{n_A}{n}\) 作为事件 \(A\) 发生的概率 \(p\) 的估计量

\[ \dfrac{n_A}{n}\xrightarrow{\ p\ }p \]

矩估计法

用 样本矩估计总体矩，从而得到总体分布中的参数，即用样本的经验分布和样本矩去替换总体的理论分布和总体矩

  • 特点：
    • 矩估计法的 优点 是简单易行，并不需要事先知道总体是什么分布
    • 其 缺点 是当总体类型已知时，没有充分利用分布提供的信息
    • 在一般情况下，矩估计量 不具有唯一性

估计方法

设总体 \(X\) 的分布函数为 \(F\left(x;\theta_{1},\theta_{2},\cdots,\theta_{k}\right)\)，其中待估计的参数为 \(\theta_{1},\theta_{2},\cdots,\theta_{k}\)，假设 \(k\) 阶原点矩存在，则记

\[ E \left(X^{r}\right)=\mu_{r}\left(\theta_{1},\theta_{2},\cdots,\theta_{k}\right),r=1,2,\cdots,k \]

根据大数定律，列出如下方程

\[ \displaystyle\left\{\begin{array}{c}\displaystyle \mu_{1}\left(\theta_{1},\theta_{2},\cdots,\theta_{k}\right)=\frac{1}{n} \sum_{i=1}^{n} X_{i},\\\displaystyle \mu_{2}\left(\theta_{1},\theta_{2},\cdots,\theta_{k}\right)=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2},\\ \vdots \\\displaystyle \mu_{k}\left(\theta_{1},\theta_{2},\cdots,\theta_{k}\right)=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{k} \end{array}\right. \]

如果方程组有解 (事实上，上述方程都是近似方程)，可以得到 矩估计量

\[ \begin{array}{c} \hat{\theta}_{1}=\hat{\theta}_{1}\left(X_{1},X_{2},\cdots,X_{n}\right),\\ \hat{\theta}_{2}=\hat{\theta}_{2}\left(X_{1},X_{2},\cdots,X_{n}\right),\\ \vdots \\ \hat{\theta}_{k}=\hat{\theta}_{k}\left(X_{1},X_{2},\cdots,X_{n}\right), \end{array} \]

代入样本值可得矩估计量的样本值即 矩估计值

\[ \begin{array}{c} \hat{\theta}_{1}=\hat{\theta}_{1}\left(x_{1},x_{2},\cdots,x_{n}\right),\\ \hat{\theta}_{2}=\hat{\theta}_{2}\left(x_{1},x_{2},\cdots,x_{n}\right),\\ \vdots \\ \hat{\theta}_{k}=\hat{\theta}_{k}\left(x_{1},x_{2},\cdots,x_{n}\right), \end{array} \]

常见分布的矩估计量

  • 正态分布

    \[ \begin{cases} \hat{\mu}_{\text {矩 }} =\bar{X}\\ \hat{\sigma}_{\text {矩 }}^{2} =\displaystyle\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}-\bar{X}^{2} \end{cases} \]

  • 指数分布

    \[ \hat{\lambda}_{\text {矩 }} = \frac{1}{\bar{X}} \]

  • 泊松分布

    \[ \hat{\lambda}_{\text {矩 }} =\displaystyle\frac{1}{n} \sum_{i=1}^{n} x_{i} \]

  • 均匀分布

    \[ \begin{cases} \hat{a}_{\text {矩 }}=\bar{X}-\sqrt{3\left(\displaystyle\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}-\bar{X}^{2}\right)}=\bar{X}-\sqrt{\displaystyle\frac{3}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}} = \bar{X}-\sqrt{3 S^2}\\ \hat{b}_{\text {矩 }}=\bar{X}+\sqrt{3\left(\displaystyle\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}-\bar{X}^{2}\right)}=\bar{X}+\sqrt{\displaystyle\frac{3}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}} = \bar{X}+\sqrt{3 S^2} \end{cases} \]

最大似然估计法

  • 估计量 \(\hat{\theta}_{MLE}\)
  • 估计值 \(\hat{\theta}_{mle}\)

估计方法

  1. 构造似然函数：

    • 离散型

      \[ \begin{aligned} L\left(\theta_{1},\theta_{2},\cdots,\theta_{k}\right) &=P\left(X_{1}=x_{1},X_{2}=x_{2},\cdots,X_{n}=x_{n}\right)\\ &=\prod_{i=1}^{n} P\left(x_{i};\theta_{1},\theta_{2},\cdots,\theta_{k}\right) \end{aligned} \]

    • 连续型

      \[ L\left(\theta_{1},\theta_{2},\cdots,\theta_{k}\right)=\prod_{i=1}^{n} f\left(x_{i};\theta_{1},\theta_{2},\cdots,\theta_{k}\right) \]

  2. 列出似然方程组：求 \(\left(\hat{\theta}_{1},\hat{\theta}_{2},\cdots,\hat{\theta}_{k}\right)\) 使得 \(L\left(\hat{\theta}_{1},\hat{\theta}_{2},\cdots,\hat{\theta}_{k}\right)=\max L\left(\theta_{1},\theta_{2},\cdots,\theta_{k}\right)\) ，得到 似然方程组

    \[ \frac{\partial L\left(\theta_{1},\theta_{2},\cdots,\theta_{k}\right)}{\partial \theta_{i}}=0,i=1,2,\cdots,k \]

    双边求对数得到 对数似然方程组

    \[ \frac{\partial \ln L\left(\theta_{1},\theta_{2},\cdots,\theta_{k}\right)}{\partial \theta_{i}}=0,i=1,2,\cdots,k \]

  3. 求解极大值点：解以上方程组，求出 \(\left(\hat{\theta}_{1},\hat{\theta}_{2},\cdots,\hat{\theta}_{k}\right)\)

常见分布的极大似然估计

  • 正态分布

    \[ \begin{cases} \hat{\mu}_{m l e} = \displaystyle\frac{1}{n} \sum_{i=1}^{n} x_{i}=\bar{x}\\ \hat{\sigma}^{2}_{m l e} = \displaystyle\frac{1}{n} \sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)^{2} \end{cases} \]

  • 均匀分布

    \[ \begin{cases} \hat{a}=x_{\min }\\ \hat{b}=x_{\max } \end{cases} \]

  • 指数分布

    \[ \hat{\lambda}_{m l e} =\displaystyle\frac{1}{\bar{x}}=\displaystyle\frac{n}{\sum_{i=1}^{n} x_{i}} \]

  • 泊松分布

    \[ \hat{\lambda}_{m l e} =\displaystyle\frac{1}{n} \sum_{i=1}^{n} x_{i} \]

性质

  • 最大似然估计不变性原理：若 \(\hat\theta\) 是未知参数 \(\theta\) 的最大似然估计，又 \(g(\theta)\) 是 \(\theta\) 的连续函数，且有单值反函数 \(\theta = \theta(g)\)，则 \(g=g(\theta)\) 的最大似然估计为

    \[ \hat{g}=g(\hat{\theta}) \]
    • 不变性原理对矩估计一般不成立
    • 存在性与唯一性：
    • 极大似然估计不一定存在
    • 极大似然估计不一定唯一

估计量的评价标准

无偏性

  • 无偏估计量：\(\theta\) 的无偏估计量 \(\hat\theta = \hat\theta(X_1,X_2,\cdots X_n)\) 满足

    \[ E(\hat\theta) = \theta \]

  • 偏差：若 \(E(\hat\theta) \neq \theta\)，则估计量 \(\hat\theta\) 的偏差

    \[ \varepsilon = E(\hat\theta) - \theta \]

  • 常见估计量的无偏性：样本的 n 阶原点矩都是总体的 n 阶原点矩的无偏估计量

    • \(\bar X\) 为 \(\mu\) 的无偏估计量
    • \(S^2\) 为 \(\sigma^2\) 的无偏估计量
    • \(CM_2\) 需要修正为 \(\dfrac{n}{n-1}CM_2\) 才是 \(\sigma^2\) 的无偏估计量
  • 性质：
    • 估计量的无偏性与其函数的无偏性无关
      • 即 \(\hat\theta\) 是 \(\theta\) 的无偏估计量，但 \(g(\hat\theta)\) 不一定是 \(g(\theta)\) 的
      • 如 \(\bar X\) 与 \(\overline {X^2}\)
    • 线性性
      • 由无偏性的公式得到
      • 若某个参数的估计量为两个参数的估计量的线性组合，则这两个参数的无偏估计量按照相同的线性组合即为该参数的无偏估计量
  • 求无偏估计量的方法：由于样本矩是总体矩的无偏估计量，由数学期望线性性，将未知参数表示为总体矩的线性函数，用样本矩作为总体矩的估计量

有效性

  • 定义：对于参数 \(\theta\) 的两个 无偏 估计量 \(\hat\theta_1 = \hat\theta_1(X_1,X_2,\cdots,X_n),\hat\theta_2 = \hat\theta_2(X_1,X_2,\cdots,X_n)\)，利用有效性评判其好坏

    \[ D(\hat\theta_1) < D(\hat\theta_2) \]

    则估计量 \(\hat\theta_1\) 比 \(\hat\theta_2\) 有效

  • 无偏估计的方差下界：无偏估计的方差不是任意小，下界 \(I(\theta)\) 由下列 Rao-Cramer 不等式确定

    • 离散型：\(P(X;\theta)\) 为 \(X\) 的分布律，\(\theta\) 为未知参数

      \[ D(\hat\theta)\ge I(\theta) = \dfrac{1}{nE\left[\left(\dfrac{\partial\ln P(X;\theta)}{\partial\theta}\right)^2\right]} > 0 \]

    • 连续型：\(f(X;\theta)\) 为连续性随机变量 \(X\) 的概率密度函数

      \[ D(\hat\theta)\ge I(\theta) = \dfrac{1}{nE\left[\left(\dfrac{\partial\ln f(X;\theta)}{\partial\theta}\right)^2\right]} > 0 \]

  • 有效估计量：未知参数 \(\theta\) 的 有效估计量 \(\hat\theta_0\) 需要满足：

    • 在所有 无偏 估计量 \(\hat\theta\) 中均有

      \[ D(\hat\theta_0) = I(\theta)\le D(\hat\theta) \]

    • 即某个无偏估计量的 方差达到下界

一致性

  • 定义：参数 \(\theta\) 的 一致 (相合) 估计量 \(\hat\theta_n = \hat\theta(X_1,X_2,\cdots X_n)\) 满足：随机变量序列 \(\{\hat\theta_n\}\) 依概率收敛于 \(\theta\)，即 \(\forall\varepsilon > 0\)，有

    \[ \lim _{n \rightarrow+\infty} P\left(\left|\hat{\theta}_{n}-\theta\right|<\varepsilon\right)=1 \]

    或

    \[ \lim _{n \rightarrow+\infty} P\left(\left|\hat{\theta}_{n}-\theta\right| \geqslant \varepsilon\right)=0 \]

  • 性质：

    • 矩法估计量的一致性：样本 \(k\) 阶矩是总体 \(k\) 阶矩的一致性估计量
      • 矩法得到的估计量一般为一致性估计量
      • \(S_n^2\) 为 \(D(X)\) 的一致性估计量
    • 一致估计的不变性原理：若 \(\hat \theta\) 为 \(\theta\) 的一致估计，则 \(\hat g(\theta)\) 也为 \(g(\theta)\) 的一致估计

  • 一致估计量的判定：设 \(\hat\theta_n = \hat\theta(X_1,X_2,\cdots X_n)\) 为未知参数 \(\theta\) 的无偏估计量，若

    \[ \lim_{n\to\infty} D(\hat\theta_n) = 0 \]

    则 \(\hat\theta_n\) 为 \(\theta\) 的一致估计量

区间估计

单个正态总体参数的置信区间

均值 \(\mu\) 的置信区间

1. 方差 \(\sigma^2\) 已知

  • 枢轴量

    \[ U = \dfrac{\bar X - \mu}{\sigma/\sqrt n}\sim N(0,1) \]

  • 置信区间 (\(1-\alpha\))

    \[ \left(\bar{X}-u_{\alpha / 2} \frac{\sigma}{\sqrt{n}},\bar{X}+u_{\alpha / 2} \frac{\sigma}{\sqrt{n}}\right) \]
2. 方差未知

  • 枢轴量：用 \(S = \sqrt{S^2}\) 代替均方差 \(\sigma\)

    \[ T=\frac{\bar{X}-\mu}{S / \sqrt{n}} \sim t(n-1) \]

  • 置信区间 (\(1-\alpha\))

    \[ \left(\bar{X}-t_{\alpha / 2}(n-1) \frac{S}{\sqrt{n}},\bar{X}+t_{\alpha / 2}(n-1) \frac{S}{\sqrt{n}}\right) \]

方差 \(\sigma^2\) 的置信区间

1. 均值 \(\mu\) 未知

  • 枢轴量

    \[ \chi^2 = \dfrac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1) \]

  • 置信区间 (\(1-\alpha\))

    \[ \left(\frac{(n-1) S^{2}}{\chi_{\alpha / 2}^{2}(n-1)},\frac{(n-1) S^{2}}{\chi_{1-\alpha / 2}^{2}(n-1)}\right) \]
2. 均值 \(\mu\) 已知

  • 枢轴量

    \[ \chi^2 = \dfrac{1}{\sigma^2}\sum_{i = 1}^n(X_i - \mu)^2 = \sum_{i = 1}^n\left(\dfrac{X_i - \mu}{\sigma}\right)^2\sim\chi^2(n) \]

  • 置信区间 (\(1-\alpha\))

    \[ \left(\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{\alpha / 2}^{2}(n)},\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{1-\alpha / 2}^{2}(n)}\right) \]

两个正态总体参数的置信区间

均值差 \(\mu_1 - \mu_2\)

1. \(\sigma_1^2,\sigma_2^2\) 均已知

  • 枢轴量：由 \(\bar X - \bar Y \sim N\left(\mu_1 - \mu_2,\dfrac{\sigma_1^2}{n_1}+\dfrac{\sigma_2^2}{n_2}\right)\),

    \[ U = \dfrac{\bar X - \bar Y - (\mu_1 - \mu_2)}{\sqrt{\dfrac{\sigma_1^2}{n_1}+\dfrac{\sigma_2^2}{n_2}}}\sim N(0,1) \]

  • 置信区间 (\(1-\alpha\))

    \[ \left(\bar{X}-\bar{Y}-u_{\alpha / 2} \sqrt{\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}},\bar{X}-\bar{Y}+u_{\alpha / 2} \sqrt{\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}}\right) \]
2. 方差均未知，但 \(\sigma_1^2 = \sigma_2^2\)

  • 枢轴量

    \[ T=\frac{\bar{X}-\bar{Y}-\left(\mu_{1}-\mu_{2}\right)}{S_{W} \sqrt{\dfrac{1}{n_{1}}+\dfrac{1}{n_{2}}}} \sim t\left(n_{1}+n_{2}-2\right) \]

    其中 \(S_W =\sqrt{\dfrac{(n_1-1) S_{1}^{2}+(n_2-1) S_{2}^{2}}{n_1+n_2-2}}\)

  • 置信区间 (\(1-\alpha\))

    \[ \left(\bar{X}-\bar{Y}-t_{\alpha / 2}\left(n_{1}+n_{2}-2\right) S_{W} \sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}},\bar{X}-\bar{Y}+t_{\alpha / 2}\left(n_{1}+n_{2}-2\right) S_{W} \sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}\right) \]
3. 已知 \(n_1 = n_2\)

  • 枢轴量：由配对 \(Z_i = X_i - Y_i \sim N(\mu_1 - \mu_2,\sigma_1^2 + \sigma_2^2)\)

    \[ T=\frac{\bar{Z}-\left(\mu_{1}-\mu_{2}\right)}{S_{z} / \sqrt{n}} \sim t(n-1) \]

  • 置信区间 (\(1-\alpha\))

    \[ \left(\bar{Z}-t_{\alpha / 2}(n-1) S_{z} / \sqrt{n},\quad \bar{Z}+t_{\alpha / 2}(n-1) S_{z} / \sqrt{n}\right) \]

方差比 \(\dfrac{\sigma_1^2}{\sigma_2^2}\)

1. \(\mu_1,\mu_2\) 未知

  • 枢轴量

    \[ F=\frac{S_{1}^{2} / \sigma_{1}^{2}}{S_{2}^{2} / \sigma_{2}^{2}}=\frac{S_{1}^{2} / S_{2}^{2}}{\sigma_{1}^{2} / \sigma_{2}^{2}} \sim F\left(n_{1}-1,n_{2}-1\right) \]

  • 置信区间 (\(1-\alpha\))

    \[ \left(\frac{S_{1}^{2} / S_{2}^{2}}{F_{\alpha / 2}\left(n_{1}-1,n_{2}-1\right)},\quad \frac{S_{1}^{2} / S_{2}^{2}}{F_{1-\alpha / 2}\left(n_{1}-1,n_{2}-1\right)}\right) \]
2. \(\mu_1,\mu_2\) 已知

  • 枢轴量

    \[ F=\frac{\dfrac{1}{n} \dfrac{\sum_{i=1}^{n}\left(X_{i}-\mu_{1}\right)^{2}}{\sigma_{1}^{2}}}{\dfrac{1}{m} \dfrac{\sum_{j=1}^{m}\left(Y_{j}-\mu_{2}\right)^{2}}{\sigma_{2}^{2}}}=\dfrac{\dfrac{m}{n} \dfrac{\sum_{i=1}^{n}\left(X_{i}-\mu_{1}\right)^{2}}{\sum_{j=1}^{m}\left(Y_{j}-\mu_{2}\right)^{2}}}{\dfrac{\sigma_{1}^{2}}{\sigma_{2}^{2}}} \sim F(n,m) \]

  • 置信区间 (\(1-\alpha\))

    \[ \left(\frac{\frac{m}{n} \cdot \frac{\sum_{i=1}^{n}\left(X_{i}-\mu_{1}\right)^{2}}{\sum_{j=1}^{m}\left(Y_{j}-\mu_{2}\right)^{2}}}{F_{\frac{\alpha}{2}}(n,m)},\frac{\frac{m}{n} \cdot \frac{\sum_{i=1}^{n}\left(X_{i}-\mu_{1}\right)^{2}}{\sum_{j=1}^{m}\left(Y_{j}-\mu_{2}\right)^{2}}}{F_{1-\frac{\alpha}{2}}(n,m)}\right) \]

正态总体均值的单侧区间估计

  • 单侧置信区间：令

    \[ P(\theta>\hat\theta_1) = 1-\alpha\text{ 或 } P(\theta< \hat\theta_2) = 1-\alpha \]

    得

    \[ (\hat\theta_1,+\infty)\text{ 或 } (-\infty,\hat\theta_2) \]
    • \(\hat\theta_1\) 单侧置信下限
    • \(\hat\theta_2\) 单侧置信上限

均值 \(\mu\) 的置信区间

方差 \(\sigma^{2}\) 已知，均值的单侧置信区间
\[ \begin{aligned} \left(\bar{X}-u_{\alpha} \frac{\sigma}{\sqrt{n}},+\infty\right)\\ \left(-\infty,\bar{X}+u_{\alpha} \frac{\sigma}{\sqrt{n}}\right) \end{aligned} \]
方差 \(\sigma^{2}\) 未知，均值的单侧置信区间
\[ \begin{aligned} \left(\bar{X}-t_{\alpha}(n-1) \frac{S}{\sqrt{n}},+\infty\right)\\ \left(-\infty,\bar{X}+t_{\alpha}(n-1) \frac{S}{\sqrt{n}}\right) \end{aligned} \]

方差 \(\sigma^{2}\) 的置信区间

均值 \(\mu\) 已知，方差的单侧置信区间
\[ \begin{aligned} \left(\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{\alpha}^{2}(n)},+\infty\right)\\ \left(-\infty,\frac{\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}}{\chi_{1-\alpha}^{2}(n)}\right) \end{aligned} \]
均值 \(\mu\) 未知，方差的单侧置信区间
\[ \begin{aligned} \left(\frac{(n-1) S^{2}}{\chi_{\alpha}^{2}(n-1)},+\infty\right)\\ \left(-\infty,\frac{(n-1) S^{2}}{\chi_{1-\alpha}^{2}(n-1)}\right) \end{aligned} \]