biscuitの博客

矩估计#

一句话：用样本矩去估计总体矩，从而得到参数的估计值。

注意样本的二阶矩不是样本方差。

方法：

1. 求总体的一阶矩和二阶矩，带参数的。

   $$\alpha_1 = \mathbb{E}(X)$$ $$\alpha_2 = \mathbb{E}(X^2) \\ \mathrm{D}(X) = \alpha_2 - (\alpha_1)^2 \\$$

2. 求样本的一阶矩和二阶矩，带样本数据的。 样本一阶矩：

   $$M_1' = \overline{X} = \frac{1}{n} \sum_{i=1}^n X_i$$

   样本二阶矩：

   $$M_2' = \frac{1}{n} \sum_{i=1}^n X_i^2$$

3. 令样本矩等于总体矩，解方程组，得到参数的估计值。

   $$\hat{\alpha_1}= M_1' \\ \hat{\alpha_2}= M_2' \\$$

极大似然估计MLE#

一句话：找到使得样本出现的概率最大的参数值。

对于一个样本 $X_1, X_2, \ldots, X_n$，假设它们来自于一个参数为 $\theta$ 的总体，其概率密度函数为 $f(x; \theta)$。则样本的联合概率密度函数（或联合概率质量函数）为：

这个函数 $L(\theta)$ 被称为似然函数。这个越大，说明在参数 $\theta$ 下，观察到当前样本的可能性越大。

极大似然估计的目标是找到使得似然函数 $L(\theta)$ 最大化的参数值 $\hat{\theta}_{MLE}$，即：

有时候求导发现不得0，就需要结合单调性取样本的特值。 对极大似然函数求导有时候不方便，可以对似然函数取对数，得到对数似然函数：

然后求偏导数并令其为零，解方程得到参数的估计值：

所以说重点还是在搞清楚样本的概率密度函数是啥。

NOTE

这里的参数求偏导时应当被视为一个整体，例如，正态分布的参数是 $(\mu, \sigma^2)$，应对 $\sigma^2$ 求偏导，而不是对 $\sigma$ 求偏导。

估计量的鉴定#

有时候对于同一个参数，不同的估计方法会产生多个估计量，那么我们需要对这些估计量进行鉴定，选择一个更好的估计量。

鉴定估计量的标准主要有以下几个：

1. 无偏性：估计量的期望值等于参数 $\theta$ 的实际值，即偏差为零：

   $$Bias(\hat{\theta})=\mathbb{E}(\hat{\theta}) - \theta=0$$

   无偏估计量在长期来看不会系统性地高估或低估参数。期望稳定。

   例如样本方差就是总体方差的无偏估计，证明的过程就是求估计量的期望。

2. 有效性：在估计量无偏的前提下，方差最小的估计量被称为有效估计量。有效估计量能够提供最精确的参数估计。 判断方法就是求估计量的方差，方差越小越好。

   NOTE

   注意有效性是有前提条件的，即估计量必须是无偏的。

3. 相合性：估计量序列 $\hat{\theta}_n$ 如果随着样本大小 $n$ 的增加，估计量依概率收敛于真实参数值 $\theta$。即对于任意的 $\varepsilon > 0$，都有 $P(|\hat{\theta}_n - \theta| \geq \varepsilon) \to 0$ 当 $n \to \infty$。