统计学入门合集(基于Python)3——参数估计

在前两节中，我们回答了两个问题：

• 数据如何描述？（描述统计）
• 统计量如何分布？（CLT）

现在进入核心问题：

未知总体参数，如何用数据进行估计？

1问题建模

设：

其中：

• ：已知分布形式
• ：未知参数

👉 目标：

用样本构造估计量：

2直觉理解（非常关键）

你可以这样理解：

数据已经发生了参数是“解释数据的原因”

👉 举例：

• 正态分布：
• 指数分布：

问题变成：

哪个 最可能生成当前数据？

3极大似然估计（MLE）

定义

似然函数：

MLE 定义为：

对数似然（工程常用）

👉 原因：

• 避免数值下溢
• 计算更稳定
• 转化为加法结构

4正态分布的 MLE（经典结果）

设：

推导结果

👉 注意：

• 这里是 （MLE）
• 不是 （无偏估计）

5Python验证（正态MLE）

# file: mle_normal.pyimport numpy as npdefmain():    np.random.seed(0)    data = np.random.normal(10, 2, 1000)    mu_hat = np.mean(data)    sigma_hat = np.sqrt(np.mean((data - mu_hat)**2))    print("真实均值:", 10)    print("估计均值:", mu_hat)    print("真实标准差:", 2)    print("估计标准差:", sigma_hat)if __name__ == "__main__":    main()

结果解释

• 参数估计接近真实值
• 样本越大 → 越稳定

6优化视角（非常重要）

MLE 本质是一个优化问题：

数值验证（单参数）

# file: mle_grid_search.pyimport numpy as npimport matplotlib.pyplot as pltdeflog_likelihood(mu, data):return -np.sum((data - mu)**2)defmain():    np.random.seed(0)    data = np.random.normal(10, 2, 100)    mu_grid = np.linspace(5, 15, 200)    ll = [log_likelihood(mu, data) for mu in mu_grid]    best_mu = mu_grid[np.argmax(ll)]    print("最优mu:", best_mu)    print("样本均值:", np.mean(data))    plt.plot(mu_grid, ll)    plt.title("Log-Likelihood")    plt.show()if __name__ == "__main__":    main()

7渐近性质（核心理论）

MLE 在大样本下具有：

（1）一致性

👉 样本越多 → 越接近真实值

（2）渐近正态性

（3）效率（Cramér–Rao下界）

8仿真验证：渐近正态性

# file: mle_asymptotic.pyimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsdefmain():    np.random.seed(0)    estimates = []for _ in range(5000):        data = np.random.normal(10, 2, 50)        estimates.append(np.mean(data))    sns.histplot(estimates, kde=True)    plt.title("Estimator Distribution")    plt.show()if __name__ == "__main__":    main()

9工程意义

MLE 是现代统计与机器学习核心：

• 回归（线性 / Logistic）
• 深度学习（损失函数）
• 参数拟合
• 贝叶斯方法基础

10本节总结

11下期预告

下一讲：

• 置信区间
• t 分布
• 小样本问题

📌 点赞 + 转发，持续更新《统计学入门》