# 人工智能之数学基础 概率论与统计

第三章 参数估计


---

# 前言

参数估计是从观测数据中推断未知分布参数的核心任务。本文系统介绍两种主流方法——**极大似然估计（Maximum Likelihood Estimation, MLE）** 和 **极大后验估计（Maximum A Posteriori, MAP）**，对比其思想、数学形式、优缺点，并提供完整的 **Python 代码实现（含可视化）**。

---

# 一、问题设定

假设：

- 数据 $ \mathcal{D} = \{x_1, x_2, \dots, x_n\} $ 是独立同分布（i.i.d.）的观测样本；
- 数据服从某个概率分布 $ p(x \mid \theta) $，其中 $ \theta $ 是未知参数；
- 目标：根据 $ \mathcal{D} $ 估计出 $ \theta $ 的值。

> 📌 例如：
> 
> - 抛硬币：$ x_i \in \{0,1\} $，$\theta = P(\text{正面}) $；
> - 身高测量：$ x_i \in \mathbb{R} $，$\theta = (\mu, \sigma^2) $（高斯分布参数）。

---

# 二、1. 极大似然估计（MLE）

## ✅ 核心思想

> **选择使观测数据“最可能出现”的参数值。**

即最大化**似然函数**（Likelihood）：

$$
\hat{\theta}_{\text{MLE}} = \arg\max_{\theta} \, p(\mathcal{D} \mid \theta) = \arg\max_{\theta} \prod_{i=1}^n p(x_i \mid \theta)
$$

为便于计算，通常取对数（单调性不变）：

$$
\hat{\theta}_{\text{MLE}} = \arg\max_{\theta} \, \log p(\mathcal{D} \mid \theta) = \arg\max_{\theta} \sum_{i=1}^n \log p(x_i \mid \theta)
$$

> 💡 MLE 是**频率学派**的代表方法，不引入先验知识。

---

## 📌 示例：高斯分布的 MLE

设 $ x_i \sim \mathcal{N}(\mu, \sigma^2) $，求 $ \mu, \sigma^2 $ 的 MLE。

对数似然：

$$
\ell(\mu, \sigma^2) = -\frac{n}{2} \log(2\pi) - \frac{n}{2} \log \sigma^2 - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2
$$

求导并令导数为 0，得：

$$
\hat{\mu}_{\text{MLE}} = \frac{1}{n} \sum_{i=1}^n x_i, \quad
\hat{\sigma}^2_{\text{MLE}} = \frac{1}{n} \sum_{i=1}^n (x_i - \hat{\mu})^2
$$

> ⚠️ 注意：$ \hat{\sigma}^2_{\text{MLE}} $ 是**有偏估计**（分母为 $ n $而非 $n-1 $）。

---

# 三、2. 极大后验估计（MAP）

## ✅ 核心思想

> **在 MLE 基础上，加入对参数的先验信念。**

由贝叶斯定理：

$$
p(\theta \mid \mathcal{D}) = \frac{p(\mathcal{D} \mid \theta) p(\theta)}{p(\mathcal{D})}
$$

MAP 选择使**后验概率最大**的参数：

$$
\hat{\theta}_{\text{MAP}} = \arg\max_{\theta} \, p(\theta \mid \mathcal{D}) = \arg\max_{\theta} \, p(\mathcal{D} \mid \theta) p(\theta)
$$

取对数：

$$
\hat{\theta}_{\text{MAP}} = \arg\max_{\theta} \left[ \sum_{i=1}^n \log p(x_i \mid \theta) + \log p(\theta) \right]
$$

> 💡 MAP 是**贝叶斯学派**的点估计方法，等价于 **MLE + 正则化**！

---

## 📌 示例：高斯均值的 MAP（已知方差）

- 似然：$ x_i \mid \mu \sim \mathcal{N}(\mu, \sigma^2) $
- 先验：$ \mu \sim \mathcal{N}(\mu_0, \tau^2) $

对数后验（忽略常数项）：

$$
\log p(\mu \mid \mathcal{D}) \propto -\frac{1}{2\sigma^2} \sum (x_i - \mu)^2 - \frac{1}{2\tau^2} (\mu - \mu_0)^2
$$

求导得：

$$
\hat{\mu}_{\text{MAP}} = \frac{\frac{n}{\sigma^2} \bar{x} + \frac{1}{\tau^2} \mu_0}{\frac{n}{\sigma^2} + \frac{1}{\tau^2}}
= \lambda \bar{x} + (1 - \lambda) \mu_0
$$

其中 $\lambda = \frac{n / \sigma^2}{n / \sigma^2 + 1 / \tau^2} \in (0,1) $


> ✅ 当 $ n \to \infty $，$ \hat{\mu}_{\text{MAP}} \to \bar{x} = \hat{\mu}_{\text{MLE}} $
> ✅ 当先验强（$ \tau \to 0 $），估计偏向 $ \mu_0 $

---

## 四、MLE vs MAP 对比

| 特性 | MLE | MAP |
|------|-----|-----|
| **哲学** | 频率学派 | 贝叶斯学派 |
| **是否用先验** | 否 | 是 |
| **过拟合风险** | 高（尤其小样本） | 低（先验起正则作用） |
| **计算复杂度** | 通常较低 | 取决于先验 |
| **与正则化关系** | — | L2 正则 ≈ 高斯先验，L1 正则 ≈ 拉普拉斯先验 |

> 🔑 **关键洞见**：
> 
> - **MLE 是 MAP 在均匀先验（$ p(\theta) = \text{const} $）下的特例**；
> - **MAP = MLE + 参数正则化**。

---

# 五、Python 代码实现

## 1. 导入库

```python
import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm, laplace
from scipy.optimize import minimize

np.random.seed(42)
```

---

## 2. 模拟数据：高斯分布

```python
# 真实参数
true_mu, true_sigma = 5.0, 2.0
n_samples = 20  # 小样本，凸显先验作用

# 生成数据
data = np.random.normal(true_mu, true_sigma, size=n_samples)
sample_mean = np.mean(data)
sample_std_mle = np.std(data, ddof=0)  # MLE 分母为 n

print(f"样本均值 (MLE μ): {sample_mean:.3f}")
print(f"真实 μ: {true_mu}, 真实 σ: {true_sigma}")
```

---

## 3. MLE 实现（高斯）

```python
def gaussian_log_likelihood(params, data):
    mu, sigma = params
    if sigma <= 0:
        return np.inf  # 防止无效参数
    n = len(data)
    ll = -0.5 * n * np.log(2 * np.pi) - n * np.log(sigma) - 0.5 * np.sum((data - mu)**2) / (sigma**2)
    return -ll  # minimize 要最小化负对数似然

# 优化
result_mle = minimize(gaussian_log_likelihood, x0=[0, 1], args=(data,), method='L-BFGS-B', bounds=[(None, None), (1e-6, None)])
mu_mle, sigma_mle = result_mle.x

print(f"MLE 估计: μ = {mu_mle:.3f}, σ = {sigma_mle:.3f}")
```

---

## 4. MAP 实现（高斯先验）

```python
# 先验参数
mu0, tau = 0.0, 1.0  # 先验认为 μ 接近 0，不确定性 τ=1

def gaussian_log_posterior(params, data, mu0, tau):
    mu, sigma = params
    if sigma <= 0:
        return np.inf
    # 负对数后验 = 负对数似然 - log 先验（高斯）
    nll = gaussian_log_likelihood(params, data)
    log_prior = -0.5 * ((mu - mu0) / tau)**2  # 忽略常数项
    return nll - log_prior  # 最小化负后验

result_map = minimize(gaussian_log_posterior, x0=[0, 1], args=(data, mu0, tau), method='L-BFGS-B', bounds=[(None, None), (1e-6, None)])
mu_map, sigma_map = result_map.x

print(f"MAP 估计 (μ₀={mu0}, τ={tau}): μ = {mu_map:.3f}, σ = {sigma_map:.3f}")
```

---

## 5. 可视化：似然 vs 后验

```python
mu_vals = np.linspace(0, 10, 200)

# 计算固定 σ = sigma_mle 下的似然和后验
sigma_fixed = sigma_mle

log_likelihoods = []
log_posteriors = []

for mu in mu_vals:
    ll = -gaussian_log_likelihood([mu, sigma_fixed], data)
    log_prior = -0.5 * ((mu - mu0) / tau)**2
    lp = ll + log_prior
    
    log_likelihoods.append(ll)
    log_posteriors.append(lp)

# 归一化以便绘图
log_likelihoods = np.array(log_likelihoods)
log_posteriors = np.array(log_posteriors)

plt.figure(figsize=(10, 5))
plt.plot(mu_vals, log_likelihoods, 'b-', label='对数似然 (MLE)')
plt.plot(mu_vals, log_posteriors, 'r--', label='对数后验 (MAP)')
plt.axvline(mu_mle, color='b', linestyle=':', label=f'MLE μ = {mu_mle:.2f}')
plt.axvline(mu_map, color='r', linestyle=':', label=f'MAP μ = {mu_map:.2f}')
plt.axvline(true_mu, color='k', linestyle='-', label=f'真实 μ = {true_mu}')
plt.xlabel('μ')
plt.ylabel('Log Probability')
plt.title('MLE vs MAP：高斯均值估计（小样本）')
plt.legend()
plt.grid(True)
plt.show()
```

> 📊 可见：MAP 估计被先验“拉向”0，而 MLE 更贴近样本均值（可能偏离真实值）。

---

## 6. 扩展：伯努利分布的 MLE 与 MAP

```python
# 伯努利数据：10 次试验，7 次成功
n_trials, n_success = 10, 7

# MLE
theta_mle = n_success / n_trials

# MAP：Beta 先验 Beta(α, β)
alpha, beta_param = 2, 2  # 先验认为 θ 接近 0.5
theta_map = (n_success + alpha - 1) / (n_trials + alpha + beta_param - 2)

print(f"\n伯努利分布:")
print(f"MLE: θ = {theta_mle:.3f}")
print(f"MAP (Beta({alpha},{beta_param})): θ = {theta_map:.3f}")

# 绘制 Beta 先验 vs 后验
from scipy.stats import beta
x = np.linspace(0, 1, 200)
prior = beta.pdf(x, alpha, beta_param)
posterior = beta.pdf(x, alpha + n_success, beta_param + n_trials - n_success)

plt.figure(figsize=(8, 4))
plt.plot(x, prior, 'g--', label=f'先验 Beta({alpha},{beta_param})')
plt.plot(x, posterior, 'm-', label=f'后验 Beta({alpha+n_success},{beta_param+n_trials-n_success})')
plt.axvline(theta_mle, color='b', linestyle=':', label=f'MLE = {theta_mle:.2f}')
plt.axvline(theta_map, color='r', linestyle=':', label=f'MAP = {theta_map:.2f}')
plt.xlabel('θ')
plt.ylabel('密度')
plt.title('伯努利参数的贝叶斯更新')
plt.legend()
plt.grid(True)
plt.show()
```

> ✅ Beta 是 Bernoulli 的共轭先验，后验仍为 Beta，MAP 有解析解。

---

# 六、正则化视角：MAP = MLE + 正则项

考虑线性回归：

- 似然：$ y \sim \mathcal{N}(Xw, \sigma^2 I) $
- MLE → 最小二乘：$ \min_w \|y - Xw\|^2$
- 若加高斯先验$w \sim \mathcal{N}(0, \tau^2 I) $，则 MAP 为：
  
  $$
  \min_w \|y - Xw\|^2 + \lambda \|w\|^2, \quad \lambda = \frac{\sigma^2}{\tau^2}
  $$
  
  即 **Ridge 回归（L2 正则）**！

同理，拉普拉斯先验 → Lasso（L1 正则）。

---

## 七、总结

| 方法 | 公式 | 优点 | 缺点 |
|------|------|------|------|
| **MLE** |  $ \arg\max_\theta \log p(\mathcal{D} \mid \theta) $ | 无偏（大样本）、计算简单 | 小样本易过拟合、无先验信息 |
| **MAP** | $ \arg\max_\theta [\log p(\mathcal{D} \mid \theta) + \log p(\theta)] $| 引入先验、抗过拟合、等价于正则化 | 依赖先验选择、可能有偏 |

> 💡 **实践建议**：
> 
> - 数据量大 → MLE 足够；
> - 数据量小或需稳定性 → 使用 MAP（或贝叶斯后验均值）；
> - 机器学习中，**正则化本质是 MAP 的体现**。

# 后续

python过渡项目部分代码已经上传至gitee，后续会逐步更新。

# 资料关注

公众号：咚咚王

《Python编程：从入门到实践》
《利用Python进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第3版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow机器学习实战指南》
《Sklearn与TensorFlow机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习+(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论  第2版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨+&+张孜铭
《AIGC原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战AI大模型》
《AI 3.0》


参数估计是从观测数据中推断未知分布参数的核心任务。本文系统介绍两种主流方法——极大似然估计（Maximum Likelihood Estimation, MLE） 和 极大后验估计（Maximum A Posteriori, MAP），对比其思想、数学形式、优缺点，并提供完整的 Python 代码实现（含可视化）。

人工智能之数学基础 概率论与统计：第三章 参数估计

技术岗

人工智能

算法

编程语言

本文详解参数估计的两种核心方法：极大似然估计(MLE)和极大后验估计(MAP)，对比其原理、优缺点及Python实现。MLE通过最大化似然函数寻找最优参数，MAP则结合先验知识进行贝叶斯推断。文章包含高斯分布和伯努利分布的具体案例，并展示如何用Python代码实现参数估计及可视化分析，帮助读者掌握机器学习中的基础统计方法。

自然语言处理

计算机视觉

智能创作

机器学习

深度学习

大数据

Python

AI驱动 智领未来

bigdata-class

ai-class

腾讯云BI新客户首次购买9.9元起！


5位重磅专家聚焦 AI 时代开发者核心成长需求，带你深入解锁全栈进化、人机协作关键路径！点击报名到场：<a href="https://cloud.tencent.com/developer/salon/salon-2403/signup" target="_blank">https://cloud.tencent.com/developer/salon/salon-2403/signup</a><br/> 
 <img src="https://qcloudimg.tencent-cloud.cn/raw/487c82639d2338df3ef66dfb1450601a.png"/>

腾讯技术创作特训营「年度论坛」正在报名中！

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

本文详解参数估计的两种核心方法：极大似然估计(MLE)和极大后验估计(MAP)，对比其原理、优缺点及Python实现。MLE通过最大化似然函数寻找最优参数，MAP则结合先验知识进行贝叶斯推断。文章包含高斯分布和伯努利分布的具体案例，并展示如何用Python代码实现参数估计及可视化分析，帮助读者掌握机器学习中的基础统计方...

人工智能之数学基础 概率论与统计：第三章 参数估计-腾讯云开发者社区-腾讯云

人工智能之数学基础概率论与统计：第三章参数估计

人工智能之数学基础概率论与统计：第三章参数估计

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之数学基础 概率论与统计：第三章 参数估计

人工智能之数学基础 概率论与统计：第三章 参数估计

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之数学基础概率论与统计：第三章参数估计

人工智能之数学基础概率论与统计：第三章参数估计