# 人工智能之数学基础 概率论与统计

第四章 统计量

---

> @[TOC](文章目录)

---

# 前言

在获得样本数据后，我们常需对总体参数做出**推断**。**置信区间（Confidence Interval）** 和 **假设检验（Hypothesis Testing）** 是统计推断的两大支柱。本文将系统讲解其原理、步骤、常见误区，并提供完整的 **Python（SciPy / statsmodels）代码实现与可视化**。

---

# 一、统计推断基础

## 1. 总体 vs 样本

- **总体（Population）**：研究对象的全体（如全国成年男性身高）
- **样本（Sample）**：从总体中抽取的部分观测（如 1000 名男性身高）

## 2. 统计量（Statistic）

样本的函数，不含未知参数，用于估计或检验。
例如：样本均值 $ \bar{X} $、样本方差 $ S^2 $

## 3. 抽样分布（Sampling Distribution）

统计量的概率分布（如 $ \bar{X} $ 的分布）。
**中心极限定理（CLT）** 保证：大样本下 $ \bar{X} \approx \mathcal{N}(\mu, \sigma^2/n) $

---

# 二、1. 置信区间（Confidence Interval, CI）

## ✅ 核心思想

> **用一个区间来估计未知参数，并给出该区间包含真值的“可信程度”。**

形式：$ [\hat{\theta}_L, \hat{\theta}_U] $，置信水平 $ 1 - \alpha $（如 95%）

> ❗ 重要理解：
> “95% 置信” ≠ “参数有 95% 概率落在该区间”（参数是固定值！）
> 而是：**重复抽样 100 次，约有 95 个区间会包含真值**。

---

## 📌 构造步骤（以总体均值为例）

### 情况1：总体方差已知（或大样本）

- 统计量：$ Z = \frac{\bar{X} - \mu}{\sigma / \sqrt{n}} \sim \mathcal{N}(0,1) $
- 95% CI：
  $$
  \bar{X} \pm z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}
  $$
  
  其中 $ z_{0.025} \approx 1.96 $

### 情况2：总体方差未知（小样本，且总体正态）

- 统计量： $T = \frac{\bar{X} - \mu}{S / \sqrt{n}} \sim t_{n-1} $
- 95% CI：
  $$
  \bar{X} \pm t_{\alpha/2, n-1} \cdot \frac{S}{\sqrt{n}}
  $$

---

## 💻 Python 实现：均值的置信区间

```python
import numpy as np
import scipy.stats as stats
import matplotlib.pyplot as plt

# 模拟数据：小样本（n=20），总体 ~ N(50, 10²)
np.random.seed(42)
true_mu, true_sigma = 50, 10
sample = np.random.normal(true_mu, true_sigma, size=20)

n = len(sample)
sample_mean = np.mean(sample)
sample_std = np.std(sample, ddof=1)  # 无偏样本标准差

# 95% 置信区间（t 分布，因 σ 未知且 n 小）
alpha = 0.05
df = n - 1
t_critical = stats.t.ppf(1 - alpha/2, df)
margin_error = t_critical * (sample_std / np.sqrt(n))

ci_lower = sample_mean - margin_error
ci_upper = sample_mean + margin_error

print(f"样本均值: {sample_mean:.2f}")
print(f"95% 置信区间: [{ci_lower:.2f}, {ci_upper:.2f}]")
print(f"真实 μ = {true_mu} → {'包含' if ci_lower <= true_mu <= ci_upper else '不包含'}")

# 可视化
plt.errorbar(0, sample_mean, yerr=margin_error, fmt='o', capsize=5, label='95% CI')
plt.axhline(true_mu, color='r', linestyle='--', label=f'真实 μ = {true_mu}')
plt.xticks([])
plt.ylabel('均值')
plt.title('样本均值的 95% 置信区间')
plt.legend()
plt.grid(True)
plt.show()
```

---

## 🔁 模拟验证：置信区间的覆盖率

```python
def simulate_ci_coverage(mu=50, sigma=10, n=20, alpha=0.05, n_sim=1000):
    covered = 0
    for _ in range(n_sim):
        sample = np.random.normal(mu, sigma, n)
        mean = sample.mean()
        std = sample.std(ddof=1)
        t_crit = stats.t.ppf(1 - alpha/2, n-1)
        me = t_crit * std / np.sqrt(n)
        if mean - me <= mu <= mean + me:
            covered += 1
    return covered / n_sim

coverage = simulate_ci_coverage()
print(f"模拟 1000 次，95% CI 的实际覆盖率: {coverage:.3f}（应接近 0.95）")
```

---

# 三、2. 假设检验（Hypothesis Testing）

## ✅ 核心思想

> **基于样本证据，判断是否拒绝关于总体的某个假设。**

### 📌 基本步骤

1. **提出假设**：
   
   - 原假设 $ H_0 $：默认成立（如“新药无效”）
   - 备择假设 $ H_1 $：希望证明的结论（如“新药有效”）
2. **选择检验统计量**（如 t 统计量、z 统计量）
3. **计算 p 值**：
   
   > 在 $ H_0 $ 成立下，观察到当前样本（或更极端）的概率。
4. **决策**：
   
   - 若 $ p \leq \alpha $（显著性水平，如 0.05），**拒绝 $H_0$**
   - 否则，**不拒绝 $ H_0 $**

> ⚠️ 注意：
> 
> - “不拒绝” ≠ “接受 $H_0 $”
> - p 值不是 $ H_0 $ 为真的概率！

---

### 📊 两类错误

| | $ H_0 $ 为真 | $H_0 $ 为假 |
|---|---|---|
| **拒绝 $ H_0 $** | 第 I 类错误（α） | 正确（1 - β，功效） |
| **不拒绝$H_0 $** | 正确 | 第 II 类错误（β） |

---

### 🧪 常见检验类型

| 场景 | 检验方法 | Python 函数 |
|------|--------|------------|
| 单样本均值 vs 已知值 | t 检验 | `stats.ttest_1samp` |
| 两独立样本均值比较 | 独立 t 检验 | `stats.ttest_ind` |
| 配对样本（前后测） | 配对 t 检验 | `stats.ttest_rel` |
| 分类变量关联性 | 卡方检验 | `stats.chi2_contingency` |
| 正态性检验 | Shapiro-Wilk | `stats.shapiro` |

---

## 💻 Python 实现：单样本 t 检验

**问题**：某厂声称电池平均续航为 100 小时。测试 25 块电池，数据如下，能否质疑该说法？

```python
# 模拟测试数据
np.random.seed(0)
battery_life = np.random.normal(97, 8, size=25)  # 真实均值 97 < 100

# 假设检验
mu0 = 100  # H0: μ = 100
t_stat, p_value = stats.ttest_1samp(battery_life, mu0)

print(f"样本均值: {battery_life.mean():.2f}")
print(f"t 统计量: {t_stat:.3f}")
print(f"p 值: {p_value:.4f}")

alpha = 0.05
if p_value < alpha:
    print(f"在 α={alpha} 水平下，拒绝 H0：电池续航显著低于 100 小时")
else:
    print(f"在 α={alpha} 水平下，不拒绝 H0")

# 可视化 t 分布与 p 值
df = len(battery_life) - 1
x = np.linspace(-4, 4, 400)
t_dist = stats.t.pdf(x, df)

plt.figure(figsize=(8, 4))
plt.plot(x, t_dist, 'b-', label='t 分布 (df=24)')
plt.axvline(t_stat, color='r', linestyle='--', label=f't = {t_stat:.2f}')

# 阴影 p 值区域（双侧）
x_fill = np.linspace(t_stat, 4, 100) if t_stat > 0 else np.linspace(-4, t_stat, 10)
plt.fill_between(x_fill, stats.t.pdf(x_fill, df), color='red', alpha=0.3, label=f'p 值 = {p_value:.3f}')

plt.xlabel('t 值'); plt.ylabel('密度')
plt.title('单样本 t 检验：p 值可视化')
plt.legend(); plt.grid(True)
plt.show()
```

---

## 💻 两样本 t 检验：A/B 测试

**场景**：比较两个网页版本的用户停留时间。

```python
# 模拟 A/B 测试数据
np.random.seed(1)
group_A = np.random.normal(120, 30, 100)  # 均值 120 秒
group_B = np.random.normal(130, 30, 100)  # 均值 130 秒

# 独立 t 检验（假设方差相等）
t_stat, p_value = stats.ttest_ind(group_A, group_B, equal_var=True)

print(f"A 组均值: {group_A.mean():.1f}, B 组均值: {group_B.mean():.1f}")
print(f"t = {t_stat:.3f}, p = {p_value:.4f}")

if p_value < 0.05:
    print("B 版本显著优于 A 版本 (p < 0.05)")
else:
    print("无显著差异")

# 箱线图可视化
plt.boxplot([group_A, group_B], labels=['A', 'B'])
plt.ylabel('停留时间 (秒)')
plt.title('A/B 测试：用户停留时间')
plt.grid(True)
plt.show()
```

---

## 💻 卡方检验：分类变量独立性

**问题**：性别与产品偏好是否相关？

```python
# 列联表：行=性别，列=偏好
observed = np.array([[60, 40],   # 男性：喜欢/不喜欢
                     [30, 70]])  # 女性：喜欢/不喜欢

chi2, p, dof, expected = stats.chi2_contingency(observed)

print("观测频数:\n", observed)
print("期望频数:\n", expected)
print(f"χ² = {chi2:.2f}, p = {p:.4f}")

if p < 0.05:
    print("性别与产品偏好显著相关")
else:
    print("无显著关联")
```

---

# 四、置信区间 vs 假设检验的关系

二者本质相通！
对于双侧检验 $ H_0: \mu = \mu_0 $ vs $ H_1: \mu \ne \mu_0 $：

> **拒绝 $ H_0 $ 当且仅当 $ \mu_0 $ 不在 $ 1-\alpha $ 置信区间内**

```python
# 验证：用之前的电池数据
mu0 = 100
in_ci = (ci_lower <= mu0 <= ci_upper)
reject_h0 = (p_value < 0.05)

print(f"μ0={mu0} 是否在 95% CI 内? {in_ci}")
print(f"是否拒绝 H0? {reject_h0}")
print(f"二者一致? {in_ci == (not reject_h0)}")  # 应为 True
```

---

# 五、常见误区与最佳实践

| 误区 | 正确认知 |
|------|--------|
| “p = 0.051 和 p = 0.049 差别很大” | p 值是连续的，0.05 是人为阈值 |
| “不显著 = 无差异” | 可能是样本量不足（功效低） |
| “置信区间包含 0 ⇒ 无效应” | 需结合效应量（effect size）判断实际意义 |
| “p 值越小，效应越大” | p 值受样本量和效应量共同影响 |

✅ **最佳实践**：

- 报告 **效应量**（如 Cohen's d）和 **置信区间**，而非仅 p 值；
- 预先设定显著性水平 $ \alpha $；
- 考虑 **统计功效**（Power Analysis）以确定所需样本量。

---

# 六、进阶：使用 `statsmodels` 进行回归中的假设检验

```python
import statsmodels.api as sm

# 生成数据
np.random.seed(0)
X = np.random.randn(100, 1)
y = 2 * X.ravel() + np.random.randn(100) * 0.5

# 添加截距
X = sm.add_constant(X)

# 拟合线性回归
model = sm.OLS(y, X).fit()
print(model.summary())
```

输出中：

- **coef**：参数估计值
- **P>|t|**：该系数是否显著非零（H₀: β=0）
- **[0.025, 0.975]**：95% 置信区间

---

## 七、总结

| 方法 | 目的 | 输出 | 关键概念 |
|------|------|------|--------|
| **置信区间** | 估计参数范围 | 区间 [L, U] | 置信水平、边际误差 |
| **假设检验** | 判断假设是否成立 | p 值、拒绝/不拒绝 | 显著性水平、两类错误 |

> 💡 **现代统计建议**：
> 
> - 优先报告**置信区间**（提供更多信息）；
> - 结合**效应量**判断实际意义；
> - 避免“p 值崇拜”，重视**实验设计与数据质量**。


# 后续

python过渡项目部分代码已经上传至gitee，后续会逐步更新。

# 资料关注

公众号：咚咚王


《Python编程：从入门到实践》
《利用Python进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第3版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow机器学习实战指南》
《Sklearn与TensorFlow机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习+(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论  第2版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨+&+张孜铭
《AIGC原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战AI大模型》
《AI 3.0》



在获得样本数据后，我们常需对总体参数做出推断。置信区间（Confidence Interval） 和 假设检验（Hypothesis Testing） 是统计推断的两大支柱。本文将系统讲解其原理、步骤、常见误区，并提供完整的 Python（SciPy / statsmodels）代码实现与可视化。

人工智能之数学基础 概率论与统计：第四章 统计量

技术岗

人工智能

算法

大数据

本文系统讲解统计推断中的置信区间与假设检验原理，涵盖Python实现与可视化。内容包括抽样分布、t检验、卡方检验等核心方法，提供代码示例和常见误区分析，帮助读者掌握参数估计与假设检验的实践应用。

自然语言处理

计算机视觉

智能创作

机器学习

深度学习

A/B测试

Python

2026采购季 | AI焕新·智启新局

bigdata-class

ai-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

人工智能之数学基础 概率论与统计：第四章 统计量-腾讯云开发者社区-腾讯云

人工智能之数学基础概率论与统计：第四章统计量

人工智能之数学基础概率论与统计：第四章统计量

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之数学基础 概率论与统计：第四章 统计量

人工智能之数学基础 概率论与统计：第四章 统计量

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之数学基础概率论与统计：第四章统计量

人工智能之数学基础概率论与统计：第四章统计量