
>同一套回归用例，周一早上跑完是 88%，你不放心又跑了一次，变成 94%。周报你贴了 94%——贴 88% 那次，评审会上要被人追问『怎么又掉了』；贴 94% 这次，没人记得它统共就跑了十七八条。数字没撒谎，你只是从一摞结果里挑了最顺眼的那一颗珠子。

AI 应用的通过率、稳定性，天生是一个分布，不是一个点。模型输出的随机性、用例里那一两条边界抖动，都会让『同一次改动』每次跑出来的通过率在一个带子里晃。报告只交一个点，是系统性地把『我其实没那么确定』这件事抹平了。正确做法，是把每个关键数字连它的不确定度一起交出去。

## 一、把区间交出去：通过率 X%，95%CI 也要一起写

先说最小动作。你手上有一组通过记录——每条用例跑过记 1、没过记 0，或者你把多次运行的通过率攒成一列。别只算平均，用 bootstrap 从这组记录里有放回地重采样几千次，每次算一个通过率，把这一堆通过率排序，取中间 95% 的两个端点，就是置信区间。报告里那行字，于是从『通过率 92%』变成『通过率 92%，95%CI [86%, 95%]，n=210』。读者第一次能看见这个数字到底有多『实』。

| 呈现口径 | 读者会得出什么结论 | 什么时候会误导 |
|---|---|---|
| 裸点估计『通过率 92%』 | 系统稳定在 92%，可以直接跟 95% 的放行线比 | n 很小或多次波动时：一个数盖住了它其实只跑了十几条 |
| 点 + 区间『92%，95%CI [86%, 95%]，n=210』 | 真实值大概率落在这个带里，够不够格卡线一眼能判 | 几乎不误导；只需提醒一句：区间说的是『当期真值』，不是『下次跑分落点』 |
| 两版区间重叠比较 | 两次到底是不是『真的不一样』 | 只报两个点就下『显著提升 / 明显退化』：两个区间其实大面积重叠 |

bootstrap 是公开统计方法，不用连任何外部服务，纯标准库就能跑——这也正是它适合长在流水线里的原因。

还有一层用 bootstrap 而不是背公式的理由：通过/失败是 0/1 数据，当真值偏向九成以上时，抽样分布明显左偏，用『±1.96×标准误』那套正态近似算出来的区间，在小样本下会越过 100%、甚至越过 0，覆盖率一塌糊涂。bootstrap 不假设正态，它把样本当成总体本身，重采样几千次，区间长成什么样完全跟着数据走——样本越小，它就越宽，这个『宽』恰恰是报告里最该被看见的诚实。

## 二、区间宽度本身就是一条质量结论

把那套十七八条的用例塞进脚本，跑出来是这个样子：周一那次『通过率 88%，95%CI [71%, 100%]』，重跑那次『通过率 94%，95%CI [82%, 100%]』。6 个点的差距，背后只是两条用例翻了个面——因为 n=17，一条用例的值就差不多占 6 个百分点，点估计当然站不稳。区间宽到 29 个点，等于报告在喊：这次样本太少，不足以单独支撑放行。这是一条过去被『92%』这种漂亮数字盖住的结论。

再换一套：同一套逻辑扩到 210 条，通过率还是 91%，可区间收紧到 [88%, 95%]，宽度只剩 7 个点。同样是『九成通过』，一个宽到不敢签字、一个够到能拿去和 90% 的放行线比。宽度不是噪音，宽度是你本该写进报告的第二条结论。

顺带堵一个常被误读的地方：置信区间说的是『这批改动真实通过率大概率藏在哪』，不是『下一次再跑，通过率会落在哪』。前者是关于真值、关于『我有多确定』，后者是关于单次跑分的波动。报告里把区间按真值的意思写，它才能拿去当放行依据；一旦读者把它错当成下次跑分的预言，那句『95%CI [88%, 95%]』就会被理解成『下次跑一定在 88 到 95 之间』——那就不是同一件事了，卡线的锅也说不清。

【配图1插入位置：本小节之后】

## 三、比较两个数字，先看区间重不重叠

『新版本通过率 93%，旧版本 90%，提升 3 个点，建议升级』——这种话在报告里出现一次，就该被拦一次。把两次各 n=100 的结果丢进脚本：旧版 90% 落在 [84%, 95%]，新版 93% 落在 [88%, 97%]，两个区间重叠了将近八成。重叠到这个份上，3 个点的差完全在样本波动能解释的范围内，写『显著提升』就是把运气写成了能力。规矩很简单：新旧两个区间大幅重叠，就老实写『本次差异落在噪声范围内』；只有区间基本分离，才配得上『显著』这两个字。

反过来，当两个区间确实基本分离——比如新版下压到了旧版上界之上——那才敢理直气壮写『显著提升』，而且能顺带写清是怎么判的：一句『两次 95% 区间不重叠』，就能挡住所有『你这是不是运气』的口头争执。『显著』『明显』这类词，在报告里永远不该脱离动作单独出现；出现了，就得能回答『拿什么判的显著』。

## 四、报告里这几个字段，得并排站

区间不是孤立的一列，它得和几个字段捆在一起才读得懂。单看一个 [88%, 95%] 没意义，得知道它是 210 条跑出来的、得知道分母口径是同一批用例、得知道是哪一次运行。

| 字段 | 演示值 | 为什么必须并排出现 |
|---|---|---|
| 通过率（点估计） | 91% | 给个体感，但单独看会骗人 |
| 样本量 n | 210 | 决定区间宽度的根，没了它区间无从算起 |
| 95% 置信区间 | [88%, 95%] | 点估计的可信带，能不能卡线看它 |
| 口径 | 同一用例集、同一配置 | 防拿不同分母、不同配置的数字横比 |
| 运行时间 | 2026-09-24 01:12 · #4471 | 防拿旧一次的数冒充这一次 |

口径和运行时间这两栏看着像摆设，其实卡的是最常见的翻车：把上次大样本的区间宽度，套到这次小样本的通过率上，或者拿三个月前那次的漂亮数字给今天背书。

## 五、跑一遍：纯标准库把区间算出来

下面这段只用标准库，喂进去的就是本文演示构造的通过记录，开箱即跑。接自家工程时，把 records 换成你 pytest 结果里每条用例的 0/1，或多次运行攒出的通过率列表即可。

```python
# -*- coding: utf-8 -*-
"""pass_rate_interval.py —— 通过率连置信区间一起交（纯标准库，开箱即跑）

用法：python pass_rate_interval.py
输入一组 0/1 通过记录，bootstrap 重采样算 95% 置信区间，
输出报告用文案『通过率 X%，95%CI [a%, b%]，n=Y』。数据均为演示构造。
"""
import random


def point_estimate(records):
    return sum(records) / len(records)


def bootstrap_ci(records, iters=10000, level=0.95, seed=20260924):
    """对 0/1 记录做 bootstrap：有放回重采样 n 次、每次算一个通过率，
    把通过率分布排序后取分位数当置信区间（percentile 法）。"""
    rng = random.Random(seed)
    n = len(records)
    means = sorted(sum(rng.choices(records, k=n)) / n for _ in range(iters))
    lo = int((1 - level) / 2 * iters)
    hi = int((1 + level) / 2 * iters) - 1
    return means[lo], means[hi]


def fmt_pct(x):
    return f"{x * 100:.0f}%"


def report_line(records, iters=10000):
    p = point_estimate(records)
    lo, hi = bootstrap_ci(records, iters=iters)
    return f"通过率 {fmt_pct(p)}，95%CI [{fmt_pct(lo)}, {fmt_pct(hi)}]，n={len(records)}", hi - lo


def overlap(a, b):
    """重叠宽度占较窄区间的比例：>0.5 视为『分不出胜负』，别写显著提升。"""
    inter = max(0.0, min(a[1], b[1]) - max(a[0], b[0]))
    narrowest = min(a[1] - a[0], b[1] - b[0])
    return inter / narrowest if narrowest else 1.0


def gen_demo_passes(n_true, n_total, seed):
    rng = random.Random(seed)
    recs = [1] * n_true + [0] * (n_total - n_true)
    rng.shuffle(recs)
    return recs


def main():
    print("== 场景A：同一套用例，样本很小，点估计站不稳 ==")
    for lab, rec in [("周一那次", gen_demo_passes(15, 17, seed=1)),
                     ("手快重跑那次", gen_demo_passes(16, 17, seed=2))]:
        line, width = report_line(rec)
        print(f"  {lab}：{line}（区间宽度 {fmt_pct(width)}）")

    print("\n== 场景B：同一套逻辑扩到上百条，通过率没动，区间却收窄 ==")
    line2, width2 = report_line(gen_demo_passes(192, 210, seed=3))
    print(f"  {line2}（区间宽度 {fmt_pct(width2)}）")

    print("\n== 场景C：新旧两版通过率，先过区间重叠关 ==")
    old, new = gen_demo_passes(90, 100, seed=4), gen_demo_passes(93, 100, seed=5)
    lo_old, hi_old = bootstrap_ci(old)
    lo_new, hi_new = bootstrap_ci(new)
    print(f"  旧：{report_line(old)[0]}")
    print(f"  新：{report_line(new)[0]}")
    ov = overlap((lo_old, hi_old), (lo_new, hi_new))
    verdict = "两区间大幅重叠，别写『显著提升』" if ov > 0.5 else "区间基本分离，可写『显著提升』"
    print(f"  重叠比例 {ov * 100:.0f}% → {verdict}")


if __name__ == "__main__":
    main()
```

两个刻意的处理值得点名。其一，bootstrap 固定了随机种子（seed=20260924），这样这份报告里的区间下次重算还是同一个——用随机方法去算一份要进报告的确定性数字，得先把重采样这层随机按住在报告里，不然『区间』本身又成了新的一颗珠子。其二，overlap 判的是『重叠宽度占较窄区间的比例』，不是简单看有没有交集；只要沾一点边就算分开太松，会把噪声差判成显著。脚本跑出来的三组数，就是前面几节引用的全部数字：n=17 两条宽到 [71%, 100%]、[82%, 100%]，n=210 收到 [88%, 95%]，新旧对比重叠 78% 判成『别写显著提升』。

## 六、挂进流水线：报告正文一行带区间

区间化这件事最好长在流水线里，否则又变成『想起来才做』。pytest 出结果之后加一步统计，直接写进 step summary：

```yaml
- run: pytest --junitxml=report.xml
- run: python pass_rate_interval.py >> $GITHUB_STEP_SUMMARY
```

从此报告里那句通过率，天生带着它的区间和 n。谁想只贴那颗最顺眼的珠子，脚本第一行就把区间甩在他脸上。

写这行报告文案时，给个小的语序建议：先点估计给体感，再区间给幅度，最后 n 给底气——『通过率 91%（95%CI 88%–95%，n=210）』。别把区间放在最前面，读者抓不到锚；也别把 n 省在文末脚注里，忙的人根本不会往下翻，而 n 恰恰是那个能一票否决整句结论的数字。

## 七、回到那场评审会

下次有人拿你周报里那个漂亮的百分比对上『为什么又掉了』，答案不再是运气：那个数一直是带，不是点；宽的时候本就不该拿去签字，窄的时候才有资格和放行线比。把区间交出去，不是把报告写复杂，是终于把『我有多确定』这件一直在心里、却从没写下来的事，写下来了。

**诚实的质量报告，报的不是一个通过率，是一整个『这个数大概落在哪』——只交点估计，等于把确定性的成本悄悄转嫁给了读报告的人。**

同一套回归用例，周一早上跑完是 88%，你不放心又跑了一次，变成 94%。周报你贴了 94%——贴 88% 那次，评审会上要被人追问『怎么又掉了』；贴 94% 这次，没人记得它统共就跑了十七八条。数字没撒谎，你只是从一摞结果里挑了最顺眼的那一颗珠子。

报告里写『通过率 92%』，等于只报了一半：把 AI 测试数字连置信区间一起交出去

人工智能

测试

同一套回归用例跑出88%和94%两种结果，单报一个数会掩盖真实波动。通过率应视为分布而非单点，用bootstrap计算95%置信区间并标注样本量，如“通过率92%，95%CI[86%,95%]，n=210”。比较新旧版本时先看区间是否重叠，避免将随机噪声误判为显著差异。区间宽度本身是重要质量信号，样本越小区间越宽，越不该据此放行。

代码解释

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

同一套回归用例跑出88%和94%两种结果，单报一个数会掩盖真实波动。通过率应视为分布而非单点，用bootstrap计算95%置信区间并标注样本量，如“通过率92%，95%CI[86%,95%]，n=210”。比较新旧版本时先看区间是否重叠，避免将随机噪声误判为显著差异。区间宽度本身是重要质量信号，样本越小区间越宽，越不...

报告里写『通过率 92%』，等于只报了一半：把 AI 测试数字连置信区间一起交出去-腾讯云开发者社区-腾讯云

报告里写『通过率 92%』，等于只报了一半：把 AI 测试数字连置信区间一起交出去

报告里写『通过率 92%』，等于只报了一半：把 AI 测试数字连置信区间一起交出去

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐