
本文不点名任何具体产品,也不给出任何实测分数。所有题目、字段值、答案片段都是演示用占位值,用于说明一套可以照着搭起来的评测脚手架。真正的分数只能由你在自己的环境里跑出来。
AI 搜索、企业知识库问答、带引用的 Deep Research 类产品,最容易被"几个印象深刻的例子"带偏。我遇到过三种典型的复盘失败:
这三件事的共同点是:没有把一次评测固化成可以指着 run_id 讨论的数据。下面这套方法只解决这一件事。
不要一上来就问"哪个模型更聪明"。同一款产品换底座模型、换检索策略、换提示词,用户感知的差别集中在一条链路上:
链路环节 | 可观测产物 | 本文是否覆盖 |
|---|---|---|
检索:有没有召回正确文档 | 引用列表 | 覆盖(引用命中率) |
生成:答案是否覆盖关键要点 |
| 覆盖(要点覆盖率) |
拒答:证据不足时是否诚实说不知道 |
| 覆盖(拒答正确率) |
表达:文风、排版、多轮追问 | 主观评分 | 不覆盖,另设人工盲评 |
工程:响应延迟、并发、联网时效 | 耗时埋点 | 不覆盖,属性能压测 |
划清边界的好处是:当分数变化时,你能相对确定是"检索 / 生成 / 拒答"哪一段动了,而不是笼统归因为"模型不行"。
黄金集不需要大,但必须字段固定、可版本化、与被测产品不同源(别用产品自己生成的问答当标准答案)。字段表:
字段 | 类型 | 作用 |
|---|---|---|
| string | 稳定题号,跨版本对比的主键 |
| string | 真实问法,避免照抄文档标题 |
| list | 期望被引用的文档 ID;应拒答题留空 |
| list | 答案必须覆盖的要点,每个要点给 |
| bool | 证据不足时是否应当拒答 |
| bool | 是否时间敏感(价格、配额、版本状态),单独分组统计 |
| string | 出题依据,方便半年后还看得懂 |
三类题建议按比例混着放:可答且答案稳定(主体)、应拒答(把"无依据编造"逼出来)、时间敏感(检验产品会不会拿过期文档硬答)。
{
"version": "golden-2026-11-22",
"note": "以下题目与取值全部为演示占位,不代表任何真实产品文档",
"items": [
{
"qid": "Q001",
"question": "对象存储单个桶的默认请求上限是按桶算还是按账号算?",
"expect_source_ids": ["doc-obs-001"],
"key_points": [
{"any_of": ["按桶", "单桶", "每桶"]},
{"any_of": ["默认", "上限"]}
],
"should_refuse": false,
"volatile": false,
"note": "考察能否区分粒度,题面不出现文档标题原词"
},
{
"qid": "Q002",
"question": "我们内部 2023 年那份 SLA 补充说明里,赔偿比例是怎么定的?",
"expect_source_ids": [],
"key_points": [],
"should_refuse": true,
"volatile": false,
"note": "知识库中不存在该文档,期望拒答而非编造条款"
},
{
"qid": "Q003",
"question": "当前按量计费的单价是多少?",
"expect_source_ids": ["doc-price-007"],
"key_points": [{"any_of": ["按量", "计费"]}],
"should_refuse": false,
"volatile": true,
"note": "时间敏感题,单独分组,避免用旧价判新版本"
}
]
}key_points 用"同义别名任一命中"而不是精确字符串,是为了容忍"按桶 / 单桶 / 每桶"这类表达差异;代价是它只能算召回型覆盖率,不能证明答案语义正确——这也是下一节要留人工抽检口子的原因。
每次评测把产品答案导出成结构化记录,字段和黄金集对齐。截图只能佐证,不能参与计算。
{
"product_tag": "placeholder-product-A",
"run_id": "2026-11-22T09:30:00+08:00",
"build": "占位版本标识",
"note": "演示占位数据,非真实采集结果",
"items": [
{
"qid": "Q001",
"answer": "按文档,默认请求上限是按桶维度计算的。",
"citations": ["doc-obs-001"],
"refused": false
},
{
"qid": "Q002",
"answer": "该补充说明中的赔偿比例为占位值。",
"citations": ["doc-unknown-404"],
"refused": false
},
{
"qid": "Q003",
"answer": "按量计费单价请以最新价格文档为准。",
"citations": ["doc-price-007"],
"refused": false
}
]
}采集时的归档脚本,重点是每次运行留独立目录 + 记录版本标识,否则一周后你分不清哪份是旧版:
#!/usr/bin/env bash
# capture.sh — 把一次评测的导出文件归档到独立 run 目录
set -euo pipefail
RUN_ID="$(date +%Y%m%d-%H%M%S)"
PRODUCT_TAG="${1:?用法: capture.sh <product_tag> <runs.json>}"
SRC="${2:?缺少导出文件}"
DEST="runs/${PRODUCT_TAG}/${RUN_ID}"
mkdir -p "$DEST"
cp "$SRC" "$DEST/runs.json"
# 黄金集快照一起存,保证这次 run 半年后仍可复算
cp golden_qa.json "$DEST/golden_qa.json"
printf 'product_tag=%s\nrun_id=%s\n' "$PRODUCT_TAG" "$RUN_ID" > "$DEST/meta.txt"
echo "归档完成: $DEST"阈值单独放配置,改口径不用改脚本:
# thresholds.yaml — 演示占位阈值,按自己场景调整
citation_match: any # any=命中任一期望来源;all=全部命中
coverage_pass: 0.6 # 单题要点覆盖率达标线
volatile_separate: true # 时间敏感题单独出一组结果指标 | 口径 | 能否自动 | 说明 |
|---|---|---|---|
引用命中率 |
| 可以 | 只判"引用对不对",不判"引用有没有支撑答案" |
要点覆盖率 |
| 可以(召回型) | 别名匹配,容忍同义改写 |
拒答正确率 | 混淆矩阵 | 可以 | 把"该拒答却编造"单独暴露出来 |
无依据句占比 | 答案中无法被引用文档支撑的句子比例 | 不能全自动 | 建议每题抽 2 句人工标注,双人复核 |
把前三个写死在脚本里,第四个留抽检表,是这套方法最重要的取舍:自动指标负责"可重跑、可比版本",人工抽检负责"别被关键词匹配骗了"。
拒答的四种情况建议直接打成一张表看,比单个准确率有用得多:
情况 | 含义 | 风险 |
|---|---|---|
TP 该拒且拒了 | 诚实 | 无 |
TN 该答且答了 | 正常 | 仍需看引用与覆盖率 |
FP 不该拒却拒了 | 过度保守 | 可用性下降,好查 |
FN 该拒却编造 | 幻觉 | 最危险,必须逐条回看 |
score_runs.py 读黄金集 + 一次采集,输出 Markdown 报告。它不做任何语义判断,只做字段比对,因此结果完全可复算。
#!/usr/bin/env python3
"""score_runs.py — 静态评分,仅依赖 Python 标准库。
用法: python3 score_runs.py golden_qa.json runs.json
不联网、不调用任何模型;示例数据均为占位值。
"""
import json
import re
import sys
from collections import Counter
from pathlib import Path
def load(path):
with open(path, "r", encoding="utf-8") as fh:
return json.load(fh)
def norm(text):
return re.sub(r"\s+", "", (text or "").lower())
def coverage(key_points, answer):
if not key_points:
return 1.0
flat = norm(answer)
hit = sum(
1 for kp in key_points
if any(norm(alias) in flat for alias in kp.get("any_of", []))
)
return hit / len(key_points)
def evaluate(golden, runs, coverage_pass=0.6):
index = {g["qid"]: g for g in golden["items"]}
rows, conf = [], Counter()
for item in runs["items"]:
g = index.get(item["qid"])
if g is None:
rows.append({"qid": item["qid"], "error": "qid 不在黄金集"})
continue
expected = set(g.get("expect_source_ids", []))
cited = set(item.get("citations", []))
cite_ok = bool(expected & cited) if expected else None
cov = coverage(g.get("key_points", []), item.get("answer", ""))
should, did = bool(g["should_refuse"]), bool(item.get("refused"))
conf[(should, did)] += 1
rows.append({
"qid": item["qid"],
"volatile": g.get("volatile", False),
"citation_hit": cite_ok,
"coverage": round(cov, 3),
"coverage_pass": None if should else cov >= coverage_pass,
"refusal": "TP" if should and did else
"FN" if should and not did else
"FP" if not should and did else "TN",
})
return rows, conf
def render(rows, conf, golden_version, run_id):
cited = [r for r in rows if r.get("citation_hit") is not None]
covs = [r["coverage"] for r in rows if "coverage" in r and not r.get("volatile")]
hit_rate = sum(1 for r in cited if r["citation_hit"]) / len(cited) if cited else 0.0
lines = [
f"# 评测报告 {run_id}",
"",
f"黄金集版本: `{golden_version}`;题数: {len(rows)}",
"",
f"- 引用命中率: `{hit_rate:.3f}`({len(cited)} 道应引用题)",
f"- 非时间敏感题平均要点覆盖率: `{sum(covs) / len(covs):.3f}`" if covs else "- 无覆盖率样本",
f"- 拒答混淆矩阵: TP={conf[(True, True)]} FN={conf[(True, False)]} "
f"FP={conf[(False, True)]} TN={conf[(False, False)]}",
"",
"| qid | volatile | 引用命中 | 要点覆盖 | 达标 | 拒答 |",
"|---|---|---|---|---|---|",
]
for r in rows:
if "error" in r:
lines.append(f"| {r['qid']} | - | - | - | - | {r['error']} |")
continue
lines.append(
f"| {r['qid']} | {r['volatile']} | {r['citation_hit']} | "
f"{r['coverage']} | {r['coverage_pass']} | {r['refusal']} |"
)
lines += ["", "> 全部数值由占位数据算出,仅用于演示脚本可运行,不代表任何产品表现。", ""]
return "\n".join(lines)
def main():
if len(sys.argv) != 3:
raise SystemExit("用法: python3 score_runs.py golden_qa.json runs.json")
golden, runs = load(sys.argv[1]), load(sys.argv[2])
rows, conf = evaluate(golden, runs)
report = render(rows, conf, golden.get("version", "?"), runs.get("run_id", "?"))
out = Path("report.md")
out.write_text(report, encoding="utf-8")
print(report)
print(f"已写入 {out}")
if __name__ == "__main__":
main()脚本故意不解析 Markdown、不做模糊语义匹配:覆盖率用别名包含判断,所以"答案写反了但关键词都在"会被判通过。这不是 bug,是提醒你第五节的抽检表不能省。
两人各标 30 句"是否有引用支撑",光说"我们看过了"没用。用 Cohen's kappa 量化一致程度,同样只依赖标准库:
#!/usr/bin/env python3
"""kappa.py — 双人标注一致性,示例标签为占位值。"""
def cohen_kappa(a, b):
assert len(a) == len(b) and a, "标注序列为空或长度不等"
n = len(a)
labels = sorted(set(a) | set(b))
po = sum(x == y for x, y in zip(a, b)) / n
pa = sum(a.count(l) / n for l in labels)
pb = sum(b.count(l) / n for l in labels)
pe = sum((a.count(l) / n) * (b.count(l) / n) for l in labels)
return (po - pe) / (1 - pe) if pe != 1 else 1.0
if __name__ == "__main__":
reviewer_a = ["有依据", "无依据", "有依据", "有依据", "无依据"]
reviewer_b = ["有依据", "无依据", "无依据", "有依据", "无依据"]
print(f"observed={sum(x == y for x, y in zip(reviewer_a, reviewer_b)) / len(reviewer_a):.3f}")
print(f"kappa={cohen_kappa(reviewer_a, reviewer_b):.3f}")指标低于自己设的门槛(比如 0.6)时,先修标注规范再谈分数,否则自动指标和人工结论会互相打架。
脏数据 | 表现 | 对策 |
|---|---|---|
题面泄漏 | 演示题命中率虚高,真实问法崩 | 出题人不用文档标题措辞;留 |
同义改写 | 要点明明答了却判 0 分 |
|
缓存 / 随机性 | 同一题两次引用不同 | 每次 |
时间敏感题 | 价格 / 配额题用旧文档判新版本 |
|
引用编号错位 | 引用列表看着对,点开是别的文档 | 采集时连文档 ID 一起存,脚本按 ID 比对而非按顺序 |
多语言 / OCR 噪声 | 表格里抽出的数字串行 |
|
阶段 | 规模 | 目标 | 产出 |
|---|---|---|---|
冒烟 | 20~30 题,跑 1 次 | 打通采集 → 评分 → 报告链路 |
|
每周回归 | 同一黄金集,固定 | 观察版本间趋势,定位哪段链路变了 | 周度对比表 |
选型对比 | 多产品共用同一黄金集 | 相对比较,而非争"绝对分数" | 并排报告 |
关键是同一份黄金集不加题地反复用:一旦为了"让某个产品好看"临时改题,纵向对比就断了。要加题就升 version,并明确标注旧版本结果不可与新版本直接比。
FN:整体准确率好看,但"该拒答却编造"往往才是最该拦截的那几条。version,且出题依据写在 note 里should_refuse: true 与 1 道 volatile: truerun_id 目录,同时存黄金集快照FN 逐条回看过,且写明抽检一致程度到这里,"哪个产品更靠谱"会变成一份可以指着 run_id 和黄金集版本讨论的报告,而不是几个例子带来的印象。这也是我评这类产品时唯一愿意写进结论的东西。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。