首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >给 AI 搜索做一次可复现评测:黄金集、引用可核查性与拒答率

给 AI 搜索做一次可复现评测:黄金集、引用可核查性与拒答率

原创
作者头像
老王说技术
发布于 2026-11-22 10:11:52
发布于 2026-11-22 10:11:52
130
举报

本文不点名任何具体产品,也不给出任何实测分数。所有题目、字段值、答案片段都是演示用占位值,用于说明一套可以照着搭起来的评测脚手架。真正的分数只能由你在自己的环境里跑出来。

一、"试了一下感觉挺准"为什么不算评测

AI 搜索、企业知识库问答、带引用的 Deep Research 类产品,最容易被"几个印象深刻的例子"带偏。我遇到过三种典型的复盘失败:

  1. 题面泄漏:演示题直接照抄文档小标题,产品只要做关键词匹配就能命中,换成同事的真实问法立刻掉下来。
  2. 随机性与缓存:同一个问题上午问和下午问,引用的文档不一样,却没有任何留痕,无法判断是版本更新还是采样波动。
  3. 版本漂移:上周那份"效果不错"的结论,这周产品换了一版检索或重排,旧结论悄悄失效,没有可重跑的基线。

这三件事的共同点是:没有把一次评测固化成可以指着 run_id 讨论的数据。下面这套方法只解决这一件事。

二、先划边界:测的是产品交付链路,不是模型智商

不要一上来就问"哪个模型更聪明"。同一款产品换底座模型、换检索策略、换提示词,用户感知的差别集中在一条链路上:

链路环节

可观测产物

本文是否覆盖

检索:有没有召回正确文档

引用列表 citations

覆盖(引用命中率)

生成:答案是否覆盖关键要点

answer 文本

覆盖(要点覆盖率)

拒答:证据不足时是否诚实说不知道

refused 布尔

覆盖(拒答正确率)

表达:文风、排版、多轮追问

主观评分

不覆盖,另设人工盲评

工程:响应延迟、并发、联网时效

耗时埋点

不覆盖,属性能压测

划清边界的好处是:当分数变化时,你能相对确定是"检索 / 生成 / 拒答"哪一段动了,而不是笼统归因为"模型不行"。

三、最小黄金集:先把字段定死,再攒 20~30 题

黄金集不需要大,但必须字段固定、可版本化、与被测产品不同源(别用产品自己生成的问答当标准答案)。字段表:

字段

类型

作用

qid

string

稳定题号,跨版本对比的主键

question

string

真实问法,避免照抄文档标题

expect_source_ids

list

期望被引用的文档 ID;应拒答题留空

key_points

list

答案必须覆盖的要点,每个要点给 any_of 同义别名

should_refuse

bool

证据不足时是否应当拒答

volatile

bool

是否时间敏感(价格、配额、版本状态),单独分组统计

note

string

出题依据,方便半年后还看得懂

三类题建议按比例混着放:可答且答案稳定(主体)、应拒答(把"无依据编造"逼出来)、时间敏感(检验产品会不会拿过期文档硬答)。

代码语言:json
复制
{
  "version": "golden-2026-11-22",
  "note": "以下题目与取值全部为演示占位,不代表任何真实产品文档",
  "items": [
    {
      "qid": "Q001",
      "question": "对象存储单个桶的默认请求上限是按桶算还是按账号算?",
      "expect_source_ids": ["doc-obs-001"],
      "key_points": [
        {"any_of": ["按桶", "单桶", "每桶"]},
        {"any_of": ["默认", "上限"]}
      ],
      "should_refuse": false,
      "volatile": false,
      "note": "考察能否区分粒度,题面不出现文档标题原词"
    },
    {
      "qid": "Q002",
      "question": "我们内部 2023 年那份 SLA 补充说明里,赔偿比例是怎么定的?",
      "expect_source_ids": [],
      "key_points": [],
      "should_refuse": true,
      "volatile": false,
      "note": "知识库中不存在该文档,期望拒答而非编造条款"
    },
    {
      "qid": "Q003",
      "question": "当前按量计费的单价是多少?",
      "expect_source_ids": ["doc-price-007"],
      "key_points": [{"any_of": ["按量", "计费"]}],
      "should_refuse": false,
      "volatile": true,
      "note": "时间敏感题,单独分组,避免用旧价判新版本"
    }
  ]
}

key_points 用"同义别名任一命中"而不是精确字符串,是为了容忍"按桶 / 单桶 / 每桶"这类表达差异;代价是它只能算召回型覆盖率,不能证明答案语义正确——这也是下一节要留人工抽检口子的原因。

四、统一采集格式:别只存截图

每次评测把产品答案导出成结构化记录,字段和黄金集对齐。截图只能佐证,不能参与计算。

代码语言:json
复制
{
  "product_tag": "placeholder-product-A",
  "run_id": "2026-11-22T09:30:00+08:00",
  "build": "占位版本标识",
  "note": "演示占位数据,非真实采集结果",
  "items": [
    {
      "qid": "Q001",
      "answer": "按文档,默认请求上限是按桶维度计算的。",
      "citations": ["doc-obs-001"],
      "refused": false
    },
    {
      "qid": "Q002",
      "answer": "该补充说明中的赔偿比例为占位值。",
      "citations": ["doc-unknown-404"],
      "refused": false
    },
    {
      "qid": "Q003",
      "answer": "按量计费单价请以最新价格文档为准。",
      "citations": ["doc-price-007"],
      "refused": false
    }
  ]
}

采集时的归档脚本,重点是每次运行留独立目录 + 记录版本标识,否则一周后你分不清哪份是旧版:

代码语言:bash
复制
#!/usr/bin/env bash
# capture.sh — 把一次评测的导出文件归档到独立 run 目录
set -euo pipefail
RUN_ID="$(date +%Y%m%d-%H%M%S)"
PRODUCT_TAG="${1:?用法: capture.sh <product_tag> <runs.json>}"
SRC="${2:?缺少导出文件}"
DEST="runs/${PRODUCT_TAG}/${RUN_ID}"
mkdir -p "$DEST"
cp "$SRC" "$DEST/runs.json"
# 黄金集快照一起存,保证这次 run 半年后仍可复算
cp golden_qa.json "$DEST/golden_qa.json"
printf 'product_tag=%s\nrun_id=%s\n' "$PRODUCT_TAG" "$RUN_ID" > "$DEST/meta.txt"
echo "归档完成: $DEST"

阈值单独放配置,改口径不用改脚本:

代码语言:yaml
复制
# thresholds.yaml — 演示占位阈值,按自己场景调整
citation_match: any        # any=命中任一期望来源;all=全部命中
coverage_pass: 0.6         # 单题要点覆盖率达标线
volatile_separate: true    # 时间敏感题单独出一组结果

五、四个指标:三个能自动判,一个必须人工抽检

指标

口径

能否自动

说明

引用命中率 citation_hit

命中期望来源的题数 / 应引用题数

可以

只判"引用对不对",不判"引用有没有支撑答案"

要点覆盖率 coverage

命中要点数 / 要点总数,按题取均值

可以(召回型)

别名匹配,容忍同义改写

拒答正确率 refusal_accuracy

混淆矩阵 TP/TN/FP/FN

可以

把"该拒答却编造"单独暴露出来

无依据句占比

答案中无法被引用文档支撑的句子比例

不能全自动

建议每题抽 2 句人工标注,双人复核

把前三个写死在脚本里,第四个留抽检表,是这套方法最重要的取舍:自动指标负责"可重跑、可比版本",人工抽检负责"别被关键词匹配骗了"。

拒答的四种情况建议直接打成一张表看,比单个准确率有用得多:

情况

含义

风险

TP 该拒且拒了

诚实

无

TN 该答且答了

正常

仍需看引用与覆盖率

FP 不该拒却拒了

过度保守

可用性下降,好查

FN 该拒却编造

幻觉

最危险,必须逐条回看

六、评分脚本:只用标准库,不联网、不调模型

score_runs.py 读黄金集 + 一次采集,输出 Markdown 报告。它不做任何语义判断,只做字段比对,因此结果完全可复算。

代码语言:python
复制
#!/usr/bin/env python3
"""score_runs.py — 静态评分,仅依赖 Python 标准库。
用法: python3 score_runs.py golden_qa.json runs.json
不联网、不调用任何模型;示例数据均为占位值。
"""
import json
import re
import sys
from collections import Counter
from pathlib import Path


def load(path):
    with open(path, "r", encoding="utf-8") as fh:
        return json.load(fh)


def norm(text):
    return re.sub(r"\s+", "", (text or "").lower())


def coverage(key_points, answer):
    if not key_points:
        return 1.0
    flat = norm(answer)
    hit = sum(
        1 for kp in key_points
        if any(norm(alias) in flat for alias in kp.get("any_of", []))
    )
    return hit / len(key_points)


def evaluate(golden, runs, coverage_pass=0.6):
    index = {g["qid"]: g for g in golden["items"]}
    rows, conf = [], Counter()
    for item in runs["items"]:
        g = index.get(item["qid"])
        if g is None:
            rows.append({"qid": item["qid"], "error": "qid 不在黄金集"})
            continue
        expected = set(g.get("expect_source_ids", []))
        cited = set(item.get("citations", []))
        cite_ok = bool(expected & cited) if expected else None
        cov = coverage(g.get("key_points", []), item.get("answer", ""))
        should, did = bool(g["should_refuse"]), bool(item.get("refused"))
        conf[(should, did)] += 1
        rows.append({
            "qid": item["qid"],
            "volatile": g.get("volatile", False),
            "citation_hit": cite_ok,
            "coverage": round(cov, 3),
            "coverage_pass": None if should else cov >= coverage_pass,
            "refusal": "TP" if should and did else
                       "FN" if should and not did else
                       "FP" if not should and did else "TN",
        })
    return rows, conf


def render(rows, conf, golden_version, run_id):
    cited = [r for r in rows if r.get("citation_hit") is not None]
    covs = [r["coverage"] for r in rows if "coverage" in r and not r.get("volatile")]
    hit_rate = sum(1 for r in cited if r["citation_hit"]) / len(cited) if cited else 0.0
    lines = [
        f"# 评测报告 {run_id}",
        "",
        f"黄金集版本: `{golden_version}`;题数: {len(rows)}",
        "",
        f"- 引用命中率: `{hit_rate:.3f}`({len(cited)} 道应引用题)",
        f"- 非时间敏感题平均要点覆盖率: `{sum(covs) / len(covs):.3f}`" if covs else "- 无覆盖率样本",
        f"- 拒答混淆矩阵: TP={conf[(True, True)]} FN={conf[(True, False)]} "
        f"FP={conf[(False, True)]} TN={conf[(False, False)]}",
        "",
        "| qid | volatile | 引用命中 | 要点覆盖 | 达标 | 拒答 |",
        "|---|---|---|---|---|---|",
    ]
    for r in rows:
        if "error" in r:
            lines.append(f"| {r['qid']} | - | - | - | - | {r['error']} |")
            continue
        lines.append(
            f"| {r['qid']} | {r['volatile']} | {r['citation_hit']} | "
            f"{r['coverage']} | {r['coverage_pass']} | {r['refusal']} |"
        )
    lines += ["", "> 全部数值由占位数据算出,仅用于演示脚本可运行,不代表任何产品表现。", ""]
    return "\n".join(lines)


def main():
    if len(sys.argv) != 3:
        raise SystemExit("用法: python3 score_runs.py golden_qa.json runs.json")
    golden, runs = load(sys.argv[1]), load(sys.argv[2])
    rows, conf = evaluate(golden, runs)
    report = render(rows, conf, golden.get("version", "?"), runs.get("run_id", "?"))
    out = Path("report.md")
    out.write_text(report, encoding="utf-8")
    print(report)
    print(f"已写入 {out}")


if __name__ == "__main__":
    main()

脚本故意不解析 Markdown、不做模糊语义匹配:覆盖率用别名包含判断,所以"答案写反了但关键词都在"会被判通过。这不是 bug,是提醒你第五节的抽检表不能省。

七、判分一致性:抽检要能算出一致程度

两人各标 30 句"是否有引用支撑",光说"我们看过了"没用。用 Cohen's kappa 量化一致程度,同样只依赖标准库:

代码语言:python
复制
#!/usr/bin/env python3
"""kappa.py — 双人标注一致性,示例标签为占位值。"""
def cohen_kappa(a, b):
    assert len(a) == len(b) and a, "标注序列为空或长度不等"
    n = len(a)
    labels = sorted(set(a) | set(b))
    po = sum(x == y for x, y in zip(a, b)) / n
    pa = sum(a.count(l) / n for l in labels)
    pb = sum(b.count(l) / n for l in labels)
    pe = sum((a.count(l) / n) * (b.count(l) / n) for l in labels)
    return (po - pe) / (1 - pe) if pe != 1 else 1.0

if __name__ == "__main__":
    reviewer_a = ["有依据", "无依据", "有依据", "有依据", "无依据"]
    reviewer_b = ["有依据", "无依据", "无依据", "有依据", "无依据"]
    print(f"observed={sum(x == y for x, y in zip(reviewer_a, reviewer_b)) / len(reviewer_a):.3f}")
    print(f"kappa={cohen_kappa(reviewer_a, reviewer_b):.3f}")

指标低于自己设的门槛(比如 0.6)时,先修标注规范再谈分数,否则自动指标和人工结论会互相打架。

八、六类脏数据与对策

脏数据

表现

对策

题面泄漏

演示题命中率虚高,真实问法崩

出题人不用文档标题措辞;留 note 记录依据

同义改写

要点明明答了却判 0 分

any_of 别名表 + 抽检复核,不要盲目加模糊匹配

缓存 / 随机性

同一题两次引用不同

每次 run_id 独立归档,同题重复 2~3 次取一致性

时间敏感题

价格 / 配额题用旧文档判新版本

volatile: true 单独分组,不并入总平均分

引用编号错位

引用列表看着对,点开是别的文档

采集时连文档 ID 一起存,脚本按 ID 比对而非按顺序

多语言 / OCR 噪声

表格里抽出的数字串行

norm() 只做空白与大小写归一,异常样本单列出来人工看

九、三阶段落地节奏

阶段

规模

目标

产出

冒烟

20~30 题,跑 1 次

打通采集 → 评分 → 报告链路

report.md + 抽检表

每周回归

同一黄金集,固定 run_id

观察版本间趋势,定位哪段链路变了

周度对比表

选型对比

多产品共用同一黄金集

相对比较,而非争"绝对分数"

并排报告

关键是同一份黄金集不加题地反复用:一旦为了"让某个产品好看"临时改题,纵向对比就断了。要加题就升 version,并明确标注旧版本结果不可与新版本直接比。

十、五个常见误区

  1. 只报一个总分:把引用、覆盖、拒答揉成一个数,出问题时无从定位。
  2. 把引用条数当质量:引了 8 条不代表有 1 条支撑结论。
  3. 让模型给自己判分且从不抽样:判分模型与被测产品可能同源偏见,抽检是必需的对照组。
  4. 忽略 FN:整体准确率好看,但"该拒答却编造"往往才是最该拦截的那几条。
  5. 黄金集与被测产品同源:用产品生成的问答当标准答案,等于让它自己考自己。

十一、两条边界

  • 本文不点名产品、不提供也不暗示任何实测分数;文中的题目、文档 ID、答案片段、阈值与 kappa 标签全是演示占位值。真实结论请在你自己的环境里产生。
  • 这套方法只做相对比较:适合回答"A 版本比上一版在引用命中上有没有退步""两类产品在同一批题上的取舍差异",不适合宣称某产品"准确率 92%"。关键词匹配带来的假阳性,只能靠抽检兜住。

十二、上线前自检清单

  • 黄金集有 version,且出题依据写在 note 里
  • 至少含 1 道 should_refuse: true 与 1 道 volatile: true
  • 题面没有照抄文档标题
  • 每次采集独立 run_id 目录,同时存黄金集快照
  • 引用按文档 ID 比对,不按列表顺序
  • 覆盖率别名表经过一次人工抽检校正
  • 报告里 FN 逐条回看过,且写明抽检一致程度

到这里,"哪个产品更靠谱"会变成一份可以指着 run_id 和黄金集版本讨论的报告,而不是几个例子带来的印象。这也是我评这类产品时唯一愿意写进结论的东西。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、"试了一下感觉挺准"为什么不算评测
  • 二、先划边界:测的是产品交付链路,不是模型智商
  • 三、最小黄金集:先把字段定死,再攒 20~30 题
  • 四、统一采集格式:别只存截图
  • 五、四个指标:三个能自动判,一个必须人工抽检
  • 六、评分脚本:只用标准库,不联网、不调模型
  • 七、判分一致性:抽检要能算出一致程度
  • 八、六类脏数据与对策
  • 九、三阶段落地节奏
  • 十、五个常见误区
  • 十一、两条边界
  • 十二、上线前自检清单
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档