如果只按传统数据库的四项验收,AI 功能很容易出现一种结果:验收通过,上线不能用。
原因不复杂。传统验收的对象是「库」,看功能、性能、高可用、备份恢复;AI 数据库多了一层「答案」,这层东西不在原来的验收表里。底座四项仍然要验,但它们是门槛,不是全部。
这篇给一张可以直接改的对照表,再把新增的四项拆开。
验收项 | 传统数据库 | AI 数据库 |
|---|---|---|
功能 | 功能清单逐项过 | 原功能 + 问答入口 + 兜底话术 |
性能 | 并发、响应时间、吞吐 | 同上,另加检索与生成耗时 |
高可用 | 切换、故障恢复 | 同上,另加模型/索引不可用时的降级 |
备份恢复 | 数据可恢复 | 数据 + 语料 + 索引可恢复 |
答案质量 | 不涉及 | 自己的问题集,分项验 |
权限边界 | 账号与数据权限 | 另加「答案会不会带出无权内容」 |
更新回归 | 变更后回归 | 语料/索引/模型变更后回归 |
签字人 | 技术 + 运维 | 技术 + 数据 + 业务 |
表里前四行是底座,后四行是新增。底座不达标,不用往下谈;底座达标,也不代表可以签字。
跑分只能证明引擎,证明不了答案。验收前要有一份自己的题,不能由供应商出。
示例结构,200 题:
题型 | 题量(示例) | 来源 | 验什么 |
|---|---|---|---|
高频问题 | 120 | 工单、客服记录 | 常见问题能不能答对 |
长尾问题 | 50 | 业务临时提问 | 没见过的问题会不会瞎答 |
反例 | 20 | 库里没有答案的问题 | 会不会承认「不知道」 |
越权 | 10 | 无权查看的内容 | 会不会拒答 |
题量是假设,不是标准。小范围试点可以减到 50 题,但四类都要有。反例和越权不能省,这两类最容易在演示时被跳过,也最容易在上线后出事。
「准确率 90%」这种汇总数字,不能直接用于验收。至少要拆成四列:
维度 | 验什么 | 示例阈值 |
|---|---|---|
检索命中 | 该出现的文档有没有被检索到 | 高频题 ≥ 90% |
事实正确 | 答案与源文档是否一致 | 抽检 30 条,错答 ≤ 2 条 |
引用可追溯 | 答案能不能回到原文 | 关键答案 100% 带出处 |
越权拒答 | 无权内容是否拒绝 | 越权题 100% 拒答 |
四项是「与」的关系,不是加权平均。任何一项不达标,都不能用其他项的高分补。
原因在于错答的代价不对等。报表口径答错,可能只是一次更正;越权看到薪酬,可能是一次合规事件。平均分把两种错盖在一起,看起来漂亮,风险没被看见。
传统数据库的权限,验的是「这个账号能不能查这张表」。AI 数据库还要多验一层:答案里会不会带出这个账号无权看的内容。
这一层不能只看账号配置,要看实际输出。测试方法很直接:用低权限账号问高权限问题,看它是拒答、是给模糊范围、还是把原文贴出来。
示例要求:越权题 100% 拒答,且拒答话术不泄露内容存在与否。比如不能回答「这个数据有,但你不能看」,这句话本身就泄露了信息。
传统数据库变更后要回归,AI 数据库的变更源更多:语料更新、索引重建、模型切换、权限调整,任何一个变了,答案都可能变。
示例做法:每次变更后跑 20 题回归集,覆盖高频、反例、越权三类;全量问题集每个季度跑一次。回归不通过,不允许发布变更。
这一项最容易被当成「上线后的事」。但验收时如果不把回归机制写进去,上线后就不会有人跑。
建议写成一句话:
验收通过 = 底座四项全部达标 且 新增四项全部达标。
不要写「综合评分 ≥ 85」。综合评分会把越权拒答的 0 分,用性能的满分补回来。
签字也要分开:
角色 | 签什么 |
|---|---|
业务 owner | 哪些问题必须答对、什么算答错 |
数据 owner | 哪些数据能进、哪些账号能看 |
运维负责人 | 可用性、备份恢复、回滚 |
「三方共同负责」这种写法,看起来都签了,出事没人认。要写清每一方签哪一栏。
如果 AI 只做辅助搜索,返回文档列表而不是结论,最终由人判断,可以按「检索工具」验收:重点看命中率、响应时间和权限,不必套答案质量四项。
如果找不到愿意定义「答对」的业务 owner,说明需求还没到可验收的程度。这时候应该退回需求阶段,而不是继续排验收会。
AI 数据库的验收,不是把传统那张表推翻重来,而是在底座之上补四行。真正难的不是技术,是提前把「什么算答对」说清楚。
示例环境:文中题量、阈值、时限均为脱敏教学假设,仅用于说明验收方法,不代表任何项目实测或行业标准。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。