霍格沃兹-测试开发学社
把 Evals 接进 CI:让每次 prompt 与模型改动都跑一遍评测门禁
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
霍格沃兹-测试开发学社
社区首页
>
专栏
>
把 Evals 接进 CI:让每次 prompt 与模型改动都跑一遍评测门禁
把 Evals 接进 CI:让每次 prompt 与模型改动都跑一遍评测门禁
霍格沃兹-测试开发学社
关注
发布于 2026-09-16 17:19:24
发布于 2026-09-16 17:19:24
49
0
举报
概述
上个迭代,同事把 system prompt 改短了两百字,本地试了三条 case,「看起来还行」,合并上线。第二天客服转来一批投诉:某一类高频问题开始答非所问。回看改动,那三条手测的 case 恰好都不属于这一类——问题一直躺在评测集里,只是没人在这版改动上线前把那几百条重新跑一遍。
文章被收录于专栏:
霍格沃兹测试开发学社
霍格沃兹测试开发学社
ceshiren0001
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
AI测试解决方案
测试开发
#Prompt
#评测门禁
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档