企业智能体进入生产环境后，为什么必须建立分层评测体系？

企业建设智能体时，往往先完成模型接入、知识库问答和工具调用，再通过几个标准问题验证效果。这适合原型验证，却不足以支撑生产运行。

生产环境中的失败并不只来自模型。知识库可能出现新旧资料冲突，MCP接口可能超时，用户可能没有访问某项数据的权限，模型也可能完成了流程却没有解决业务问题。因此，企业需要建立覆盖模型、Agent流程、工具权限和业务效果的分层评测。

模型层评测负责回答“当前任务应该使用哪个模型”。除了准确率，还要观察延迟、调用稳定性、结构化输出和版本变化。通过模型中立和路由机制，问答、规划、OCR和视觉任务可以选择不同模型，避免整个系统被单一模型绑定。

流程层评测负责验证Planner、Generator、Evaluator之间的协作。Planner是否正确识别任务，Generator是否使用了指定知识和工具，Evaluator是否发现遗漏，都需要单独记录。这样出现问题时，团队可以判断是模型理解错误、知识检索错误，还是工具返回异常。

工具层评测重点检查MCP Server和外部接口。上线前应验证最小权限、只读范围、调用限流、超时处理、幂等性和日志追踪。涉及写入业务系统的操作，应设置人工确认门禁，不让智能体凭一次模型判断直接完成高风险操作。

业务层评测则从用户结果出发。例如企业AI工作助理推荐了某个数据分析应用，用户是否真的完成了任务；材料助手生成了初稿，人工修改量是否下降；知识助手回答后，用户是否还需要重复询问。

在私有化AI服务要素平台中，三类核心服务要素是模型、智能体、数据与能力集合。评测不应成为独立孤岛，而要贯穿三类要素：评模型、评智能体流程，也评知识库、Skills、MCP Server和上下文记忆的质量。

一套可执行的路径是：先建立20至50个高频测试案例，覆盖正确路径和失败路径；每次更新模型、知识库或工具后进行离线回归；上线后从日志和用户反馈中补充案例；高风险任务进入人工复核或异步审计队列。

企业智能体长期竞争力不在于永远使用某个最强模型，而在于新模型出现后能够快速接入、可靠评估，并在不破坏原有业务边界的情况下完成升级。