Agent渡劫48关-第31关-Agent到底应该评什么？原创

只凭答案相似度，任务做错还罚文本漂亮，这是自欺。今天必须拆6层，评8项指标谁负责？客户不为指标买单，只为任务成功。Trajectory错工具乱调，文本再顺也是是补先定一句话，Agent必须可交付上周三张工单，回答漂亮，但退款没执行。客户骂的是流程，不是文案。评估必须看action和recovery，不然信任崩，把评估分最终响应于轨迹。Sness查只凭相似度是过时做法，必须有外部证据，一期不做全自动打分，先做result trajectory actionion三层task success to selection arguments必须冻结验收。方案A离线回放跑Les数据集便宜可复现。方案B在线一个采样实时弹。

我倾向A先跑通离线回放会遇到工具状态、时间戳、卑密等等线路轨迹快照，否则回放全是假。成功工期至少两周，没有基限的成功线是口号，先取过去200条任务标test success和工具选择准确率定替95延迟和成本极限自然流量进来。问的是agent评估怎么做？内容结构要覆盖6层，收录后转化到文档试用，别只写文章，想买量先来转化时间CA上限80元，RAS低于1.5就停，预算先给两周，只投开发者搜索词全量在线评估每月烧3万，回收期超9个月，我批15000。先离线回放加5%采样ROI不到1.2就看评估数据含客户日志，合同必须写授权。

托敏保留7，谁绕过全线调数据，谁单独替代，路径是合成数据先跑owner限定Bob架构，Alexs实现davidvi的指标，Alris外部验证周五前交6层设计，逾期我升级，既然离线回放2周能跑通，我接受，先不上确认，但test success必须占验收第一权重，地域基线不许发布，加recovery层客户改地址失败后，Agent必须能重试或转人工工单闭环率低于9成，我不签收s faithfulness只查rag不查工具轨迹，Les Smith轨迹评估可补需50条真实任务交叉验证，置信度中根据财务和法务一期砍knowledge和safety全自动保留人工抽检，6层都建，但自动凭止上4层最终。

以离线回放为主，在线影子采样5%牺牲实时全覆盖，换来成本可控和轨迹可复现，半年后再破我用快照加密等键回放工具调用记录sta失败场景走补偿，T+14胶可跑版本T+30接在线采样成功线test success不低于基限加10个百分点停止线安全违规大于0成本每任务超0.5元P95超10秒把6层评估写成可检索文档目标30个长尾词进前五，自然注册转化率提升15%，两周看数据，首周只投2000元，T超80就关停归因用UTM加登录时间，RA ass低于1.5，不加预算，总预算15000分两周释放，第二周ROI低于1.2，立即停止在线采样只保留。

离线回放豁敏授权保留期写进数据处理协议，合成数据先跑安全违规零容忍，一次即回退。此Owner deadline acceptanceb架构，Alex实现David指标，Alex验证AR内容，Adrian投放就按6层加8指标离线回放为主，在线采样5%不做纯向4°，不拿漂亮文本当成功T+14件。