00:00
谍报进度今天指定一件事,A阵的上线前12类故障,每类至少一条可铺线的回归用例,没有就不许发,客户不为你的happy PA买单,上周退款,机器人给同一单退了两笔,客户截图发进群,这单生意差点没了。公膳里七成事故,不是模型笨是工具超时候没人回话客户干的恢复能力要按分钟算,不是按模型分数算资料我查了O有promp injection清单,Prompt phoenixmi都在做轨迹评测故障注入式标配范围先冻结P1制作退款和工单两个agent注入12类故障里的8类,跨租户和contact污染放屁2两条路离线回放便宜但抓不到真实超时线上影子流量加故障开关棍,但真。
01:00
我倾向后者做P1,真要落地故障开关的进接口契约工具层加bos_ID注入后必须能密等重放,否则重复退款根本测不出来。先点基线退款,A镇一次成功率92.4%,重复退款率0.7%,超时位回话6%没基限弹提升都是自嗨。别小看这件事,失败轨迹整理成文档站就是最好的关键词内容agent重复退款这种长尾竞品一篇都没有,我这边更直接type,现在181次公开事故能把它抬到260头衔之前先用故障用力把退款率压住。预算我给每季度12万三个人月近发布一计,每避免一次线上事故,这笔钱就回本一次跨租户访问那条不是技术问题,是合同问题出。
02:00
是谁负责注入数据必须脱敏,不能用真实客户单号节奏我定先冻结12类故障清单,再定owner,再进CI,谁写用力,谁神谁放行,今天必须写清。补个反正公开样本里只有两成多团队把注入用力纳入门禁,所以我们的优势不再用力,数量再能不能门禁化,成功限定死重复退款率从0.7%降到0.1%,超时未回话从6%降到2%,连续两周不达标就降级回人工取舍我认了P1放弃全量线上流量只跑5%影子流量换来的是20天内能把8类故障全跑一遍值失败路径我处理了超时仙落中间态重试带密等舰,3000次注入只触发一次补单工期14天,两班倒一线。标准很简单,故障发生后3分钟内客户能收到一句话这条做不到回归通过率再高我也不认,合规门槛过了,注入数据全部合成租户ID。
03:16
他西化PRO injection用例,保留完整审计日志,合同里干写范围,再收一次P18类,P2补跨租户context污染幻觉和过拟盒,这次上线验收只认P1那8条自然流量这条路我接门禁报告,做成公开页面,故障注入用例这类词三个月进前五指标看自然注册转化付费,这次我不投,先用门禁把退款率压到0.2%以下,T回落到190再谈预算,最多留5万是创意预算线索死季度不超十二百,超了就行。ROI门槛是一次事故止损大于投入,达不到就排到只流P18类我修正,对外承诺不吹0故障,只承诺同一类故障不复发第二次。这句话客户听得懂,销售也敢往外说,清单定了Alex写。
04:16
8类用地报审猪入点,David文出基线报表,我每周五验收,20天后门禁正式开,就做这一件事。12类故障固化成门禁,用力P1先上8类,20天后开门禁,不达标就回滚人工通道散会。
我来说两句