Agent渡劫48关-第8关-长上下文为什么不是越长越好？原创

客服常会话30轮工具，结果越堆越多，Token烧的快还答不准今天指定一件事，有些预算里怎么提高有效信号密度？客户不关心你塞了多少历史，他们只问一句三句话能不能解决我上一单的退款？答的准，答的快，不重复问，这才是可传播的体验。一线数据摆这儿，常会话工单重复率三成，客户从第8轮开始骂人，中间的订单和物流信息被模型忽略，客服只能自己翻记录。Loss in the middle已经证实关键信息放中断，模型利用率明显下降。按Loic给的路径是分区压缩，按需组装，不是继续扩窗。一期只做客服场景，只服务退款和物流两类，意图只保留最近10轮原始对话，更早的走摘要，不做通用记忆平台。

不做多租户两个候选A固定分区加静态摘要，便宜，延迟低，长尾意图覆盖差。B, 动态组装按意图实时检索，分区覆盖好，但失败点多，成本高，我只关心失败路径检索超时怎么办？摘要失败还继续调用了工具，结果被裁掉一半。下游状态机怎么判断这次是成功还是部分成功？先要机械首打解决率平均轮次P95延迟、每千次对话token成本这四个数现在都没有成功限限定解决率加8个百分点。高频客服问题可以结构化成可收录的问答页，围绕退款改地址这类搜索意图做内容，自然流量进来，客服压力本身就降了，要投就先买转化事件T上线设80只在退货运费这种高。

摩擦磁上小预算式转化追踪没打通，一块钱都不同，动态组装每次多一次检索，延迟和成本都涨。我的现是单次对话成本不超过现在的1.2倍，3个月回本，否则只PA方案。客户对话进摘要和检索边界必须写清楚，数据存码留多久，谁能删摘要出错导致答错，责任在平台。别只说不行，给一条可审计路径，我只要三样东西，每个模块的owner交付时间，验收标准，散会前必须写下决策日志，谁改了范围，谁签字谁验收，全都落在纸上。拿针时工单验一遍，客户问上单退款到哪了？分区里必须带订单号，物流节点退款状态摘要不能把状态压成处理中这种废话，PU CAS带来新约束，稳定前缀放前面才省钱。

这跟最新信息放最前冲突，结论是动态组装能做，但前缀必须固定成稳定分区，范围按新证据冻结分区固定5块中断动态组装一期只做退款与物流，10轮以前才摘要压缩工具，结果超2000TOKEN裁裁剪最终选臂的收敛版前缀固定分区中断动态检索牺牲长尾意图的实时覆盖，换来可缓存的成本和可控延迟，全动态那一版直接放弃组装器加800ms超时检索失败退回静态摘要裁剪按优先级丢先丢工具原文保留结构化字段落库密等用event ID去重成功线首打解决率相对基线加8个点，中断信息命中率大于7成，停止线P95延迟超2秒或单次成本超1.2倍。

立刻回退静态摘要分区命中的高频问题可以自动进内容池，按搜索意图排序，页面加问答结构化标记，验证指标客服相关自然流量月增两成，这次不同改地址这类词意图太散，T压不到80，归因也测不准预算挪具做退货运费词的小规模测试，两周看ROS再定批30万含两名工程师，3个月应约束不变，单次对话成本不超过现在1.2倍，缓存命中率低于六成，就体钱花在组装器和评测集上，合规过了数据本地存储保留90天，客户可一键删除摘要和原文都进审计日志红线一条，摘要里不许出现未脱敏的手机号和身份证。Owner定了鲍B管组装器Alex管材简与密等David管屏。

特级艾玛冻结范围2周灰度，四周全量，第5周按命中率验收。销售话术改一句不说，记住全部历史说关键信息不丢不重复问这个承诺我们厌得了，客户也听得懂，范围之外的别乱许，就做必数连版固定分区加中断，动态组装先上退款和物流不做通用记忆平台Bob负责5周验收，命中率7成，延迟两秒不达标就回退。