00:00
昨天被扣了两次钱,用户不会说重复扣款,我们的检索听不懂人话,先解决这个再谈别的。客户要的是一句退款结果,不是5个近似问题,Query增强必须让首拿命中,否则体验来作。昨天37单重复扣款工单,用户原话全是口语原样inblly只有四成命中正确规则ACL的hide论文证明0样本检所有提升,但生成内容可能幻觉。Red论文也指出检索决定上限,一期只做三件事,意图路由改写保实体多查询召回生成答案不改pad先不做验收看TOP3命中方案A小模型改写延迟80ms,方案b hi的多查询延迟400ms,还可能跑偏了。先看A的召回够不够重复扣款查询里金额。
01:00
日期订单号必须原样保留,改写不能动,部分成功怎么回滚?重试会不会又扣一次?现在时机线TOP1命中41%,TOP3命中63%,上线成功限定在TOP3达到85%,低于70%就回退。用户搜的是扣了两次钱怎么办?页面得覆盖口语变体和退款规则词,收录后才接得住自然流量这类工单不是拉新场景,我不会投广告,但我要买转化事件自助解决率,用它判断要不要给客户降本改写模型每月8000多查询,让检索成本涨3倍,给6万预算,两个月内自助解决率不就停,改写可以,但不能替客户做承诺,退款结论必须由规则不出链路留日志,谁该写的要能回诉,不意今天冻结。
02:00
的范围,Mi出验收标准,报不定接口,Alex三天出改写原型水卡猪当天报,别等周会,如果TOP3只有71%线,还是得人工翻。我接受先做改写和多查询,但客服册要保留一件主人工。按这个方案,用户说昨天被扣了两次钱,要能直接落到重复扣款规则,我抽50条真实口语回规则,禁品里已有人用headde,但都加了实体校验。我建议先不做hide,等召回瓶颈出现在语翼稀疏实在上,范围收紧,只做意图路由加多查询改写只做实体保真那一层headd进实验区不进主链路,最终取舍牺牲200ms延迟换召回稳定主链路,不用hide,因为它不可解释,半年后按slow再扩,改写后做实体比对竖值。
03:00
不一致直接丢检索密等超时300ms降级到关键词召回,不重复调用上线看两个数TOP3命中从63%~85%,自助解决率从18%~37%天不达标就回退,就变路。把这批口语句式做成f faq和sta标注三个月看这些页的自然点击能带来自助入口的占比T在这个场景算不划算,我确认不同,只埋自助解决事件用归因看他是否减少人工工单成本预算压到4.5万,只批改写和多查询,两个月内单工单成本降25%才批下一笔预算,只要退款结论来自规则库日志可回溯改写,不承诺就过合规门槛,红线是不得自动执行退款owner清单挨码验收。
04:00
Alexx实现David的指标,我盯进度,周三出原型,2周上线,灰度就这个主链路做意图路由加多查询,Pad不做,先保住召回和可解释2周灰度指标不达标就可。
我来说两句