长任务最大的体验问题不是慢,而是“这段时间我说的话还算不算”。用户中途发现漏了条件,希望补一句;产品只能取消重来就白跑了,直接塞进生成中的答案又可能被当成最后一句忽略。 先分清改目标和追加信息 中途输入通常分三类:改目标(“改成华东”)应中断当前步骤用新要求重来,已发出的外部动作不自动撤回;追加信息(“把上季度也一起算”)应排到当前运行结束后续做;独立请求(无依赖)可并行。关键是事先在产品里定义策略,而不是让模型每次临场猜。有框架给运行中任务下发指令时默认中断重启,另一种策略是排队;这里只借用“中断还是排队必须事先定义”的工程问题,不照抄调用方式,也不写成对具体版本的实测。 让状态可见,让取消真的能停 后台任务要有看得见的状态:排队中、运行中、等待批准、已完成、失败。要区分“助手在思考”和“助手卡在某个权限或等待输入上”。取消必须真的停下工作和费用,而不只是关掉界面;已经开始的外部动作不会自动撤销,产品要提示已完成部分并给出后续处理。多条补充接连到达时,模型可能只回应最后一条,应逐条登记、逐条确认。 补充要求进入运行时需要什么 基于已有 Node/Electron 产品,在当前发布的 SDK 中,会话提供 submitInput:一次提交带幂等 inputId、目标绑定、内容、可选确认级别;随后用 getInputStatus 凭 inputId 与目标查回执。这使“我收到了补充”和“模型已据此完成处理”成为两个可核对状态。但边界要写清:当前能力声明里图片不受理(image:false)、持久确认不受理(durableAck:false),只支持内存确认,回执保留当前轮与上一轮。这条通道是给文本类中途补充用的,不是持久消息队列,也不接收图片。目标纪元不匹配或不支持的内容会返回拒绝码,产品应显示出来而不是静默吞掉。 哪些部分必须自己建 运行库能做的是接纳一条带身份和回执的文本输入,接进会话循环,让产品查状态。它不决定 interrupt 还是 enqueue,不维护后台队列,也不保证已执行外部动作可撤销——这些要宿主应用实现。若只是一次性短请求,同步调用就够。接口签名以选定版本能核对的类型为准。 验收清单 对每条中途输入标注类型并套用事先定义的策略;每条分配稳定输入 ID,界面显示已接纳/处理中/已完成/未确认;接纳不等于完成,只有拿到回执并确认模型已消费才更新;取消要真停后台工作与费用并提示不可撤销的外部动作;图片不走文本通道;用多条补充接连到达的样本测试先前约束是否被覆盖。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。