转写服务的流量画像很特别:不是平的,是脉冲。早高峰会议室集中开工、晚间网课集中上传,脉冲之间几乎没流量。这种画像下的并发设计和平稳流量的 Web 服务完全不同。
转写请求必须异步任务化:提交即返回任务 ID,转写完成走回调或轮询。同步接口在长音频面前必然超时——2 小时录音的转写时长可能超过任何合理的 HTTP 超时上限。任务表记录状态机:pending → processing → done/failed,失败要带原因码,前端才能给出可操作的提示而不是笼统的「出错了」。
长音频切片后,单任务内部也该并行:切片池 + 工作池,并发度按下游 API 的 QPS 配额反推。注意两个细节:切片顺序提交但乱序返回,结果要按偏移量重排;个别切片反复失败要熔断——连续 3 次失败标记该切片降级(跳过并标注「此段转写失败」),不能让一段坏音频拖死整个任务。
脉冲流量下的限流目标不是拒绝,而是排队。提交入口做准入控制:超出后端消化能力的请求进队列排队,返回预估等待时间。用户对「排队 5 分钟」的接受度远高于「请求失败请重试」。
重试、回调重推、用户重复提交都可能触发同一段音频的重复转写。音频内容哈希(对预处理后的规范音频算哈希)做结果缓存键:同一段音频短期内重复提交直接返回缓存结果——既省成本又保一致。
每个环节单独设超时:预处理 30 秒、单片转写 60 秒、整任务 30 分钟。整任务超时要有兜底动作:已完成的切片先返回,失败段明确标注。宁可交付 95% 的结果,不要因为 5% 的失败交付零——这是转写服务和传统在线服务在产品逻辑上的最大不同。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。