首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >流式首字延迟实测:Kestrel 只占 0.05 毫秒,52 毫秒全是你自己在响应前算掉的

流式首字延迟实测:Kestrel 只占 0.05 毫秒,52 毫秒全是你自己在响应前算掉的

作者头像
步步为营DotNet
发布于 2026-11-22 12:34:59
发布于 2026-11-22 12:34:59
270
举报
概述
给 LLM 应用做流式输出,用户感知的"快不快"几乎全看首字节时间(TTFB),而不是总时长。我把 TTFB 拆开测了一遍:Kestrel 从收到请求到第一个字节出网卡只要 0.05 毫秒,TCP 建连 0.055 毫秒。也就是说,你在监控上看到的几百毫秒首字延迟,没有一毫秒是框架偷的。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档