步步为营DotNet
流式首字延迟实测:Kestrel 只占 0.05 毫秒,52 毫秒全是你自己在响应前算掉的
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
步步为营DotNet
社区首页
>
专栏
>
流式首字延迟实测:Kestrel 只占 0.05 毫秒,52 毫秒全是你自己在响应前算掉的
流式首字延迟实测:Kestrel 只占 0.05 毫秒,52 毫秒全是你自己在响应前算掉的
步步为营DotNet
关注
发布于 2026-11-22 12:34:59
发布于 2026-11-22 12:34:59
27
0
举报
概述
给 LLM 应用做流式输出,用户感知的"快不快"几乎全看首字节时间(TTFB),而不是总时长。我把 TTFB 拆开测了一遍:Kestrel 从收到请求到第一个字节出网卡只要 0.05 毫秒,TCP 建连 0.055 毫秒。也就是说,你在监控上看到的几百毫秒首字延迟,没有一毫秒是框架偷的。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
性能优化
runtime
c#
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档