步步为营DotNet
本地实现 LLM 采样实测:softmax 一次 0.3 毫秒没有捷径,top-k 全排序比最小堆慢 50 倍
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
步步为营DotNet
社区首页
>
专栏
>
本地实现 LLM 采样实测:softmax 一次 0.3 毫秒没有捷径,top-k 全排序比最小堆慢 50 倍
本地实现 LLM 采样实测:softmax 一次 0.3 毫秒没有捷径,top-k 全排序比最小堆慢 50 倍
步步为营DotNet
关注
发布于 2026-11-07 12:34:59
发布于 2026-11-07 12:34:59
48
0
举报
概述
自己写解码器(本地推理、Agent 工具、采样策略实验)绕不开三件事:softmax、top-k、top-p。网上讲原理的多,给实测账单的少。本文全部代码零依赖 BCL,在 Apple M4 macOS arm64 .NET 10.0.5 上跑,152,064 词表(Qwen2.5 同规模),四轮数据稳定,可复现步骤在文末。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
c#
性能优化
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档