首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >本地实现 LLM 采样实测:softmax 一次 0.3 毫秒没有捷径,top-k 全排序比最小堆慢 50 倍

本地实现 LLM 采样实测:softmax 一次 0.3 毫秒没有捷径,top-k 全排序比最小堆慢 50 倍

作者头像
步步为营DotNet
发布于 2026-11-07 12:34:59
发布于 2026-11-07 12:34:59
480
举报
概述
自己写解码器(本地推理、Agent 工具、采样策略实验)绕不开三件事:softmax、top-k、top-p。网上讲原理的多,给实测账单的少。本文全部代码零依赖 BCL,在 Apple M4 macOS arm64 .NET 10.0.5 上跑,152,064 词表(Qwen2.5 同规模),四轮数据稳定,可复现步骤在文末。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档