用户12431597
现代 Transformer 的五处改造:RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
用户12431597
社区首页
>
专栏
>
现代 Transformer 的五处改造:RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算
现代 Transformer 的五处改造:RoPE、GQA、RMSNorm、SwiGLU、Pre-Norm 全手算
用户12431597
关注
发布于 2026-11-05 17:41:52
发布于 2026-11-05 17:41:52
85
0
举报
概述
上两篇讲了 Self-Attention 和 Transformer 的骨架。这一篇讲 2017 年的原始结构到 Llama 之间改了哪五处,每一处是被什么具体问题逼出来的。一共 6 个问题,每个都用能手算的小例子。内容来自我做的一套 34 课大模型课程的第 3 课。 本课在线阅读(免登录、手机可看):https://zhuangzhaoyeye.github.io/llm-course/less
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
AIGC
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档