大雾的小屋
手把手教你:开了混合精度就 NaN,GradScaler 到底在做什么|AI工程师踩坑实录·第11篇
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
大雾的小屋
社区首页
>
专栏
>
手把手教你:开了混合精度就 NaN,GradScaler 到底在做什么|AI工程师踩坑实录·第11篇
手把手教你:开了混合精度就 NaN,GradScaler 到底在做什么|AI工程师踩坑实录·第11篇
大雾的小屋
关注
发布于 2026-11-19 13:51:39
发布于 2026-11-19 13:51:39
37
0
举报
概述
本文深入解析混合精度训练中GradScaler的必要性:fp16数值范围仅6.1e-5~65504,远小于fp32,导致梯度易发生上溢(变inf)或下溢(变0),前者显性报错,后者静默失效,模型“装死”却无预警。GradScaler作为梯度电梯,通过放大梯度防下溢、检测异常降scale、还原梯度保学习率,三段机制缺一不可。实测显示,删掉scaler在老卡上可能不炸,但新卡上风险极高。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
深度学习
机器学习
人工智能
算法
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档