文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
社区首页 >专栏 >Layer normalization 篇

Layer normalization 篇

作者头像
杨夕
发布于 2026-10-23 17:10:29
发布于 2026-10-23 17:10:29
520
举报
概述
Deep Norm方法在执行Layer Norm之前，up-scale了残差连接 (alpha>1)；另外，在初始化阶段down-scale了模型参数(beta<1)。
文章被收录于专栏：【关于 NLP】那些你不知道的事【关于 NLP】那些你不知道的事

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

人工智能
目录
  • Layer normalization 篇
    • Layer normalization-方法篇
      • Layer Norm 篇
        • Layer Norm 的计算公式写一下？
      • RMS Norm 篇 （均方根 Norm）
        • RMS Norm 的计算公式写一下？
        • RMS Norm 相比于 Layer Norm 有什么特点？
      • Deep Norm 篇
        • Deep Norm 思路？
        • 写一下 Deep Norm 代码实现？
        • Deep Norm 有什么优点？
    • Layer normalization-位置篇
      • 1 LN 在 LLMs 中的不同位置 有什么区别么？如果有，能介绍一下区别么？
    • Layer normalization 对比篇
      • LLMs 各模型分别用了 哪种 Layer normalization？

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档