何恺明团队新突破：没有归一化的Transformer为何更高效？

论文提出了一种革命性方法——动态Tanh（DyT），通过简单的逐元素操作（tanh(αx)）替代传统Transformer中的归一化层。研究发现，归一化层的核心功能并非依赖统计量计算，而是通过非线性压缩抑制极端值。DyT仅需动态缩放参数α和tanh函数即可实现等效效果，在LLaMA 7B等模型中推理速度提升52.4%，训练效率提高42.2%。该方法在视觉、语言等多模态任务中均保持或超越原模型性能。