斯坦福大学研究人员推出优化器 Sophia，可高效低成本训练大模型

据站长之家 7 月 26 日报道，斯坦福大学的研究人员开发了一种名为 Sophia 的新型优化器，可将语言模型的预训练时间缩短一半。相比于 Adam 优化器，Sophia 可以更快地解决语言模型的问题。Sophia 通过轻量级估计对角 Hessian 矩阵作为二阶优化器的预条件。在更新之后，通过取梯度的平均值除以估计 Hessian 的平均值来进行元素级别的剪切。此外，Sophia 还可以适应语言建模任务中的大参数变化。