清华大学出品：罚梯度范数提高深度学习模型泛化性

神经网络结构简单，训练样本量不足，则会导致训练出来的模型分类精度不高；神经网络结构复杂，训练样本量过大，则又会导致模型过拟合，所以如何训练神经网络提高模型的泛化性是人工智能领域一个非常核心的问题。最近读到了一篇与该问题相关的文章，论文中作者在训练过程中通过在损失函数中增加正则化项梯度范数的约束从而来提高深度学习模型的泛化性。作者从原理和实验两方面分别对论文中的方法进行了详细地阐述和验证。L i p s c h i t z \mathrm{Lipschitz}Lipschitz连续是对深度学习进行理论分析中非常重要且常见的数学工具，该论文就是以神经网络损失函数是 L i p s c h i t z 是\mathrm{Lipschitz}是Lipschitz连续为出发点进行数学推导。为了方便读者能够更流畅地欣赏论文作者漂亮的数学证明思路和过程，本文对于论文中没有展开数学证明细节进行了补充。

————————————————

版权声明：本文为CSDN博主「鬼道2022」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/qq_38406029/article/details/122851202