PyTorch中的model.zero_grad()和optimizer.zero_grad()
PyTorch中的model.zero_grad()和optimizer.zero_grad()
狼啸风云
修改于 2022-09-02 21:22:33
修改于 2022-09-02 21:22:33
文章被收录于专栏：计算机视觉理论及其实现
model.zero_grad()
optimizer.zero_grad()首先，这两种方式都是把模型中参数的梯度设为0
当optimizer = optim.Optimizer(net.parameters())时，二者等效，其中Optimizer可以是Adam、SGD等优化器
def zero_grad(self):
"""Sets gradients of all model parameters to zero."""
for p in self.parameters():
if p.grad is not None:
p.grad.data.zero_()
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2020/07/05 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
腾讯云开发者
