文章作者:Tyan 博客:noahsnail.com | CSDN | 简书
在PyTorch中,对模型参数的梯度置0时通常使用两种方式:model.zero_grad()
和optimizer.zero_grad()
。二者在训练代码都很常见,那么二者的区别在哪里呢?
model.zero_grad()
的作用是将所有模型参数的梯度置为0。其源码如下:
for p in self.parameters():
if p.grad is not None:
p.grad.detach_()
p.grad.zero_()
optimizer.zero_grad()
的作用是清除所有优化的torch.Tensor
的梯度。其源码如下:
for group in self.param_groups:
for p in group['params']:
if p.grad is not None:
p.grad.detach_()
p.grad.zero_()
optimizer = optim.Optimizer(net.parameters())
设置优化器时,此时优化器中的param_groups
等于模型中的parameters()
,此时,二者是等效的,从二者的源码中也可以看出来。