Pytorch中的优化器
今天来探索Pytorch中的优化器，使用优化器来优化参数是反向传播过程中必不可少的一个环节，在得到损失函数对每个参数的梯度之后，通过优化器更新所有参数，来达到反向传播的目的。春恋慕
Pytorch中的优化器实现在torch.optim包中，其中包含有多种优化算法，官方文档torch.optim。
首先构建优化器对象：
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr=0.0001)构建时填入的参数随着优化器的不同而不同，依情况填写。
一个使用优化器的例子：
for input, target in dataset:
#必须要写的一步，将上一轮循环的梯度信息归零，避免上一步对下一步的影响
optimizer.zero_grad()
#得到输出
output = model(input)
#计算损失
loss = loss_fn(output, target)
#计算出损失函数对参数的梯度
loss.backward()
#根据得到的梯度更新参数
optimizer.step()优化器的使用很方便并且简洁，查看各个优化器对应的算法时可以查看官方文档。
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2022-02-06，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录