Pytorch指南不使用optim进行训练
Pytorch指南不使用optim进行训练
提问于 2020-07-31 05:05:16
我目前正在浏览Pytroch网站上的一个指南：https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html
我以前做过pytorch项目，他们总是使用优化器。本指南改用此处的代码：
# Add parameters' gradients to their values, multiplied by learning rate
for p in rnn.parameters():
p.data.add_(p.grad.data, alpha=-learning_rate)我对此感到困惑，并想知道为什么这是可行的。此外，我尝试使用优化器重写代码，但它无法学习。它使用的是递归神经网络，这可能是原因，但我不确定为什么。谢谢!
回答 1
Stack Overflow用户
发布于 2020-07-31 06:24:21
为什么你希望它不工作呢？基本上，它所做的就是手动实现优化器。p.data是参数的存储值。它还提供了一个计算+=的内部函数add_。一旦调用了loss.backward()，pytorch也会计算并存储渐变。它只是从后向传递中获取梯度值，并更新参数以执行梯度下降。没有理由优化器不能在这里工作，但除非你提供更多信息，否则我无能为力。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/63181394
复制相关文章
相似问题
腾讯云开发者
