【踩坑】报错 element 0 of tensors does not require grad and does not have a grad_fn

转载请注明出处：小锋学长生活大爆炸[xfxuezhang.cn]

目录

报错描述

问题修复

后话闲谈

set_grad_enabled介绍

作用

用法

示例

与torch.no_grad()的区别

torch.no_grad()

torch.set_grad_enabled(mode)

相同点和不同点

示例

报错描述

        训练过程中，在执行loss.backward()时候会报错：

问题修复

        大概率是在训练代码前的某个位置不小心执行了以下代码，导致梯度计算不再执行：

torch.set_grad_enabled(False)

        可能不是当前py文件中，而是在import时候导入了也有可能。

        所以只要注释这一行代码，或者改为：

torch.set_grad_enabled(True)

        也可以在需要False的时候，以这种形式：

with torch.set_grad_enabled(False):    y = x * 2

后话闲谈

set_grad_enabled介绍

set_grad_enabled — PyTorch 2.2 documentation

    torch.set_grad_enabled是PyTorch中的一个上下文管理器（context manager），用于全局性地启用或禁用梯度计算。它对于优化内存使用和计算性能非常有帮助，特别是在你只需要进行前向传播而不需要进行反向传播时。

作用

• 启用梯度计算：当进行模型训练时，你需要计算梯度以更新模型的权重。在这种情况下，应该确保梯度计算是启用的。
• 禁用梯度计算：在进行模型评估或推理（即模型测试）时，并不需要计算梯度。在这种情况下，禁用梯度计算可以减少内存消耗并加速计算，因为不需要存储进行反向传播所需的中间变量。

用法

    torch.set_grad_enabled可以接受一个布尔值参数（True或False），以指示是否启用梯度计算。

示例

      假设你在训练循环中有一个模型评估步骤，你可以这样使用torch.set_grad_enabled来临时禁用梯度计算：

# 模型训练model.train()torch.set_grad_enabled(True)# 进行训练...# ... # 模型评估model.eval()with torch.set_grad_enabled(False):    # 进行评估...    # 这里不会计算梯度，可以节省内存和计算资源

      这种方式确保了在模型训练阶段梯度是被计算的，而在评估阶段为了效率和资源的考虑，则不计算梯度。

与torch.no_grad()的区别

    torch.set_grad_enabled(mode)和torch.no_grad()在PyTorch中都用于控制梯度计算，但它们在用法上有所不同。

torch.no_grad()

    torch.no_grad()是一个上下文管理器，用于禁用梯度计算，从而减少内存使用并加速计算。它在不需要计算梯度的场景中非常有用，例如在模型评估或推理时。当进入torch.no_grad()的上下文环境后，所有的计算都不会追踪梯度。

torch.set_grad_enabled(mode)

    torch.set_grad_enabled(mode)提供了更为灵活的控制，mode是一个布尔值，True表示启用梯度计算，False表示禁用梯度计算。与torch.no_grad()不同，torch.set_grad_enabled()允许你基于条件动态地启用或禁用梯度计算。这是通过调用函数并传入一个布尔值来实现的，也可以作为上下文管理器使用。

相同点和不同点

• 相同点：两者都可以用来禁用梯度计算，以节省计算资源和内存。
• 不同点：
  • torch.no_grad()仅用于禁用梯度计算的场景，使用方法更简洁直观。
  • torch.set_grad_enabled(mode)提供了更为灵活的控制，可以根据mode参数的值启用或禁用梯度计算。

示例

    假设你有一段代码，根据变量is_train来决定是进行训练还是评估：

is_train = True  # 或 False，根据实际情况设置 # 使用torch.set_grad_enabledwith torch.set_grad_enabled(is_train):    # 如果is_train为True，这里会计算梯度    # 如果is_train为False，这里不会计算梯度 # 使用torch.no_gradif not is_train:    with torch.no_grad():        # 这里不会计算梯度        passelse:    # 这里会计算梯度    pass

        在这个示例中，使用torch.set_grad_enabled可以更灵活地控制是否需要计算梯度，而torch.no_grad()则在确定不需要计算梯度的情况下使用更为方便。选择哪种方式取决于具体的需求和偏好。