我们经常会用到预训练模型,并在预训练模型的基础上添加额外层。训练时先将预训练层参数固定,只训练额外添加的部分。本文记录 Pytorch 相关操作。
tensor
的 requires_grad
属性设置为 False
仅将该属性设置为 False 网络仍会训练并修改参数,还需要堆 optimizer 的输入参数进行过滤
optimizer
中过滤需要更新的变量
Variable(torch.randn(5,5),requires_grad=True)
for p in self.parameters():
p.requires_grad=False
optimizer.SGD (filter(lambda p:p.requires_grad,model.parameters()), lr=1e-3)
class RESNET_attention(nn.Module):
def __init__(self, model, pretrained):
super(RESNET_attetnion, self).__init__()
self.resnet = model(pretrained)
for p in self.parameters():
p.requires_grad = False
self.f = nn.Conv2d(2048, 512, 1)
self.g = nn.Conv2d(2048, 512, 1)
self.h = nn.Conv2d(2048, 2048, 1)
self.softmax = nn.Softmax(-1)
self.gamma = nn.Parameter(torch.FloatTensor([0.0]))
self.avgpool = nn.AvgPool2d(7, stride=1)
self.resnet.fc = nn.Linear(2048, 10)
filter(lambda p: p.requires_grad, model.parameters()
。optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.0001, betas=(0.9, 0.999), eps=1e-08, weight_decay=1e-5)
for k,v in model.named_parameters():
if k!='XXX':
v.requires_grad=False #固定参数
for k,v in model.named_parameters():
if k!='xxx.weight' and k!='xxx.bias' :
print(v.requires_grad) #理想状态下,所有值都是False
for name, param in model.named_parameters():
if param.requires_grad:
print(name)
net = Model()
print('# Model parameters:', sum(param.numel() for param in net.parameters()))
optim.SGD([
{'params': model.base.parameters()},
{params': model.classifier.parameters(),'lr':1e-3)],
lr=1e-2, momentum=0.9)
这意味着 model.base 的参数将使用 1e-2 的默认学习率,model.classifier 的参数将使用 1e-3 的学习率,所有参数将使用 0.9 的动量。
input_B = output_A.detach()