pytorch对已有模型的更改（常用的操作）_pytorch修改模型参数

本文会做经常性的更改，如有错误或者其他补充的，请各位大佬不吝指点。

如图所示为我们的示例输出的网络结构。

引入创建的模型：

import torch
import simple_module
mod = simple_module.Module()

一、模型的保存与读取

1.整个模型的保存与读取

# 保存整个模型
torch.save(mod, '../parameters/mod.pth')
# 读取整个模型
mod_load = torch.load('../parameters/mod.pth')

2.模型参数的保存与读取（以字典方式保存和读取）

# # 保存模型的参数(以字典的方式保存)
torch.save(mod.state_dict(), '../parameters/mod_parameter.pth')
# 查看保存了哪些参数
print(mod.state_dict().keys())
print(mod.state_dict()['feature.0.0.bias'])
 
# 读取模型的参数(以字典的方式读取)
mod.load_state_dict(torch.load('../parameters/mod_parameter.pth'))

odict_keys(['feature.0.0.weight', 'feature.0.0.bias', 'feature.0.1.weight', 
'feature.0.1.bias', 'feature.0.1.running_mean', 'feature.0.1.running_var', 
'feature.0.1.num_batches_tracked', 'feature.1.0.weight', 'feature.1.0.bias', 
'feature.1.1.weight', 'feature.1.1.bias', 'feature.1.1.running_mean', 
'feature.1.1.running_var', 'feature.1.1.num_batches_tracked', 'classifier.1.weight',
'classifier.1.bias'])
tensor([-0.1721, -0.1222,  0.1023, -0.1484, -0.0547, -0.1922, -0.0796, -0.1784,
 
        -0.0233, -0.0271, -0.1018,  0.1875])

二、模型更改某一层

# 模型修改某一层
mod.classifier[1] = torch.nn.Linear(in_features=3072, out_features=20, bias=True)

三、模型删除某些层

# 删除某一层，可以将该层设置为空序列
mod.classifier[1] = torch.nn.Sequential()
 
# 可以采用切片的方式删除，这样删除更加彻底
mod.classifier = torch.nn.Sequential(*list(mod.classifier.children())[:-1])
 
# 或者直接删除
mod.classifier.__delattr__('1')

四、模型添加层（貌似只能在某一个块的末尾添加，后续再查找资料，有大佬可以指点一下）

# 模型添加层
mod.classifier.add_module(name='liner', module=torch.nn.Linear(in_features=3072, out_features=100, bias=True))

五、冻结某些层，使得训练时不进行参数更行

1.冻结某一层

# 冻结某一层
mod.feature[0][0].weight.requires_grad = False

2.冻结所有的参数

# 冻结所有的参数
for param in mod.parameters():
    param.requires_grad = False

3.冻结前面某部分的参数，可先将参数名称罗列出来，然后选择一部分的参数名称，利用参数的名称进行冻结。这种方式可以任意地冻结自己想要冻结的层。

no_grad = []
for name, value in mod.named_parameters():
    # print(name)
    no_grad.append(name)
no_grad = no_grad[:-4]
for name, value in mod.named_parameters():
    if name in no_grad:
        value.requires_grad = False
    else:
        value.requires_grad = True

 4.还有一种方式，就是只冻结前面几层

i = 0
for name, value in mod.named_parameters():
    value.requires_grad = False
    i = i + 1
    if i == 4:
        break;

或者

model_parameters = model.named_parameters()
for i in range(freeze):
    name, value = next(model_parameters)
    value.requires_grad = False

这是我目前想到的一个方法，还有其他方法的请大佬不吝指点。 

无论哪种方式，都是将对应层的weight的requires_grad设置为False。

5.最后还需要给优化器设置过滤器

# 定义一个fliter，只传入requires_grad=True的模型参数
optimizer = optim.SGD(filter(lambda p : p.requires_grad, mod.parameters()), lr=1e-2)