pytorch 固化模型，只用原始模型中的部分有用参数

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation
梯度计算所需的变量之一已通过就地操作进行了修改
什么是inplace？什么是not inplace？

x = x + 1 # not inplace
x += 1 # inplace

解决方法：原文

想要完成的一项任务：在pytorch框架下先训练一个模型A，然后固化A模型，取A模型中的部分有用参数来作为B模型的参数，并且这些参数不再反向调参，即在用B模型对A模型进行微调优化操作。

1.模型的保存

dir = os.getcwd()+"/save_models"
if(it%50==0):
    torch.save(model.state_dict(), os.path.join(dir,"tucker_"+str(it)+"_weight_gpu.pth"))

2.模型的加载

dir = os.getcwd()+"/save_models"
PATH = os.path.join(dir,"tucker_"+str(it)+"_weight_gpu.pth")
model = TheModelClass(*args, **kwargs)###此处是自己的模型
model.load_state_dict(torch.load(PATH))
model.eval()

3.获取加载模型后，只想去取某一层特定参数

# define the model
model = TheModelClass(*args, **kwargs)###此处是自己的模型
for k, v in model.named_parameters():
    print(k, v.size())
#===================================#

###加载以前训练好的模型的参数名
pretrained_dict = torch.load(PATH)
###加载当前改动后的模型的参数名
model_current_dict = model.state_dict()
###筛选出某些当前模型保留的特定参数，去除一些不需要的参数
pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_current_dict}
###更新需要load进来的预训练参数
model_current_dict.update(pretrained_dict)
###加载
pretrained_state = model.load_state_dict(model_current_dict)

4.固化预训练好的实体向量/关系向量

##方法一：
##这种方法是从文件中将实体/关系向量加载进来
self.word_embeds = nn.Embedding(vocab_size, embedding_dim)
pretrained_weight = np.array(pretrained_weight)
self.embed.weight.data.copy_(torch.from_numpy(pretrained_weight))

##方法二：
##这种方法通过加载预训练的模型，然后将新模型中对应的参数设置为.weight.requires_grad=False
self.E = torch.nn.Embedding(len(d.entities), d1, padding_idx=0)
self.R = torch.nn.Embedding(len(d.relations), d2, padding_idx=0)
self.W = torch.nn.Parameter(torch.tensor(np.random.uniform(-1, 1, (d2, d1, d1)),
                                                 dtype=torch.float, requires_grad=True))
##设置不能反向调参
self.E.weight.requires_grad = False
self.R.weight.requires_grad = False

参考的文章
【1】pytorch 模型加载与保存
【2】pytorch中的pre-train函数模型引用及修改（增减网络层，修改某层参数等）
【3】PyTorch加载预训练模型

最后编辑于：2019.11.21 20:07:03