pytorch张量的保存和恢复
tensor本身就是对象 如果想要保存和恢复对应的对象 使用 torch.save 和 torch.load即可
就像picke的load 和dump一样
t2 = torch.randn([1024, 1024])
torch.save(t2, "t1.pth")
t2l = torch.load(t2, "t1.pth")
当然save和load 还涉及到具体的设备 比如在GPU上的变量被保存时应该怎么恢复到CPU上 存在这个问题
这需要使用torch.load 中的 map_location 参数
具体看这里 torch.load 的设备映射参数
pytorch中的nn.Module 和nn.Sequencal 扮演了什么角色
模型本质上是一堆的tensor组成的计算图。 nn.Module其实就是一个外壳 在文档中被称之为
Containers 把模型包括的一些作为参数的张量和张量之间的联系关系记录下来。之后可以一并返回给优化器。或者在保存的时候作为一个整体被保存到硬盘上。
对于nn.Module() 创建的对象是一个callable 对象本质上是一个 函数
net = MyModule() # MyModule() extends from nn.Module
output = net(input) # 其实调用给的是MyModule中的 forward()
pytorch模型的保存和恢复
最原始的方式是直接将Module整体 torch.save(nn.Module())
获取nn.Module 的state_dict 然后只使用torch.save保存state_dict 这样不保存模型结构 这样会比较省时间和空间 但是回复的时候 必须要有先创建之前的模型的结构 将使用torch.load() 载入的state_dict 载入到对应的 Module中即可 这种适用于训练过程中保存模型的需求
pytorch中的优化器相关
对于计算图中的每个tensor 可以从loss标量开始 使用loss.backward()计算出对应的每个tensor的 梯度 也就是 tensor.grad
创建一个优化器其时 传入的参数是 Module的 参数
# 将net1的参数传入到 SGD 优化器中
optimizer = torch.optim.SGD(net1.parameters(), lr=0.5)
# ....此处循环进行进行
optimizer.zero_grad() # 将优化器控制的网络参数的梯度清零
loss.backward() # 反向传播计算给每个对应的tensor生成梯度
optimizer.step() # step 就是根据learning rate 和backward 生成的参数 来更新tensor的值
pytorch中的损失函数
损失函数的调用举例
loss = nn.CrossEntropyLoss()
input = torch.randn(3, 5, requires_grad=True)
target = torch.empty(3, dtype=torch.long).random_(5)
output = loss(input, target)
output.backward()
从上面的例子中可以看到 nn.CrossEntropyLoss 这个类创建了对象以后直接把对象当做函数用 这样看起来有一点奇怪 但是实际上是 在python中函数本身就是实现了 __call__() 方法的对象 所以其实是 在nn.CrossEntropyLoss的类方法__call__()中实现了计算交叉熵的逻辑
pytorch中的内置函数
pytorch的内置函数 比如 nn.Relu() nn.Linear() 等 和上面的交叉熵类似 本质上是类 实际上可以看做是一个可以定制化的函数 可以把一些参数 在创建具体对象的时候就像构造偏函数一样传入部分参数 数据当做最终的参数传入
