1.
torch.save(model,path)
model = torch.load(path)
虽然是保存了完整模型的结构和参数，但是调用的时候还是会寻找依赖模型源码文件。
2.
model = Model()
torch.save(model.state_dict(),path)
state_dict = torch.load(state_dict_path)
model = model.load_state_dict(state_dict)
只保存了模型每一层的参数，节省了存储空间。
３.torch.jit
jit just-in-time即时编译
TorchScript = torch.jit.trace(model, example_inputs,)
torch.jit.save(TorchScript,path) or
TorchScript.save(path)
把torch模型的转成torchscript脚本保存，需要调用torch.jit.trace
不能直接保存模型，需要提供一个输入样例，跟踪记录对这个样例的操作，把python的代码转成torchscript的脚本。
踩坑点：
（1）在这个过程中，只能跟踪模型中forward的部分，(跟踪其他函数需要使用torch.jit.trace_module()待尝试)
（2）并且如果forward中有if else分支，只会保留操作当前样例的一个分支，例如在训练时需要计算loss，而在预测的时候不用计算loss。
如果代码中有if条件控制，尽量避免使用torch.jit.trace来转换代码，因为它不能处理变化条件，如果非要用trace的话，可以把if条件控制改成别的形式，比如：
def f(x):
if x > 0:
return False
else:
return True
可以改成:
def f(x):
return x <= 0
（3）并且要求forward的输入输出都是tensor或tuple(tensor)的形式。
（4）静态模型，向量的维度（batch_size）不能改变，暂时设定batch_size为1，影响速度。
（5）jit不能转换第三方Python库中的函数，尽量所有代码都使用pytorch实现，如果速度不理想的话，可以参考PyTorch官网的用C++自定义TorchScript算子的教程，用C++实现需要的功能，然后注册成jit操作，最后转成torchscript。
（6）尽量不要包含中文注释
函数的默认参数如果不是tensor的话，需要指定类型；
（7） list中元素默认为tensor，如果不是，也要指定类型；
（8）tensor.bool()操作不支持，可以直接用tensor>0来替代；
（9）不支持with语句；
（10） 不支持花式赋值，比如下面这种：
（11） 如果在model的forward函数中调用了另一个model0，需要先在model的构造函数中将model0设为model的子模型；
（12） 在TorchScript中，有一种Optional类型，举例：在一个函数中，如果可以通过if控制来返回None或者tensor，那么这个返回值会被认定为Optional[Tensor]，这会导致无法对该返回值使用tensor的内置方法或属性，比如tensor.shape,tensor.size()等；
（13）TorchScript中对tensor类型的要求严格得多，比如torch.tensor(1.0)这个变量会被默认为doubletensor，可能会在计算中出现错误；
（14）TorchScript中带有梯度的零维张量无法当做标量进行计算，这个问题可能会在使用C++自定义TorchScript算子时遇到。
4. onnx
总体流程
import onnx
import torch
import torchvision
dummy_input = torch.randn(10, 3, 224, 224, device='cuda')
model = torchvision.models.alexnet(pretrained=True).cuda()
torch.onnx.export(model, dummy_input, "alexnet.onnx", verbose=True)
# Load the ONNX model
model = onnx.load("alexnet.onnx")
# Check that the IR is well formed
onnx.checker.check_model(model)
# Print a human readable representation of the graph
onnx.helper.printable_graph(model.graph)
保存模型函数参数
torch.onnx.export(model, #需要输出的模型
args, #模型输入的样例tensor or tuple(tensor)
f, #保存模型的地址
export_params=True,
verbose=False,
training=<TrainingMode.EVAL: 0>,
input_names=None, #定义输入层的参数的名称
output_names=None, #定义输出层的参数的名称
aten=False, export_raw_ir=False, operator_export_type=None,
opset_version=None, #opset_version=13, 操作集合的版本，高版本支持更多的python操作
_retain_param_name=True, do_constant_folding=True, example_outputs=None, strip_doc_string=True,
dynamic_axes=None, #可以动态调整的变量维度
keep_initializers_as_inputs=None, custom_opsets=None, enable_onnx_checker=True, use_external_data_format=False)
不好用，很多torch操作不支持，报错没有指出具体不支持操作的代码位置，不方便debug。
参考博客
TorchScript使用的注意事项和常见错误https://zhuanlan.zhihu.com/p/96397421
【Pytorch部署】TorchScripthttps://zhuanlan.zhihu.com/p/135911580
PyTorch 源码解读之即时编译篇https://bbs.cvmart.net/articles/4576
PyTorch JIT Source Code Read Notehttps://zasdfgbnm.github.io/2018/09/20/PyTorch-JIT-Source-Code-Read-Note/
pytorch_onnxhttps://pytorch.org/docs/stable/onnx.html
