上一篇关于PyTorch学习教程的博客：看pytorch official tutorials的新收获（持续更新）
7 torchvision.utils
这里面就只有两个函数：
torchvision.utils.make_grid(tensor, nrow=8, padding=2, normalize=False, range=None, scale_each=False, pad_value=0)和
torchvision.utils.save_image(tensor, fp, nrow=8, padding=2, normalize=False, range=None, scale_each=False, pad_value=0, format=None)。
一个是显示图片制作网格，另一个是保存图片。通常显示图片会和下面这个show函数配合使用，就会自动显示一个batch的图片：
def show(img):
npimg = img.numpy()
plt.imshow(np.transpose(npimg, (1, 2, 0)), interpolation='nearest')
可以在这里看一下我的例子
8 torch.nn.MaxPool2d()
以前就知道这个就是一个最大池化的操作，今天看到有人用了ceil_mode的参数，就又看了官网，其实很好理解：
torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)
return_indices设置为True，意思就是也返回最大值的那个索引，在之后的torch.nn.MaxUnpool2d会很有用；
ceil_mode设置为True, 在计算输出形状的时候会使用ceil而不是floor，一般我们像之前卷积的时候都是默认向下取整，现在就是向上取整
计算公式如下（torch.nn.Conv2d()的计算也是这样的）：
9 torch.save()保存模型/torch.load()加载模型
下面这两点都称作Serialization操作。记得之前看pytorch里面有两种模型保存的模式：第一种是只保存模型的参数，之后加载的时候得先把模型的结构搭起来，然后把模型的值赋进去；第二种是不仅保存模型参数的值，也把模型的结构保存下来，这样显然会更占用空间一点。
<b><font size=4 color=green>上面第一种的写法（这是推荐的写法）：</font></b>
torch.save(the_model.state_dict(), PATH)
the_model = TheModelClass(*args, **kwargs)
the_model.load_state_dict(torch.load(PATH))
<b><font size=4 color=red>上面第二种的写法(因为这个方法受限于特定的类和目录结构，所以重构时可能会碰到很多问题，所以不建议)：</font></b>
torch.save(the_model, PATH)
the_model = torch.load(PATH)
model.state_dict()就是把模型的名字和值以字典的形式给出，而如果除了想保存模型的参数值之外，还想保存一下别的量，比如epoch数，准确度阿，都可以进行打包成字典，然后保存，举个例子：
state = {
'net': net.state_dict(),
'acc': acc,
'epoch': epoch,
}
torch.save(state, save_path)
这一块就是注意保存和加载的时候最好是同样的环境就不太会出错，出错网上都会有相应的解决办法，等自己遇错以后看看能不能再来补充一点。
10 权重初始化：nn.init
当我们进行自己模型搭建的时候，常常会考虑到参数初始化，有时候初始化对于训练确实很重要，这里就介绍一下权重初始化。主要要用到这个包from torch.nn import init，还有很多的子函数，列举几个常见的：
torch.nn.init.constant_(tensor, val)
torch.nn.init.xavier_normal_(tensor, gain=1.0)
torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')
其实在我们没有指定初始化方法的时候，pytorch自身也会使用默认的参数初始化方法：
比如可以通过源码看到Conv2d继承_ConvNd，在类 _ConvNd有定义下面的函数
def reset_parameters(self):
n = self.in_channels
init.kaiming_uniform_(self.weight, a=math.sqrt(5))
if self.bias is not None:
fan_in, _ = init._calculate_fan_in_and_fan_out(self.weight)
bound = 1 / math.sqrt(fan_in)
init.uniform_(self.bias, -bound, bound)
类似的nn.Linear和nn.BatchNorm2d都有自己的默认初始化函数，这里就不放了。主要是要实现自己的初始化可以这样写，根据不同的层类型，用不同的初始化方法，注意是调用tensor.data形式：
from torch.nn import init
def weigth_init(m):
if isinstance(m, nn.Conv2d):
init.xavier_uniform_(m.weight.data)
init.constant_(m.bias.data,0)
elif isinstance(m, nn.BatchNorm2d):
m.weight.data.fill_(1)
m.bias.data.zero_()
elif isinstance(m, nn.Linear):
m.weight.data.normal_(0,0.01)
m.bias.data.zero_()
#实例化自己搭建的模型，apply()为内建函数
model = Net()
model.apply(weigth_init)
