本次总结，按照收获分为三部分。
感悟：关于模型定义方式，其实常用就就两种：Sequential和List，前面一种简单且不需要forward定顺序但是不灵活，没办法中间修改；List就是__init__定义，forward中定传播顺序，很灵活但是要搞两遍。
因此，可以将不会进行修改而且重复的部分，用Sequential形式做成模块（下面Unet中有），然后其他部分还用List模式，至少啊，下面预训练模型最终修改fc层由于是List的就很好改
1 熟悉pytorch中三种定义模型方式
1.1 Sequential
这种方法比较常用，尤其是在简单基础模型中，优点是不用写forward，因为顺序已经定义好了（竟然是因为这个，之前不知道）。缺点是不灵活，比如不容易在外部输入加入（说实话，这一点我暂时还没理解，等遇到时候再回来补充）
1.2 ModuleList
如果说Sequential最大特点就是因为已有顺序不用写forward，那么List就恰恰相反，定义时候毫无顺序，必须在forward时候定义
1.3 ModuleDict
1.4 适用场景
Sequential适用于快速验证结果，因为已经明确了要用哪些层，直接写一下就好了，不需要同时写__init__和forward；
ModuleList和ModuleDict在某个完全相同的层需要重复出现多次时，非常方便实现，可以”一行顶多行“；
当我们需要之前层的信息的时候，比如 ResNets 中的残差计算，当前层的结果需要和之前层中的结果进行融合，一般使用 ModuleList/ModuleDict 比较方便
2 读懂github上千奇百怪写法
2.1 即插即用——模块（例子-Unet）
上面提到Sequential适合搭积木逐行做，但是实际搭建网络中会有非常多的重复，就需要做成“模块”，下面就以U-net为例，将简单层构建成具有特定功能的模型块
组成U-Net的模型块主要有如下几个部分：
1）每个子块内部的两次卷积（Double Convolution）
2）左侧模型块之间的下采样连接，即最大池化（Max pooling）
3）右侧模型块之间的上采样连接（Up sampling）
4）输出层的处理
除模型块外，还有模型块之间的横向连接，输入和U-Net底部的连接等计算，这些单独的操作可以通过forward函数来实现。
下面我们用PyTorch先实现上述的模型块，然后再利用定义好的模型块构建U-Net模型。
2.2 修改模型若干层
这里主要是以torchvision预定义的ResNet50为例，也就是怎样处理预训练模型，基本需求集中在修改分类层上
（1）先看模型定义
如图，如果想修改Sequential组装形成的层，也就是layer1，那就需要整体重写了，但是如果修改fc层，因为是单独的，容易修改
（2）对单独的层重新定义
这样就把模型（net）最后名称为“fc”的层替换成了名称为“classifier”的结构，该结构是我们自己定义的。这里使用了第一节介绍的Sequential+OrderedDict的模型定义方式。至此，我们就完成了模型的修改，现在的模型就可以去做10分类任务了
2.3 添加额外输入
这个很实用，比如原来网络只有CNN特征，现在需要在倒数第二层加上一组变量，那么就如下操作
这样真的太棒了，我能直接应用一下，在add_var中就是每张图像对应的额外特征值
2.4 添加额外输出
参照上面修改输入，增加输出相对简单一些
3 根据需要选取模型
这部分其实很实用，因为如果想手动调整学习率，或者想对比那次对于训练集和测试集的准确率有比较好的平衡，然后选取对应的参数
实际中使用pth保存所有权重就行，大部分人应该都是单卡单机
