小总结

1. 激活函数。可以在__init__()里实例化nn.下的激活函数计算节点，也可以直接在forward()中使用nn.functional.下的函数

2. 对模型的参数设定初始化。在__init__()中实例化某计算节点后，对其参数初始化。

import torch.nn.init as init
def __init__():
    ···
    #从高斯分布中抽样
    init.normal(.weight, mean= ,std= )

3. 按照神经网络的类别做不同的参数初始化

def Model(nn.Module):
    ···
model = Module()
model.apply(···)

4. dropout加入的位置是在relu激活函数之后，下一层全连接层之前。可以实例化用nn.Dropout()节点，也可以用F.dropout()。