1. nn.init.xavier_uniform_(tensor: Tensor, gain:float =1.) -> Tensor: Glorot initialization，深度神经网络权重初始化（weight initialization）的方法之一，权重的初始化对模型的收敛速度和性能有重要影响。
初始化为0的方法对于线性回归，逻辑斯蒂回归有较好的性能，但是对于神经网络，每一层神经元学到的东西都一样（y = h(w*x + b), 当w=0时，y = b），所以不适用；
随机初始化(random initialization)，Xavier Glorot、Yoshua Bengio在论文中提到：“We find that the logistic sigmoid activation is unsuited for deep networks with random initialization because of its mean value, which can drive especially the top hidden layer into saturation.”，逻辑斯蒂sigmoid激活函数不适合于带随机初始化的深度网络，因为sigmoid函数的均值会导致特别是使得高级隐藏层陷入饱和状态（激活函数饱和表示激活函数的导数接近为0，请参考https://zhuanlan.zhihu.com/p/355377742）,激活函数输出值接近于0会导致梯度非常接近于0，会导致梯度消失；
而Glorot初始化为了解决随机初始化的问题提出来的另一种初始化方法，其思想就是尽可能的让输入和输出服从相同的分布，即保持输入和输出的方差一致（https://zhuanlan.zhihu.com/p/133190518），在torch的实现中，张量值（激活函数的值）的分布:U( − a, a)，其中a = gain × √((6)/( fan_in + fan_out)),gaini为一个可选择的比例因子，fan_in本层的输入单元数，fan_out是本层的输出单元数。论文中的公式为：
Glorot initialization对于tanh效果好而ReLU效果不理想，凯明大神提出了针对ReLU的初始化方法：He initialization.
2. torch.tensor.size与torch.tensor.shape: torch.tensor.size得到张量某一维度的大小，返回类型为int, 而torch.tensor.shape得到某一维度、部分维度或者所有维度的大小，返回类型为torch.Size：
例如：
a = torch.tensor([[1,2,3], [4,5,6]])
print("a.size(0):")
print(a.size(0))
print("a.size()[0]:")
print(a.size()[0])
print("a.size(01):")
print(a.size(1))
print("type(a.size(1)):")
print(type(a.size(1)))
print("a.size()[1]:")
print(a.size()[1])
结果：
a.size(0):
2
a.size()[0]:
2
a.size(01):
3
type(a.size(1):
<class 'int'>
a.size()[1]:
3
---
print("a.shape[0:]:")
print(a.shape[0:])
print("a.shape[1:]:")
print(a.shape[1:])
print("type(a.shape[1:]):")
print(type(a.shape[1:]))
结果：
a.shape[0:]:
torch.Size([2, 3])
a.shape[1:]:
torch.Size([3])
type(a.shape[1:]):
<class 'torch.Size'>
3. torch.optim.Adam：Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利⽤梯度的⼀阶矩估计和⼆阶矩估计动态调整每个参数的学习率。它的优点主要在于经过偏置校正后，每⼀次迭代学习率都有个确定范围，使得参数⽐较平稳。
梯度下降的问题：1）. 很难选择出合适的学习率，太小网络收敛过于缓慢，太大可能会影响收敛，并导致损失函数在最小值上波动；2）. 相同的学习率不适用于所有的参数更新；3）.最小化非凸误差函数时，鞍点通常被相同误差值的平面所包围，这使得SGD算法很难脱离出来，因为梯度在所有维度上接近于零。
梯度下降+动量（Momentum）：通过优化相关方向的训练和弱化无关方向的振荡，来加速SGD训练。在累计梯度过程中：震荡方向上的梯度在累加过程中相互抵消，而梯度小的方向一直累加逐渐增大。
Adagrad: 通过参数来调整合适的学习率η，对稀疏参数进行大幅更新和对频繁参数进行小幅更新。因此，Adagrad方法非常适合处理稀疏数据。通过累计平方梯度，使得震荡方向上的步长很小，梯度小的方向步长增大。
梯度下降+动量和Adagrad分别通过改变梯度与步长的方法，解决马鞍震荡问题而改道走马鞍中间的道路下去。但是一但找到合适的路时，Adagrad步长会越来越小，模型学习就会缓慢 ，因为Adagrad是累计平方梯度，rk会记住之前所有走过的路，所以在更新参数时，分母越来越大，导致步长越来越小，此时就失去了调节作用。
RMSProp: 使用了累计平方梯度的滑动平均，RMSProp修改了Adagrad，让方法不那么激进。衰减系数ρ是一个超参数，常用[0.9,0.99,0.999]。在累计平方梯度步骤中，累计平方梯度r乘以小于1的ρ之后，就会衰减（忘掉之前走过的路），步长就不会衰减的太快。
Adam：计算累计梯度使用了梯度下降+动量的方法，累计平方梯度使用了RMSProp的方法。同时又对累计梯度和累计平方梯度做了修正，避免了冷启动问题。冷启动是刚开始学习的时候，梯度，步长都很小，不利于算法学习，需要先大后小。
经过修正（距估计）v1, r1变大。
