最近在看代码的过程中，需要知道错误是怎么样被反向传播回去的。所以查阅了一些相关资料，在此分享。

  optimizer.zero_grad() # 将一批训练集输入之前的梯度初始化为0
  outputs = net(inputs)   # 针对神经网络的输入和输出
  loss = criterion(outputs, labels) # 运用某种标准去衡量误差
  loss.backward() # 计算反向传播的梯度
  optimizer.step() #  根据梯度进行更新

其中有个问题是为什么在每个batch之前将参数的梯度设置为0呢？
因为当使用backward()进行反向传播的时候，梯度是被累积的而不是被替换掉的；但是在每一个batch的时候不需要将两个batch的梯度混合起来累积，因此这里就需要每个batch设置为一遍zero_grad了。

在代码阅读的过程中还出现了retain_graph 参数的说明，在此进行总结。

def backward(self, retain_graph=True):
    self.loss.backward(retain_graph=retain_graph)
    return self.loss

官方的解释为：

retain_graph (bool, optional) – 
If False, the graph used to compute the grad will be freed(释放）. Note that in nearly all
cases setting this option to True is not needed and often can be worked around 
in a much more efficient way. Defaults to the value of create_graph.

大致的意思是通常是被设置为False，即计算图进行反向传播之后用来计算的中间变量（比如中间层的神经元上的参数）会被释放。但是在平时的使用中这个参数默认都为False，从而会被释放来提高效率，和create_graph一样。

这个指令其实平时使用的机会比较少，会出现问题的情况是在于对两个输出(loss)进行backward的时候会出现问题，错误如下图所示。

第二次backward出错图.png

因此，我们需要在第一次进行backward时要加入retain_graph=True以保证第一次backward之后中间变量不被释放，两者之间的backward()不会影响。
（中间变量被保存了，但是它们的值在不同的loss.backward()中是不一样的，如果不用retain_graph=True的话，那么中间变量也不存在了，当第二次去使用loss.backward()之后，就找不到中间变量了。（计算图中少了一些变量））
形式化来说，当我们用一个模型但是有多个loss时，需要如下进行迭代。

# 假如针对一个模型有两个Loss，先执行第一个的backward，再执行第二个backward
loss1.backward(retain_graph=True)
loss2.backward()  # 执行完这个后，所有中间变量都会被释放，以便下一次的循环
optimizer.step()  # 更新参数

在上述的过程中，我还遇到了detach函数的使用，这个函数一般跟在一个变量后面，如

self.target = target.detach() * weight

在这里，是因为只需要target这个数值，这个数值是一种状态，不计入计算树种。
因此，这里只是单纯地将其当作常量来对待，因此使用了detach，则在backward中计算梯度时不对target之前所在的计算图存在任何影响。