Excluding subgraphs from backward（反向排除子图）
每个张量都有一个标志：requires_grad，允许从梯度计算中细致地排除子图，并可以提高效率。
requires_grad
只要有单个输入进行梯度计算操作，则其输出也需要梯度计算。相反，只有当所有输入都不需要计算梯度时，输出才不需要梯度计算。如果其中所有的张量都不需要进行梯度计算，后向计算不会在子图中执行。
# requires_grad=False by default.
>>> z = torch.randn((5, 5), requires_grad=True)
当你想要冻结部分模型或者事先知道不会使用某些参数的梯度时，这个requires_grad标志非常有用。例如，如果要微调预训练的CNN，只需在冻结的基础中切换requires_grad标志就够了，并且直到计算到达最后一层，才会保存中间缓冲区，，其中仿射变换将使用所需要梯度的权重 ，网络的输出也需要它们。
model = torchvision.models.resnet18(pretrained=True)
for param in model.parameters():
param.requires_grad = False
# Replace the last fully-connected layer
# Parameters of newly constructed modules have requires_grad=True by default
model.fc = nn.Linear(512, 100)
# Optimize only the classifier
optimizer = optim.SGD(model.fc.parameters(), lr=1e-2, momentum=0.9)
自动求导是如何记录编码历史的
自动求导是反向自动分化系统。从概念上讲，自动求导会记录一个图形，记录在执行操作时创建数据的所有操作，为您提供有向无环图，其叶子是输入张量，根节点是输出张量。通过从根到叶跟踪此图，您可以使用链法则自动计算梯度。
在内部，autograd将此图表示为Function对象（实际表达式）的图形，可以用来计算评估图形的结果。 当计算前向传播时，自动求导同时执行所请求的计算并建立表示计算梯度的函数的图形（每个torch.Tensor的.grad_fn属性是该图的入口点）。当前向传播完成时，我们在后向传播中评估该图以计算梯度。
需要注意的一点是，在每次迭代时都会从头开始重新创建计算图，这正是允许使用任意Python控制流语句的原因，它可以在每次迭代时更改图形的整体形状和大小。 在开始训练之前，不必编码所有可能的路径 - 您运行的是您所区分的部分(what you run is what you differentiate.)。
Comment: 动态图
使用autograd进行in-place操作
在autograd中支持in-place操作是一件很难的事情，大多数情况下，我们不鼓励使用它们。Autograd积极的缓冲区释放和重用使其非常高效，实际上在in-place操作会大幅降低内存使用量的情况也非常少。除非在巨大的内存压力下运行，否则你可能永远不需要使用它们。
限制in-place操作适用性的主要原因有两个：
- 这个操作可能会覆盖梯度计算所需的值。
- 实际上，每个
in-place操作需要重写计算图。out-of-place版本只是分配新对象并保留对旧图的引用，而in-place操作则需要将所有输入的creator更改为表示此操作的Function。这就比较麻烦，特别是如果有许多变量引用同一存储（例如通过索引或转置创建的），并且如果被修改输入的存储被任何其他张量引用，这样的话，in-place函数会抛出错误。
Comment: 使用relu时，常见做法：nn.ReLU(inplace=True) 。在forward()中经常使用x=self.conv1(x)达到in-place操作，可以减少GPU占用。但是不要使用+=,-=等in-place操作，会引发错误。
In-place正确性检查
每一个张量都有一个版本计算器，每次在任何操作中标记都会递增。 当Function保存任何用于后向传播的张量时，也会保存包含张量的版本计数器。一旦访问self.saved_tensors后，它将被检查，如果它大于保存的值，则会引发错误。这可以确保如果您使用in-place函数而没有看到任何错误，则可以确保计算出的梯度是正确的。
