From 60 Minute Blitz
这一节学习Pytorch求梯度。

Variable

autograd.Variable是核心包，打包一个张量，定义几乎所有的张量操作。计算完后，调用.backward()可以自动求导.
用.data属性可以查看张量，.grad查看导数。

Variable

另一个重要且可以自动计算导数的实现函数是Function
Variable和Function相互配合，组成一个无向图，用于编码一次计算。每个变量有一个.creator属性,用于记录参考函数（用户创造的变量除外）。
计算导数调用.backward()。如果它是标量，则不需要指定backward(),但需要额外指定grad_output，用于匹配张量的形状。

from torch.autograd import Variable
x = Variable(torch.ones(2,2), requires_grad=True)
print x

Variable containing:
 1  1
 1  1
[torch.FloatTensor of size 2x2]

y = x + 2
print y

Variable containing:
 3  3
 3  3
[torch.FloatTensor of size 2x2]

print y.grad_fn

<torch.autograd._functions.basic_ops.AddConstant object at 0x7f4910ac7220>

>>> z = y * y * 3
>>> out = z.mean()
>>> print (z,out)
(Variable containing:
 27  27
 27  27
[torch.FloatTensor of size 2x2]
, Variable containing:
 27
[torch.FloatTensor of size 1]
)

这个求导也很简单，
[图片上传失败...(image-90e567-1512569250845)]
[图片上传失败...(image-654be4-1512569250845)]^2)
[图片上传失败...(image-ac2257-1512569250845)]

梯度

使用out.backward()和out.backward(torch.Tensor([1.0]))等价

out.backward()
print x.grad

Variable containing:
 4.5000  4.5000
 4.5000  4.5000
[torch.FloatTensor of size 2x2]

x = torch.randn(3)
x = Variable(x, requires_grad=True)
y = x * 2
while y.data.norm() < 1000:
     y = y * 2

print x 
print y

Variable containing:
 0.2498
-0.2275
-0.0349
[torch.FloatTensor of size 3]

Variable containing:
 1023.3572
 -931.9229
 -142.9044
[torch.FloatTensor of size 3]

输出 x.grad()

gradient = torch.FloatTensor([0.1, 1., 0.0001])
y.backward(gradient)
print x.grad

Variable containing:
  409.6000
 4096.0000
    0.4096
[torch.FloatTensor of size 3]