本章主要是介绍 PyTorch，并通过构建简单的练习，来加深有关神经网络的理解。
本章是 Make Your First GAN With PyTorch 的第一章，其他介绍详见这篇文章。

我们当然可以使用 Python 和 numpy 库来创建简单但有效的神经网络。但是构建更大的网络任务艰巨，特别是是通过做微积分来找到网络中后向传播误差（back­propagated error）和权重(weights)之间的关系。而且网络中一点点的改变，就需要完全重做上述工作。

而使用 PyTorch 等深度学习框架，可以避免很多低水平的重复工作，转而更关注于网络的设计问题。不管想要什么类型、什么尺寸的网络， PyTorch 可以做所有的微积分；而且，即使改变网络的设计，PyTorch 可以自动计算出新的微积分，不需要再次手工计算梯度。

特别是，PyTorch 的语法和用法很接近普通的 Python，这降低了入门的难度。

PyTorch 是一个开源的 Python 机器学习库，最初由 Facebook 的人工智能研究团队开发。
除了 PyTorch 外，还有诸如 TensorFlow、Caffe 等其他开源框架。

1. Google Colab

Make Your First GAN With PyTorch 中主要是使用了 Google Colab 服务，通过在线的 Python notebook 在线运行我们的代码。Colab 完全通过浏览器接入，不需要在自己的电脑上安装任何软件。

这就是我说的蛋疼的地方，Make Your First GAN With PyTorch 为了简化再简化，直接使用了 Google Colab 来运行代码。而国内的同学基本不太可能使用这个服务.....
这里还是忠于原著，简单介绍 Google Colab 的使用方法。同时，后面的代码，亲测在自己电脑搭建的环境也可运行。

首先，登录 Google 账户后，通过下面的链接来激活 Google Colab 服务:

• https://colab.research.google.com

激活后可以在 File 目录，通过选择 New Python
3 notebook 来创建一个新的 notebook 文件，如下图所示：

可以看到一个空白的 Python notebook 文件：

在第一个 cell 里输入如下代码：

2 + 3

点击左侧的运行按钮，可以直接得到代码运行结果，也就是 5。

2. PyTorch 张量

使用 PyTorch 前，需要导入 torch 模块。

由于 Google Colab 服务已经基本预装了常见的库，这里只需要简单地导 入即可。

还是那句话，如果在本机或者其他平台运行 PyTorch，需要安装这些常见的库.....

在第一个 cell 中输入下面的语句并运行：

import torch

普通的 Python 使用 变量（variables） 存储数据，而 PyTorch 则使用一种独特的变量类型来存储数据，称之为 PyTorch 张量（tensors），下面是一个例子：

# 定义 PyTorch 张量（tensor）并输出
x = torch.tensor(3.5)
print(x)

代码是指创建了称为 x 的 PyTorch 张量，初始值为 3.5。运行结果为：

如图所示，输出显示数值为 3.5000，同时也表明这个值包含于一个 PyTorch 张量 （tensor） 中。

张量也可以进行一般的算术运算，运算结果也同样为张量。

3. PyTorch 的自动求导

下面的代码同样创建了一个称为 x 的张量，但是这次增加了一个附加选项 requires_grad = True：

# PyTorch 张量
x = torch.tensor(3.5, requires_grad = True)
print(x)

输出结果为：

tensor(3.5000, requires_grad=True

可以看到 x 包括了值为 True 的 requres_grad 的选项。使用 x 创建一个新变量 y，表达式如下所示：

# 定义 y 是 x 的一个函数
y = (x - 1) * (x - 2) * (x - 3)
print(y)

运行可得 y 的取值：

tensor(1.8750, grad_fn=<MulBackward0>)

正如预料，y 的值为 1.8750，这是因为 x 是 3.5，所以 (3.5 − 1) ∗ (3.5 − 2) ∗ (3.5 − 3) 为 1.8750。

下图是刚刚计算的 的曲线图：

上述例子看起来简单，但实际上 PyTorch 做了一些隐性的工作：除了计算了 1.8750 的值，并将其放入一个名为 y 的张量中，PyTorch 实际上还记住了数学定义。

PyTorch 记住数学定义，意味着在训练神经网络时，可以方便的使用微积分获得误差梯度，进而随着网络权重的改变，决定输出误差的改变率。

下面计算 处 y 的梯度（），说明 PyTorch 是如何计算梯度的：

# 使用 PyTorch 直接计算梯度（导数）
y.backward()

这个简单的命令就完成了一切：明确了 y 是来自于 ，并且自动计算出梯度 是 。该命令也计算出了梯度的数值，由于x 为 3.5，所以梯度值为 ，并将其放在了张量 x 中，可以使用 x.grad 查看张量 x 中的梯度值：

# x = 3.5 处的梯度值
x.grad

运算结果如下所示：

张量是 PyTorch 中数据的基本形式，几乎其他的所有特性都需要张量作为基础，比一般的 Python 变量或者 numpy 数组更加丰富，张量可以是多维数组、简单的二维阵列或一维列表，甚至单独一个值，而且：

• 比简单的数值更多的附加信息，比如梯度值；
• 这个张量依赖的其他张量的信息，和具体依赖的数学形式。

4. 计算图

4.1 计算图基本概念

观察下面非常简单的网络，它并不是神经网络，而只是一系列计算：

图中的输入是 x，输出为 z，中间变量为 y。y 和 z 的计算公式为：

使用 链式法则（chain rule of calculus） 计算 ：

上图给出计算获得输出 z 随着 x 变化率是 ，所以，如果 ，则 为 。

PyTorch 中描述这些张量如何连接的图片称为计算图(computation graph)。这个例子中的计算图为：

上图可以看到 y 是如何使用 x 计算的，z 是如何使用 y 计算的。另外，PyTorch 还增加了反向箭头，显示出当 x 变化时 y 是如何变化，当 y 变化时 z 是如何变化，这是为了在训练时更新神经网络的梯度。

上图中，更简单的理解，我认为正向箭头是变量的计算公式，反向箭头代表了导数/变化率，也就是前一个向量变化时，后一个向量如何变化。

微积分由 PyTorch 完成，不需要我们计算。将计算图的正向箭头列入到 PyTorch 定义中：

# 使用 x, y, z 设置一个简单的计算图
x = torch.tensor(3.5, requires_grad = True)
y = x * x
z = 2 * y + 3

PyTorch 只构建正向的计算图。为了获取后向梯度，需要使用 backward() 函数进行计算:

# 计算梯度值
z.backward()

更前面一样，梯度 将会放入张量 x 中，作为 x.grad：

# x = 3.5 处的梯度值
x.grad

运行结果如下图：

可以看到结果是 14，与手动计算结果一致！

需要注意的是，由于前面是 z.backward()，所以 x.grad 是 ，而不是 。

4.2 多节点的计算图示例

绝大多数神经网络中有多重链接，下面可以看一个稍微复杂的例子：

输入有两个，分别为 a 和 b，输出为 z，这些节点的关系为：

可以计算梯度：

将这些信息添加到计算图上：

通过下面路径可以很简单的计算出从 z 到 a 的梯度 。实际上， 有两条路径，一条通过 ，另一条则通过 ，将这两条路径的表达式分别相加（下图用不同颜色标出），可以得到梯度值。

通过 x 的第一条路的结果是，通过 y 的第二条路是 ，所以 z 关于a 的梯度是 ，当a 为2 时， 为 。

下面使用 PyTorch 计算，首先设定计算图中的关系：

# 设置 x, y, z 的关系
a = torch.tensor(2.0, requires_grad = True)
b = torch.tensor(1.0, requires_grad = True)

x = 2 * a + 3 * b
y = 5 * a * a + 3 * b * b * b
z = 2 * x + 3 * y

然后触发梯度计算，并将其值放入张量 a 中：

# 计算梯度值
z.backward()

# a = 2.0 处的梯度值
a.grad

PyTorch 计算的结果见下图：

计算结果正确。

4.3 计算图的有关讨论

上面并没有讲清楚如何将网络和更新内部的权重与 误差(error) 构建关系，下面就探讨这个。

如果和4.1 节中的简单网络类似，网络的输出为 z，且正确的输出应该是 t，此时误差 E 为 ，或者更一般的是 。将误差 E 看做网络末端的另一个节点（而不是 z），所以 是从 z 向 E 的计算。PyTorch 能够计算出新的输出 E 与网络输入相关的梯度。

对于网络的权重 ，假设权重也是节点，就如下图：

上图中，z 既依赖于变量 y ，也依赖于权重 ，也就是整个关系可以表示为 ，与神经网络类似。

可以看到 可以与 使用一样的方法计算。举例而言，就像前面一 样，可以通过遵循从 z 到 的反向路径，来确定 。

5. 总结

本章主要围绕如何计算梯度开展，介绍了 PyTorch 中的张量和计算图。理论内容到此为止，下章开始就要实际构建网络。

PyTorch 的关键特性是能够对定义的函数自动计算 梯度(gradients)。计 算梯度是训练神经网络的基础，为了完成这项工作，PyTorch 构建了 计算图(computation graph) 来表示张量之间的关系。

可以代码中方便的定义张量之间的关系，也就是计算图的表示。