一，基础介绍
在前面的内容中，所有的包括函数、各种层的封装都是我们自己手动码出来的，在实际的工程应用中，其实有很多东西是可以重复利用的，所以有些大佬就将其封装了起来，方便使用
深度学习框架的主要功能有以下方面：
- 提供了一组API和工具，可以方便地定义和配置神经网络模型的结构和参数，例如层、激活函数、优化器等。
- 提供了计算引擎，可以执行神经网络模型的前向传播和反向传播算法，并进行梯度计算和参数更新，从而实现模型的训练和优化
- 提供了数据管理和预处理工具，可以加载和处理训练数据和测试数据，并进行数据增强和批量处理等操作，从而提高模型的鲁棒性和泛化性能。
- 支持在多个GPU或分布式系统上进行高效的并行计算和训练，从而加速模型的训练和优化过程。
- 也支持将训练好的模型部署到不同的硬件平台上，并进行推理和预测，从而实现模型的应用。
常用的学习框架主要有:
- TensorFlow：是Google Brain团队基于Google在2011年开发的深度学习基础架构DistBelief构建的
- MXNet：亚马逊首席科学家李沐带领团队开发的深度学习框架
- Pytorch：是一个Python优先的深度学习框架，能够在强大的GPU加速基础上实现张量和动态神经网络
- PaddlePaddle（飞桨）：百度自主研发、功能完备、开源开放的产业级深度学习平台
通常学习一个框架即可，换框架就查一查知道怎么改API就行，此文主要说Pytorch
二，Pytorch基础（引用知乎）
2.1 Tensor
就如同在numpy里面有np.array这样的数组结构，在Pytorch里面也有，叫作tensor
代码操作见下：
import torch #导入pytorch
x = torch.tensor([5.5, 3])
print(x)
# 对tensor进行操作
y = x + 2
print(y)
输出为
2.2 GPU加速
GPU的并行计算能力使得其。PyTorch提供了简单易用的API，让我们可以很容易地在CPU和GPU之间切换计算。
代码如下：
import torch
# 检查是否有可用的GPU
if torch.cuda.is_available():
print("There is a GPU available.")
else:
print("There is no GPU available.")
# 可以把数据放到GPU上
x = x.to('cuda') #已有的数组x移到GPU
x = torch.tensor([1.0, 2.0], device='cuda') #直接在GPU上创建
2.3 自动求导
使用梯度下降法的时候，需要计算梯度，在Pytorch中非常简单，先通过tensor.requires_grad=True表示要计算此张量的梯度，然后再调用.backward()方法，来计算和存储梯度，最后可通过.grad来访问
import torch
# 创建一个tensor并设置requires_grad=True来追踪其计算历史
x = torch.ones(2, 2, requires_grad=True)
#... 省略计算操作
# 使用.backward()来进行反向传播，计算梯度
out.backward()
# 输出梯度d(out)/dx
print(x.grad)
三，Pytorch神经网络
3.1 构建神经网络
PyTorch提供了torch.nn库，用于构建神经网络的工具库。torch.nn库依赖于autograd库来定义和计算梯度。nn.Module包含了神经网络的层以及返回输出的forward(input)方法。
import torch
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
# 输入图像channel：1，输出channel：6，5x5卷积核
self.conv1 = nn.Conv2d(1, 6, 5)
self.conv2 = nn.Conv2d(6, 16, 5)
# 全连接层
self.fc1 = nn.Linear(16 * 5 * 5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
def forward(self, x):
# 使用2x2窗口进行最大池化
x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
# 如果窗口是方的，只需要指定一个维度
x = F.max_pool2d(F.relu(self.conv2(x)), 2)
x = x.view(-1, self.num_flat_features(x))
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
def num_flat_features(self, x):
size = x.size()[1:] # 获取除了batch维度之外的其他维度
num_features = 1
for s in size:
num_features *= s
return num_features
net = Net()
print(net)
首先定义了一个Net类，这个类继承自nn.Module。然后在init方法中定义了网络的结构，在forward方法中定义了数据的流向
3.2 自定义数据集
自定义数据集需要继承Dataset类，并实现len和getitem两个方法。
from torch.utils.data import Dataset, DataLoader
class MyDataset(Dataset):
def __init__(self, x_tensor, y_tensor):
self.x = x_tensor
self.y = y_tensor
def __getitem__(self, index):
return (self.x[index], self.y[index])
def __len__(self):
return len(self.x)
x = torch.arange(10)
y = torch.arange(10) + 1
my_dataset = MyDataset(x, y)
loader = DataLoader(my_dataset, batch_size=4, shuffle=True, num_workers=0)
for x, y in loader:
print("x:", x, "y:", y)
3.3 模型的保存和加载
PyTorch提供了简单的API来保存和加载模型。最常见的方法是使用torch.save来保存模型的参数，然后通过torch.load来加载模型的参数。
# 保存
torch.save(model.state_dict(), PATH)
# 加载
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))
model.eval()
