掌握的目标
- 掌握使用Pytorch 来构建神经网络的基本流程
- 构建神经网络的实现过程
关于torch.nn
- Pytorch 中构建神经网络，主要的工具包都在torch.nn中
- nn 依赖autograd 来定义模型，并对其自动求导
构建网络的基本流程
- 定义一个拥有学习参数的神经网络
- 遍历训练数据集
- 处理输入数据使其流经神经网络
- 计算损失值
- 将网络参数的梯度进行反向传播
- 更新网络权重
卷积神经网络的组成部分
由输入层，卷积神经层，采样层、全连接层及输出层。其中卷积神经网络层、下采样层、全连接层被合称为隐含层。
- 卷积层：
由很多个神经元构成，神经元包含了两个计量单位，一个输入x，一个权值w。输入数据x与权值w相乘得到加权和e ，然后通过激活函数获得神经元的输出。卷积核，是根据网络设置的步长数，对输入的特征进行卷积操作。 - 采样层：
采样层连接在卷积层之后，由多个特征面构成。采样层将卷积神经元的输出数据作为输入的数据，通过去除数据中的无用信息，减少需要处理的数据量，从而提高训练的网络速度。主要功能是通过降低特征图的维度，来减少特征图的个数，达到减少计算的复杂度。 - 全连接层：
至少有一个全连接层，全连接层位于所有卷积层的后面，层与层之间的神经元采用全连接的方式进行连接。该层是正规的神经网络，其主要作用是对卷积层提取出来的特征进一步提取高层次的特征。通过将卷积层的特征进行合并或者取样，提取出其中具有区分性的特征，从而达到分类的目的。在全连接层中，常用softmax 逻辑回归来进行分类识别图像。softmax 逻辑回归分类方法主要用于多分类问题。在构建分类器的过程中，一般还采用正则化方法来防止训练过拟合，提高分类的性能。
- 定义一个Pytorch 实现的神经网络
import torch
import torch.nn as nn
import torch.nn.functional as F
#定义三层网络，两层神经网络
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
#第一层卷积神经网络
#输入通道定义= 1 ，输出通道维度 6 卷积核大小3*3
self.conv1 = nn.Conv2d(1,6,3)
#定义第二层卷积神经网络
#输入通道维度=6 ，输出通道维度=16 ，卷积核大小3*3
self.conv2 = nn.Conv2d(6,16,3)
#定义三层全连接层,卷积神经网络中至少有一个全连接层，是将卷积层
self.fc1 = nn.Linear(16*3*3,120) #第一层的核大小是前一层卷积层的输出核大小16*,120是隐变量大小,
self.fc2 = nn.Linear(120,84)
self.fc3 = nn.Linear(84,10) #10 分类
def forward(self,x):
#卷积层 后面加激活层核池化层
x = F.max_pool2d(F.relu(self.conv1(x)),(2,2,))#(2.2)池化层
x = F.max_pool2d(F.relu(self.conv2(x)),(2.2))
#经过卷积层的处理后，张量需要调整，进入前需要调整张量的形状
x = x.view(-1,self.num_flat_features(x)) #这里直接写下面方法也可以
# x = x.view(-1,16 * 3 * 3)
# 激活层
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
def num_flat_features(self,x):
#除了第0 维度的batch_size
size = x.size()[1:]
print(size)
num_features = 1
for s in size:
num_features *= s
return num_features
if __name__ == '__main__':
net = Net()
print(net)
输出结果
Net(
(conv1): Conv2d(1, 6, kernel_size=(3, 3), stride=(1, 1))
(conv2): Conv2d(6, 16, kernel_size=(3, 3), stride=(1, 1))
(fc1): Linear(in_features=144, out_features=120, bias=True)
(fc2): Linear(in_features=120, out_features=84, bias=True)
(fc3): Linear(in_features=84, out_features=10, bias=True)
)
- 注意
-- 模型的一些可训练参数，可以通过net.parameters() 来获得。
params = list(net.parameters())
print(len(params))
print(params[0].size())
- torch.nn 构建的神经网络只支持mini-batches 的输入，不支持单一样本的输入。
- nn.Conv2d 需要一个4D Tensor ，需要调用unsqueeze(0) ，将3DTensor 扩充为4D。
补充
损失函数
- 损失函数的输入是一个输入的pair(output,target),可以理解成对出现的，然后计算一个数值来评估output 和 tareget 之间的差距大小。
- torch 中由若干个不同的损失函数可供使用，nn.MSELoss 是利用计算均方差损失来评估输入和目标值之间的差距。
output = net(input)
loss = nn.MSELoss (output,target)
反向传播
- 使用很简单，操作就是loss.backward().
- 在执行反向传播之前，要将梯度清零，否则梯度会在不同的批次数据之间被累加
net.zero_grad()
loss.backward()
更新网络参数
- 更新网络参数算法比较简单就是SGD(随机梯度下降)
- weight = weight - learning_rate * gradient
learning_rate = 0.01
for p in net.parameters():
p.data_sub_(p.grad.data * learning_rate)
使用Pytorch 官方推荐代码
# 首先导入优化器的包, optim中包含若干常用的优化算法, 比如SGD, Adam等
import torch.optim as optim
# 通过optim创建优化器对象
optimizer = optim.SGD(net.parameters(), lr=0.01)
# 将优化器执行梯度清零的操作
optimizer.zero_grad()
output = net(input)
loss = criterion(output, target)
# 对损失值执行反向传播的操作
loss.backward()
# 参数的更新通过一行标准代码来执行
optimizer.step()
总结
- 学习了构建神经网络的典型流程
- 学习了损失函数的定义
-- torch.nn.MSEloss() 计算均方差 - 学习了反向传播的计算方法
-- 反向传播前，梯度清零，
-- 操作是 loss.backward()。 - 学习了参数的更新方法
-- 定义优化器来执行参数的优化与更新。
-- 通过优化器来执行具体的参数更新
