Task4 模型训练与验证

上一章节，构造了一个简单的CNN，并进行误差损失和第一个字符预测准确率的可视化。一个成熟合格的深度学习训练流程至少具备以下功能：

训练集上训练，验证集上验证
模型保存最优权重，并读取权重
记录训练集和验证集的精度，便于调参

4. 模型训练与验证

以下顺序依次讲解：

构建验证集
模型训练和验证
模型保存与加载
模型调参

4.1 学习目标

理解验证集作用
使用训练集和验证集完成训练
使用Pytorch环境下的模型读取和加载

4.2 构造验证集

目前机器学习或深度学习的现状如下：

模型训练：容易过拟合
深度模型，训练误差逐渐降低；但测试误差不一定。

模型的训练中，只能利用训练数据来训练，并不能接触测试集的样本；
这样造成过拟合（Overfitting）和欠拟合（Underfitting）：

过拟合：如果将训练集学的过好，记住训练样本的细节，导致在测试集的泛化效果较差。
欠拟合：模型在训练集上的拟合效果较差。

image.png

如图所示：随着模型复杂度和模型训练轮数的增加，CNN模型在训练集上的误差会降低，但在测试集上的误差会逐渐降低，然后逐渐升高，而我们为了追求的是模型在测试集上的精度越高越好。

导致模型过拟合的原因：

模型复杂度（Model Complexity ）太高（常见）
注释：学习到了一些细枝末节的规律
...

解决方法：

构建一个与测试集尽可能分布一致的验证集
训练中不断验证模型在验证集上的精度，来控制模型的训练

审题：那么针对赛题，给出了训练集和测试集。

参赛者：需要在训练集上构建模型
验证模型在测试集上的泛化能力
手段：
提交对测试集的预测结果，来验证模型的泛化能力

训练集，验证集，测试集的作用：

训练集（Train Set）：模型用于训练和调整模型参数
验证集（Validation Set）：用来验证模型精度和调整模型超参数
测试集（Test Set）：验证模型的泛化能力

因为训练集和验证集是分开的，所以模型在验证集上面的精度在一定程度上可以反映模型的泛化能力。在划分验证集的时候，需要注意验证集的分布应该与测试集尽量保持一致，不然模型在验证集上的精度就失去了指导意义。

训练集和验证集，但并不一定每次赛题都会有验证集。所以从训练集怎么抽出验证集，方法如下：

image.png

留出法（Hold-Out）
优点：直接简单，划分训练集和验证集
缺点：只得到了一份验证集，可能导致在验证集上过拟合
应用：数据量比较大的情况
交叉验证法（Cross Validation，CV）
划分成K份，K-1份为训练集，剩余的一份为验证集；循环K训练。
优点：验证集精度比较可靠，训练K次可以得到K个有多样性差异的模型
缺点：需要训练K次
应用：不适合数据量很大的情况
自助采样法（BootStrap）

通过有放回的采样方式得到新的训练集和验证集，每次的训练集和验证集都是有区别的。

应用：适用于数据量较小的情况

这里的分布一般指的是与标签相关的统计分布：

标签的类别分布，训练集-验证集-测试集的类别分布情况应该大体一致
如果标签是带有时序信息，则验证集和测试集的时间间隔应该保持一致。

4.3 模型训练与验证

使用Pytorch来完成CNN的训练和验证过程，CNN网络结构与之前的章节中保持一致。我们需要完成的逻辑结构如下：

构造训练集和验证集；
每轮进行训练和验证，并根据最优验证集精度保存模型。

train_loader = torch.utils.data.DataLoader(
    train_dataset,
    batch_size=10, 
    shuffle=True, 
    num_workers=10, 
)
    
val_loader = torch.utils.data.DataLoader(
    val_dataset,
    batch_size=10, 
    shuffle=False, 
    num_workers=10, 
)

model = SVHN_Model1()
criterion = nn.CrossEntropyLoss (size_average=False)
optimizer = torch.optim.Adam(model.parameters(), 0.001)
best_loss = 1000.0
for epoch in range(20):
    print('Epoch: ', epoch)

    train(train_loader, model, criterion, optimizer, epoch)
    val_loss = validate(val_loader, model, criterion)
    
    # 记录下验证集精度
    if val_loss < best_loss:
        best_loss = val_loss
        torch.save(model.state_dict(), './model.pt')

其中每个Epoch的训练代码如下：

def train(train_loader, model, criterion, optimizer, epoch):
    # 切换模型为训练模式
    model.train()

    for i, (input, target) in enumerate(train_loader):
        c0, c1, c2, c3, c4, c5 = model(data[0])
        loss = criterion(c0, data[1][:, 0]) + \
                criterion(c1, data[1][:, 1]) + \
                criterion(c2, data[1][:, 2]) + \
                criterion(c3, data[1][:, 3]) + \
                criterion(c4, data[1][:, 4]) + \
                criterion(c5, data[1][:, 5])
        loss /= 6
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

其中每个Epoch的验证代码如下：

def validate(val_loader, model, criterion):
    # 切换模型为预测模型
    model.eval()
    val_loss = []

    # 不记录模型梯度信息
    with torch.no_grad():
        for i, (input, target) in enumerate(val_loader):
            c0, c1, c2, c3, c4, c5 = model(data[0])
            loss = criterion(c0, data[1][:, 0]) + \
                    criterion(c1, data[1][:, 1]) + \
                    criterion(c2, data[1][:, 2]) + \
                    criterion(c3, data[1][:, 3]) + \
                    criterion(c4, data[1][:, 4]) + \
                    criterion(c5, data[1][:, 5])
            loss /= 6
            val_loss.append(loss.item())
    return np.mean(val_loss)

4.4 模型保存与加载

在Pytorch中模型的保存和加载：

torch.save(model_object.state_dict(), 'model.pt')
model.load_state_dict(torch.load(' model.pt'))

在参加本次比赛的过程中，按照老师以下的方法进行：

初步构建简单的CNN模型，不用特别复杂，跑通训练、验证和预测的流程；
简单CNN模型的损失会比较大，尝试增加模型复杂度，并观察验证集精度；
在增加模型复杂度的同时增加数据扩增方法，直至验证集精度不变。

image.png