第三课主要内容是多分类问题和图片的分割问题，其中涉及到了不少的内容，包括fastai中data_block的概念，以及构建数据集的一些常用方法，同时也提到了一些提高准确率的技巧。这里我将第三课的代码笔记分成几个部分。
参考文档：https://www.kaggle.com/hortonhearsafoo/fast-ai-v3-lesson-3-camvid-tiramisu
首先学习如何对camvid数据集进行图像分割
#装入所有 %aimport 不包含的模块。
%reload_ext autoreload
%autoreload 2
#直接在python console里面生成图像
%matplotlib inline
#导入fastai基本库和视觉库
from fastai import *
from fastai.vision import *
#导入fastai回调钩子库
from fastai.callbacks.hooks import *
#用于图像分割的网络SegNet的导航项目git地址,其中包含了数据文件在CamVid目录
#!git clone https://github.com/alexgkendall/SegNet-Tutorial.git
#定义数据文件路径，这里针对自己下载的路径进行了修改
path = Path('SegNet-Tutorial/CamVid')
#列举数据文件
path.ls()
[WindowsPath('SegNet-Tutorial/CamVid/test'),
WindowsPath('SegNet-Tutorial/CamVid/test.txt'),
WindowsPath('SegNet-Tutorial/CamVid/testannot'),
WindowsPath('SegNet-Tutorial/CamVid/train'),
WindowsPath('SegNet-Tutorial/CamVid/train.txt'),
WindowsPath('SegNet-Tutorial/CamVid/trainannot'),
WindowsPath('SegNet-Tutorial/CamVid/val'),
WindowsPath('SegNet-Tutorial/CamVid/val.txt'),
WindowsPath('SegNet-Tutorial/CamVid/valannot')]
#获取原始图片文件夹下的图片文件路径列表，并显示前三条
fnames = get_image_files(path/'val')
fnames[:3]
[WindowsPath('SegNet-Tutorial/CamVid/val/0016E5_07959.png'),
WindowsPath('SegNet-Tutorial/CamVid/val/0016E5_07961.png'),
WindowsPath('SegNet-Tutorial/CamVid/val/0016E5_07963.png')]
#获取已标记图片文件夹下的图片文件路径列表，并显示前三条
lbl_names = get_image_files(path/'valannot')
lbl_names[:3]
[WindowsPath('SegNet-Tutorial/CamVid/valannot/0016E5_07959.png'),
WindowsPath('SegNet-Tutorial/CamVid/valannot/0016E5_07961.png'),
WindowsPath('SegNet-Tutorial/CamVid/valannot/0016E5_07963.png')]
#获取图片路径
img_f = fnames[0]
#打开图片
img = open_image(img_f)
#显示图片
img.show(figsize=(5,5))
output_6_0.png
#定义函数用来将原始图片路径转换成标记图片的路径
def get_y_fn(x): return Path(str(x.parent)+'annot')/x.name
#定义所有分割的类别标记
codes = array(['Sky', 'Building', 'Pole', 'Road', 'Sidewalk', 'Tree',
'Sign', 'Fence', 'Car', 'Pedestrian', 'Cyclist', 'Void'])
#由于标记的图片是采用标签标记不同的像素的类别，因此需要用open_mask代替open_img打开文件
#使用open_mask打开后，程序会使用一个单通道的矩阵保存每个像素位置的标签值
mask = open_mask(get_y_fn(img_f))
#使用mask.show显示标记的图片，程序会自动给不同类别的像素上色
#alpha为透明度，这里设1表示不透明
mask.show(figsize=(5,5), alpha=1)
output_7_0.png
#显示标记图片尺寸，以及标记图片的标签数值
src_size = np.array(mask.shape[1:])
src_size,mask.data
(array([360, 480]), tensor([[[1, 1, 1, ..., 5, 5, 5],
[1, 1, 1, ..., 5, 5, 5],
[1, 1, 1, ..., 5, 5, 5],
...,
[4, 4, 4, ..., 3, 3, 3],
[4, 4, 4, ..., 3, 3, 3],
[4, 4, 4, ..., 3, 3, 3]]]))
#生成数据集
#定义数据集的bunch_size和图片尺寸，这里两个除号表示整数除法
bs,size = 8,src_size//2
array(['Sky', 'Building', 'Pole', 'Road', 'Sidewalk', 'Tree', 'Sign', 'Fence', 'Car', 'Pedestrian', 'Cyclist', 'Void'],
dtype='<U10')
#根据path路径创建一个分割图片任务的数据集
#根据文件夹名称将数据集分为训练测试和验证集，这里指定了验证集的文件夹为val
#根据上面定义的get_y_fun函数，对每一个原始图片获取他的标签，
#这里的标签是另一张图片的路径，即一张图片的标签对应另一张mask图片，
#这张mask图片包含了多个标签，classes则定义了所有标签的类别
src = (SegmentationItemList.from_folder(path)
.split_by_folder(valid='val')
.label_from_func(get_y_fn, classes=codes))
array(['Sky', 'Building', 'Pole', 'Road', 'Sidewalk', 'Tree', 'Sign', 'Fence', 'Car', 'Pedestrian', 'Cyclist', 'Void'],
dtype='<U10')
#对已经分好训练测试验证集，并且对应好标签数据的数据集进行变换，以生产更多的训练数据
#tfm_y表示标签数据与原始数据同时进行变换，这里的变换一般指上下，水平和对角翻转
#最后使用imagenet_stats归一化图片
data = (src.transform(get_transforms(), tfm_y=True)
.databunch(bs=bs, num_workers=0)
.normalize(imagenet_stats))
array(['Sky', 'Building', 'Pole', 'Road', 'Sidewalk', 'Tree', 'Sign', 'Fence', 'Car', 'Pedestrian', 'Cyclist', 'Void'],
dtype='<U10')
#展示两行图片和他的标记
data.show_batch(2, figsize=(10,7))
output_12_0.png
#这里采用字典解析生成key，value交换的字典
name2id = {v:k for k,v in enumerate(codes)}
#获取void标签的key
void_code = name2id['Void']
#自定义准确率公式，需要排除标签为空的像素，将概率最大的像素类别与真实值对比，返回值=正确的数量/总数
def acc_camvid(input, target):
target = target.squeeze(1)
mask = target != void_code
return (input.argmax(dim=1)[mask]==target[mask]).float().mean()
#定义显示的准确率
metrics=acc_camvid
#应该是unet的参数
wd=1e-2
#定义unet网络，模型骨架采用resnet34结构，unet网络相对cnn做了一次
learn = unet_learner(data, models.resnet34, metrics=metrics, wd=wd, model_dir='tmp/models')
#查找合适的学习率，一般会选择下降速度最快的区间
# lr_find(learn)
# learn.recorder.plot()
#设置学习率
lr=2e-3
#进行10轮学习
#slice(lr)表示学习率范围最大值不超过lr,slice表示一个切片类，包含了开始，结束以及步长
#pct_start表示在fit_one_cycle学习的过程中，学习率上升部分的迭代次数所占的比例，
#fit_one_cycle进行训练时，学习率是先增大，再减少，这个比例反应了增大的部分占整个迭代次数中的比例
learn.fit_one_cycle(10, slice(lr), pct_start=0.8)
#保存模型
learn.save('stage-1')
learn.load('stage-1')
#解冻模型，并且调整学习率，重新训练
learn.unfreeze()
lrs = slice(lr/100,lr)
learn.fit_one_cycle(12, lrs, pct_start=0.8)
learn.save('stage-2');
#由于这次课程的代码较多，可能会导致内存不足，这里进行了垃圾回收
#引入垃圾回收gc模块，这里将模型置空，并且进行垃圾回收
import gc
learn=None
gc.collect()
#调整每批训练的数据量，防止内存不足
size = src_size
bs=4
#重新构建数据集，重新对数据进行变换，并且正规化数据
data = (src.transform(get_transforms(), size=size, tfm_y=True)
.databunch(bs=bs)
.normalize(imagenet_stats))
#使用新的数据集重新建立学习模型，并且读取之前保存的模型参数
learn = unet_learner(data, models.resnet34, metrics=metrics, wd=wd, model_dir="tmp/models").load('stage-2')
#调整每批训练的数据量，防止内存不足
size = src_size
bs=4
#重新构建数据集，重新对数据进行变换，并且正规化数据
data = (src.transform(get_transforms(), size=size, tfm_y=True)
#重新寻找学习率
lr_find(learn)
learn.recorder.plot()
lr=1e-3
#使用新的学习率重新学习，并保存模型
learn.fit_one_cycle(10, slice(lr), pct_start=0.8)
learn.save('stage-1-big')
#读取模型，并解冻
learn.load('stage-1-big')
learn.unfreeze()
#重新设置学习率并继续学习
lrs = slice(lr/1000,lr/10)
learn.fit_one_cycle(10, lrs)
#保存新的模型
learn.save('stage-2-big')
#读取模型，并展示预测结果
learn.load('stage-2-big')
learn.show_results(rows=3, figsize=(9,11))
#学习模型结构概览
learn.summary()
