keras 用迁移学习做图片分类+数据增强（天池雪浪制造复赛0.71 top50）
本文结构，首先构建模型，从文件夹中生成数据迭代器。然后冻结所有特征提取层，训练分类层的权重。 训练50个epoch后，"解冻"所有特征提取层，对所有的层都进行finetune。其中使用到数据增强，早停止，学习率衰减等技巧。在天池雪浪制造大赛上获得不错的结构，比赛详情见：比赛链接
-
小trick：图片resize使用的方法是pillow 中的‘antialias'，使用其他方法会产生纹波。这个resize方法在keras里面没有，需要手动添加。在"C:\Users\tunan\AppData\Local\Continuum\anaconda3\envs\tensorflow\lib\site-packages\keras_preprocessing\image.py"文件中，第34行加上: 'antialias':pil_img.ANTIALIAS。如图所示、
show.jpg
构建模型
- 导入inception-v3，不包含头部的。对于输入图片为299*299,提取特征维数是7*7*2048,使用GlobalAveragePooling,特征转化到1*1*2048维，即一张图片用2048维的特征来表示。
- 然后使用dropout或者BatchNormalization,为了防止过拟合，与加速训练（BN）
- 加上一层全连接，节点数为class_num = 11,用于分类。激活函数用softmax。（也可以多加一层全连接再分类）
basic_model = inception_v3.InceptionV3(include_top = False,weights = 'imagenet')
feature = GlobalAveragePooling2D()(basic_model.output)
x = Dropout(0.5)(feature)
outputs = Dense(11,activation = 'softmax',
kernel_initializer = 'TruncatedNormal')(x)
model = Model(inputs = basic_model.inputs,outputs = outputs)
构建数据生成器
先将训练测试图片保存到train,val文件夹中。train/val文件夹下分别包括11个子文件夹，每个子文件夹包含一类图片
--train
--class1
--class2
...使用keras.ImageDataGenerator配置迭代器train_gen，其中加上水平/垂直翻转，旋转拉伸方法进行数据增强。可以根据具体图片选择数据增强的方法。
从文件夹中生成图片迭代器，train_gen.flow_from_directory(path),其中用classes列表指定文件夹名与类别id(0,1,2...)的对应关系
train_gen = ImageDataGenerator(
preprocessing_function = inception_v3.preprocess_input,
horizontal_flip = True,
vertical_flip = True,
rotation_range=30,
shear_range=0.1
)
classes = ['norm']+["defect_"+str(i+1) for i in range(10)]
train_data_gen = train_gen.flow_from_directory(train_path,
shuffle = True,
batch_size = batch_size,
class_mode = 'categorical',
target_size = input_size,
classes = classes,
interpolation='antialias')
对最后一层全连接进行训练
- 冻结前面所有的inception层
- 配置模型的训练过程，使用Adam优化器，categorical_entropyloss做损失函数(就是logloss)
- 设置回调函数，训练最后一层只用ModelCheckpoint锚点保存模型。每次都保存当前最好的模型。
for layer in basic_model.layers:
layer.trainable = False
#create callback function including early stop,lr_decay,checkpoint
log_dir = 'log1\\'
checkpoint = ModelCheckpoint(log_dir + 'ep{epoch:03d}-loss{loss:.3f}-val_loss{val_loss:.3f}.h5',monitor='val_loss', save_weights_only=False, save_best_only=True, period=3)
if True:
model.compile(optimizer=Adam(lr=1e-3), loss="categorical_crossentropy")
model.fit_generator(train_data_gen,
steps_per_epoch=max(1, train_data_gen.n//batch_size),
validation_data=val_data_gen,
validation_steps=max(1, val_data_gen.n//batch_size),
epochs=50,
initial_epoch=0,
callbacks=[checkpoint])
model.save(log_dir + 'trained_weights_stage_1.h5')
对前面的inception层进行finetune
- 对inception层解冻,trainable = True
- 回调函数使用"早停止"，"学习率递减"，"模型断点保存"，使每次保存最好的模型，且模型一定epoch后不再变好时减小学习率继续训练，多个epoch后不再变好后，用早停止结束训练。
- 配置模型，使用很小的学习率进行训练。lr = 1e-4。
for i in range(len(model.layers)):
model.layers[i].trainable = True
model.compile(optimizer=Adam(lr=1e-4), loss='categorical_crossentropy')
# recompile to apply the change
print('Unfreeze all of the layers.')
print('Train on {} samples, val on {} samples, with batch size {}.'.format(train_data_gen.n, val_data_gen.n, batch_size))
model.fit_generator(train_data_gen,
steps_per_epoch=max(1, train_data_gen.n//batch_size),
validation_data=val_data_gen,
validation_steps=max(1, val_data_gen.n//batch_size),
epochs=100,
initial_epoch=50,
callbacks=[checkpoint, reduce_lr, early_stopping])
model.save(log_dir + 'trained_weights_final.h5')
结果
3千多张图片，在1080ti显卡下大概要跑10个小时。在天池雪浪制造赛最后得到的线上结果0.71，与我另外目标检测的模型融合后结果0.73。
output.png
