这个教程默认代码、预训练模型、测试部分的代码已经下载好，环境也已经编译好
【训练】
- models
models文件夹下存放的是对应的预训练的模型在训练时的网络参数。
以ResNet-101为例：
注意：下面的cls_num指的是数据集的类别数+1（背景）。比如我想检测鱼这一个类别，cls_num=2.
（1）修改其中的solver_ohem.protoxt
train_net: "models/fish4knowledge/ResNet-101/rfcn_end2end/train_agnostic_ohem.prototxt"
base_lr: 0.001 #初始学习率
lr_policy: "step" #学习率更新的方式
gamma: 0.1 #学习率衰减的倍率
stepsize: 10000 #迭代一万次，学习率衰减为原来的0.1倍
display: 20 #每迭代20次在终端打印一次输出
momentum: 0.9 #动量
weight_decay: 0.0005 #权重衰减率
# We disable standard caffe solver snapshotting and implement our own snapshot
# function
snapshot: 0 #选择迭代多少次保存一次中间模型
# We still use the snapshot prefix, though
snapshot_prefix: "resnet101_rfcn_ohem"
iter_size: 2 #由于是做检测任务，batch_size值较小
#debug_info: true
根据以上代码的第一行我们知道接下来要修改train_agnostic_ohem.prototxt 这里着重讲一下，训练可以选择两种方式，一种带ohem，一种不带ohem；我在训练时用的是前者，所以修改的都是文件名里有ohem的
（2）修改train_agnostic_ohem.prototxt
** 两处数据层、两处卷积层、 对应的两处cls和bbox参数层（大家会发现每个prototxt修改的内容大致相同）
以后需要调整anchor大小来做不同的实验时，也是在这个文件里改，详情见下篇博客。
layer {
name: 'input-data'
type: 'Python'
top: 'data'
top: 'im_info'
top: 'gt_boxes'
python_param {
module: 'roi_data_layer.layer'
layer: 'RoIDataLayer'
param_str: "'num_classes': 2" #cls_num
}
}
layer {
name: 'roi-data'
type: 'Python'
bottom: 'rpn_rois'
bottom: 'gt_boxes'
top: 'rois'
top: 'labels'
top: 'bbox_targets'
top: 'bbox_inside_weights'
top: 'bbox_outside_weights'
python_param {
module: 'rpn.proposal_target_layer'
layer: 'ProposalTargetLayer'
param_str: "'num_classes': 2" #cls_num
}
}
layer {
bottom: "conv_new_1"
top: "rfcn_cls"
name: "rfcn_cls"
type: "Convolution"
convolution_param {
num_output: 98 # 2*（7^2） cls_num*(score_maps_size^2)
kernel_size: 1
pad: 0
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0
}
}
param {
lr_mult: 1.0
}
param {
lr_mult: 2.0
}
}
layer {
bottom: "conv_new_1"
top: "rfcn_bbox"
name: "rfcn_bbox"
type: "Convolution"
convolution_param {
num_output: 392 # 4*2*（7^2）=4*cls_num*(score_maps_size^2)
kernel_size: 1
pad: 0
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0
}
}
param {
lr_mult: 1.0
}
param {
lr_mult: 2.0
}
}
layer {
bottom: "rfcn_cls"
bottom: "rois"
top: "psroipooled_cls_rois"
name: "psroipooled_cls_rois"
type: "PSROIPooling"
psroi_pooling_param {
spatial_scale: 0.0625
output_dim: 2 #cls_num
group_size: 7
}
}
layer {
bottom: "rfcn_bbox"
bottom: "rois"
top: "psroipooled_loc_rois"
name: "psroipooled_loc_rois"
type: "PSROIPooling"
psroi_pooling_param {
spatial_scale: 0.0625
output_dim: 8 #4*cls_num
group_size: 7
}
}
（3）修改test_agnostic.prototxt
layer {
bottom: "conv_new_1"
top: "rfcn_cls"
name: "rfcn_cls"
type: "Convolution"
convolution_param {
num_output: 98 #cls_num*(score_maps_size^2)
kernel_size: 1
pad: 0
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0
}
}
param {
lr_mult: 1.0
}
param {
lr_mult: 2.0
}
}
layer {
bottom: "conv_new_1"
top: "rfcn_bbox"
name: "rfcn_bbox"
type: "Convolution"
convolution_param {
num_output: 392 #4*cls_num*(score_maps_size^2)
kernel_size: 1
pad: 0
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0
}
}
param {
lr_mult: 1.0
}
param {
lr_mult: 2.0
}
}
layer {
bottom: "rfcn_cls"
bottom: "rois"
top: "psroipooled_cls_rois"
name: "psroipooled_cls_rois"
type: "PSROIPooling"
psroi_pooling_param {
spatial_scale: 0.0625
output_dim: 2 #cls_num
group_size: 7
}
}
layer {
bottom: "rfcn_bbox"
bottom: "rois"
top: "psroipooled_loc_rois"
name: "psroipooled_loc_rois"
type: "PSROIPooling"
psroi_pooling_param {
spatial_scale: 0.0625
output_dim: 8 #4*cls_num
group_size: 7
}
}
layer {
name: "cls_prob_reshape"
type: "Reshape"
bottom: "cls_prob_pre"
top: "cls_prob"
reshape_param {
shape {
dim: -1
dim: 2 #cls_num
}
}
}
layer {
name: "bbox_pred_reshape"
type: "Reshape"
bottom: "bbox_pred_pre"
top: "bbox_pred"
reshape_param {
shape {
dim: -1
dim: 8 #4*cls_num
}
}
}
看代码的内容，没用到classware/下面的参数文件，暂不需要修改。
tools
训练用的train_net.py
测试用的test_net.pydata
/VOCdevkit 存放数据集的信息：包括
（1）/ImageSets/Main下存放train.txt、val.txt、test.txt，内容为图片的名称（不含后缀）
（2）/fish_image_hz存放所有的图片
（3）/Annotations 存放所有图片的标注信息xml
（4）/dataset下存放测试要用到的东西
/dataset/devkit
/rfcn_models 训练生成的caffemodel复制粘贴到此文件夹下，为了测试的时候读取模型
/imagenet_models 预训练的模型，譬如ResNet-101-model.caffemodel可从网上下载
/cache缓存，如若换数据集，里面的pkl文件要删掉output
output文件夹下存放的是训练所生成的caffemodel，为了以防程序中断，我们设置了每迭代一万次备份一次已训练好的模型。lib
用来存放一些python接口文件，如其下的datasets主要负责数据库读取，config负责cnn一些训练的配置选项。
复制已有的datasets/pascal_voc.py，但要修改成自己使用的数据集的python文件。譬如datasets/fish4knowledge.py 具体修改的地方：
if __name__ == '__main__':
from datasets.fish4knowledge import fish4knowledge
d = fish4knowledge('train', '存放数据集的路径')
除此以外，还有data_path,存放图片名称的路径等等，自己看代码来修改。
datasets/factory.py 修改的地方有：
from datasets.fish4knowledge import fish4knowledge
devkit = '存放数据集的路径'
for split in ['train', 'val']:
name = 'fish4knowledge_{}'.format(split)
__sets[name] = (lambda imageset=split, devkit=devkit: fish4knowledge(imageset, devkit))
datasets/_ init _.py修改成：
from .fish4knowledge import knowledge
fast_rcnn/config.py
caffe
这里是caffe框架目录，要事先编译一遍。experiments
输出的日志文件在logs文件夹下
训练时运行的脚本在scripts文件夹下，可以用end2end或者alt_opt两种方式训练。rfcn_end2end_ohem.sh脚本需要根据使用的数据集做改动。
./expriments/scripts/rfcn_end2end_ohem.sh 0 ResNet-101 fish4knowledge train_net.py
在这个脚本里可以设置迭代次数 "ITERS=***"，“0”代表用的GPU_id号，ResNet-101代表使用的预训练模型，fish4knowledge代表使用的数据集名称，需要在上面的脚本里添加自己的数据集case进去，train_net.py是训练网络的python代码，位于/tools文件夹下。
- results
测试生成的val_pred.txt在这个文件夹下。接下来我们就讲测试部分了。
【测试】
***这些评测算法的代码可以参考PASCAL_VOC的评估代码
我就是下载下来再根据自己的数据集作修改的。
1.训练生成的模型在output文件夹里，复制粘贴到data/rfcn_models/目录下
2.修改tools/文件夹下的demo_rfcn.py并运行
python demo_rfcn.py --gpu 0
在results/文件夹下会生成val_pred.txt；val_pred.txt文件的每一行对应一个检测到的目标，格式如下：
<image_id> <class_id> <confidence> <xmin> <ymin> <xmax> <ymax>
其中image_id为测试图片的id号即帧数（列于devkit/data/val.txt文件中，这个txt文件区别于上面的ImageSets/Main/下的txt，每行除了包括图片文件名（不含后缀），还有帧数）, class_id 为物体的种类（参见devkit/data/meta_data.mat（需要修改））, confidence为算法对于这一预测的置信度，xmin ymin为目标框左上角点坐标，xmax ymax为目标框右下角点坐标。
3.用于评测算法的MATLAB程序位于devkit/evaluation/eval_detection.m。将第二步生成的val_pred.txt复制粘贴到devkit/data/目录下，运行.m程序之后可得知检测的mAP值。
