YOLOv3训练自己的数据
一、标注数据
1.工具：
使用的标注工具是
LabelImg，其他标注工具也行，但是生成的标注label文件要是xml。这里给一个LabelImg教程的传送门 LabelImg教程
2.数据集编号：
为了规划自己的数据，减少出错的可能性，最好自己先给自己的图片编一个合理的序号，比如
0001~0999。
3.标注数据：
利用软件把自己的数据标注好。每一个图片名对应的有一个相应名字的
label.xml。
xml中的数据如下所示。这时候的path不用管他，在训练的时候不会用到这里的数据，这里后面会说到。
二、利用voc制作自己的数据集
在目录下新建
VOC2007，并在VOC2007下新建Annotations，ImageSets和JPEGImages三个文件夹。在ImageSets下新建Main文件夹。文件目录如下所示：
将自己的数据集图片拷贝到
JPEGImages目录下。将数据集xml文件拷贝到Annotations目录下。
先使用
test.py文件，生成train.txt文件
import os
path = 'VOCdevkit/VOC2007/Annotations/'
filelist = os.listdir(path)
with open('train.txt','w') as f:
for i in filelist:
f.write(i.split('.xml')[0])
f.write('\n')
将
train.txt文件放到~/darknet/scripts/VOCdevkit/VOC2007/ImageSets/Main文件夹下
在代码的
darknet目录下新建VOCdevkit文件夹，然后把刚才制作的VOC2007文件夹拷贝到该文件夹下。
YOLOV3的
label，YOLOV3的label标注的一行五个数分别代表类别（从 0 开始编号）， BoundingBox 中心 X 坐标，中心 Y 坐标，宽，高。这些坐标都是 0～1 的相对坐标。和我们刚才标注的label不同，因此我们需要下面的py文件帮我们转换label。
wget https://pjreddie.com/media/files/voc_label.py
这里需要修改两个地方，
sets和classes，classes根据自己需要修改。
运行
voc_label.py文件，运行后会~/darknet/scripts/VOCdevkit/VOC2007下生成label文件夹
下载
darknet53的预训练模型。
wget https://pjreddie.com/media/files/darknet53.conv.74
修改
voc.data，根据自己的classes和文件路径
修改
yolov3.names，根据自己的classe名来写
修改
yolov3.cfg，ctrl+f搜 yolo, 总共会搜出3个含有yolo的地方。每个地方都必须要改2处,filters:3*(5+len(classes))
其中：classes: len(classes) = 1，这里以1 个类型为例
filters = 18
classes =1
可修改：random = 1：原来是1，显存小改为0。（是否要多尺度输出。）
参数文件开头的地方可以选训练的batchsize，根据自己的机器设置batch和subdivisions
参数解释（请指正）
[net]
# Testing 测试模式
# batch=1
# subdivisions=1
# Training 训练模式
batch=64 一批训练样本的样本数量，每batch个样本更新一次参数
subdivisions=16 batch/subdivisions作为一次性送入训练器的样本数量,如果内存不够大，将batch分割为subdivisions个子batch
上面这两个参数如果电脑内存小，则把batch改小一点，batch越大，训练效果越好
subdivisions越大，可以减轻显卡压力
width=416 input图像的宽
height=416 input图像的高
channels=3 input图像的通道数
以上三个参数为输入图像的参数信息 width和height影响网络对输入图像的分辨率，
从而影响precision，只可以设置成32的倍数
momentum=0.9 DeepLearning1中最优化方法中的动量参数，这个值影响着梯度下降到最优值得速度
decay=0.0005 权重衰减正则项，防止过拟合.每一次学习的过程中，将学习后的参数按照固定比例进行降低，为了防止过拟合，decay参数越大对过拟合的抑制能力越强。
angle=0 通过旋转角度来生成更多训练样本
saturation = 1.5 通过调整饱和度来生成更多训练样本
exposure = 1.5 通过调整曝光量来生成更多训练样本
hue=.1 通过调整色调来生成更多训练样本
learning_rate=0.001 学习率决定着权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。
如果仅靠人为干预调整参数，需要不断修改学习率。刚开始训练时可以将学习率设置的高一点，
而一定轮数之后，将其减小
在训练过程中，一般根据训练轮数设置动态变化的学习率。
刚开始训练时：学习率以 0.01 ~ 0.001 为宜。
一定轮数过后：逐渐减缓。
接近训练结束：学习速率的衰减应该在100倍以上。
学习率的调整参考
burn_in=1000 在迭代次数小于burn_in时，其学习率的更新有一种方式，大于burn_in时，才采用policy的更新方式
max_batches = 20200 训练达到max_batches后停止学习
policy=steps 这个是学习率调整的策略，有policy：constant, steps, exp, poly, step, sig, RANDOM，constant等方式
参考
steps=40000,45000 下面这两个参数steps和scale是设置学习率的变化，比如迭代到40000次时，学习率衰减十倍。
scales=.1,.1 45000次迭代时，学习率又会在前一个学习率的基础上衰减十倍
[convolutional]
batch_normalize=1 是否做BN
filters=32 输出特征图的数量
size=3 卷积核的尺寸
stride=1 做卷积运算的步长
pad=1 如果pad为0,padding由 padding参数指定;如果pad为1，padding大小为size/2，padding应该是对输入图像左边缘拓展的像素数量
activation=leaky 激活函数的类型
# Downsample
[convolutional]
batch_normalize=1
filters=64
size=3
stride=2
pad=1
activation=leaky
[convolutional]
batch_normalize=1
filters=32
size=1
stride=1
pad=1
activation=leaky
[convolutional]
batch_normalize=1
filters=64
size=3
stride=1
pad=1
activation=leaky
[shortcut]
from=-3
activation=linear
# Downsample
......
# Downsample
######################
[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky
[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky
[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky
[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky
[convolutional]
batch_normalize=1
filters=512
size=1
stride=1
pad=1
activation=leaky
[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=1024
activation=leaky
[convolutional]
size=1
stride=1
pad=1
filters=45 每一个[region/yolo]层前的最后一个卷积层中的 filters=(classes+1+coords)*anchors_num，
其中anchors_num 是该层mask的一个值.如果没有mask则 anchors_num=num是这层的ancho
5的意义是5个坐标，论文中的tx,ty,tw,th,to
activation=linear
[yolo] 在yoloV2中yolo层叫region层
mask = 6,7,8 这一层预测第6、7、8个 anchor boxes ，每个yolo层实际上只预测3个由mask定义的anchors
anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326
[?]anchors是可以事先通过cmd指令计算出来的，是和图片数量，width,height以及cluster(应该就是下面的num的值，
即想要使用的anchors的数量)相关的预选框，可以手工挑选，也可以通过kmeans 从训练样本中学出
classes=10 网络需要识别的物体种类数
num=9 每个grid cell预测几个box,和anchors的数量一致。当想要使用更多anchors时需要调大num，且如果调大num后训练时Obj趋近0的话可以尝试调大object_scale
jitter=.3 [?]利用数据抖动产生更多数据，YOLOv2中使用的是crop，filp，以及net层的angle，flip是随机的，
jitter就是crop的参数，tiny-yolo-voc.cfg中jitter=.3，就是在0~0.3中进行crop
ignore_thresh = .5 决定是否需要计算IOU误差的参数，大于thresh，IOU误差不会夹在cost function中
truth_thresh = 1
random=0 如果为1，每次迭代图片大小随机从320到608，步长为32，如果为0，每次训练大小与输入大小一致
[route]
layers = -4
将
voc.data，yolov3.cfg，yolov3_test.cfg，yolov3.names放到own/struct文件夹下
三、开始训练
执行命令进行训练：
./darknet detector train own/struct/voc.data own/struct/yolov3.cfg darknet53.conv.74
log说明
Region xx: cfg文件中yolo-layer的索引；
Avg IOU:当前迭代中，预测的box与标注的box的平均交并比，越大越好，期望数值为1；
Class: 标注物体的分类准确率，越大越好，期望数值为1；
obj: 越大越好，期望数值为1；
No obj: 越小越好；
.5R: 以IOU=0.5为阈值时候的recall; recall = 检出的正样本/实际的正样本
0.75R: 以IOU=0.75为阈值时候的recall;
count:正样本数目。
执行命令进行测试
./darknet detector test own/struct/voc.data own/struct/yolov3_test.cfg backup/yolov3_final.weights scripts/VOCdevkit/VOC2007/JPEGImages/01_1.jpg
