更新日志

• 【2019/01/07 02:43】开始记录自己用SVT数据集训练CRNN模型，写这句话的时候，我的毕业论文还没写完and明天是最后抽盲审的deadline，但是不知为何，我完全不方甚至有心情来写一波博文。
• 【2019/01/07 15:06】早上老师打电话来让我去把盲审抽了，感觉完全不方and也没抽中，感到墙裂舒适。

正文

由于实验室项目需要（实际上是写毕业论文时没有数据），随便上网搜了个数据集，于是发现了SVT数据集
>>>SVT数据集地址点这里<<<
因为不需要识别英文字母，所以用这货，没有别的原因，而且后来看到CRNN的论文里面也使用了SVT进行测试，且达到了很高的acc，所以也让我下定决心用SVT来训练PyTorch下的CRNN。这里使用github上某位大佬写的crnn pytorch版本。
>>>crnn.pytorch代码地址点这里<<<

准备SVT数据集

首先当然是用上面那个链接把SVT下载下来，压缩包中主要包含的是一个.m文件，一个.mat文件以及茫茫多的png文件，且分为训练集，测试集以及一个包含额外训练集的extra包，这里我就只用train文件夹进行训练，用test文件夹下的数据进行测试。由于项目中使用的是lmdb，且懒得再重新写一个Dataset，因此决定生成SVT的lmdb文件，同时也可以学习一下lmdb数据集具体的使用。
>>>生成lmdb数据集的方法看这里<<<
通过下载这个git目录tool下的create_dataset.py，生成自己的lmdb数据。

def createDataset(outputPath, imagePathList, labelList, lexiconList=None, checkValid=True):
    """
    Create LMDB dataset for CRNN training.
    ARGS:
        outputPath    : LMDB output path
        imagePathList : list of image path
        labelList     : list of corresponding groundtruth texts
        lexiconList   : (optional) list of lexicon lists
        checkValid    : if true, check the validity of every image
    """

create_dataset函数里主要要注意的参数是imagePathList和labelList，一个是图像文件名的列表，一个是标签的列表，注意，这里不是标签文件名的列表，如果使用了文件名的列表，在生成batch时会报错说字典里找不到“/”或者“.”，原因十分显然了，不要问我为什么知道的（也可能只有我会这么蠢吧，在这里折腾了半天）。在得到了训练集和测试集的lmdb数据后，就可以开始训练模型了。

安装warpctc的pytorch版本

在训练之前，需要装一个CTCLoss函数作为criterion，因为用0.4.0版本的话是没有这个东西的，这里就是天坑之一。按照上面crnn.pytorch代码的索引，来到warp-ctc这里clone下来然后make。按照教程装好后，就能用CTCLoss啦！。。。？
>>>warp-ctc的安装看这里<<<
安装好了warp-ctc可以试着import一下看看是否安装成功，就像这样↓↓↓

warpctc-pytorch

开始训练

在安好warpctc就可以使用CTCLoss来算损失函数了，下面是大佬给的训练的命令。

python train.py --adadelta --trainRoot {train_path} --valRoot {val_path} --cuda

然后就会发现。。。

ValueError

看了别人发的issues，发现也有人这里报错，作者表示PyTorch 0.4下这里还没修好。
>>>issues 139<<<
可以通过加个参数--random_sample解决这个问题。改好后，就可以开始训练了，燃鹅，事情没有这么简单。使用SVT训练，我发现我的Loss全是0。
于是我死皮赖脸地又去翻别人的issues了，发现果然有老哥跟我一样。
>>>issues 167<<<
通过上面这个链接，看到warpctc那边也有人发现了出现这个问题的原因：

某机智的大佬

训练过程