2019-04-17/18 Matconvnet:matlab建立自己的数据集并训练

你需要做的:
1.给你的图片编号,打标签,创建相应的txt文档
2.按照要求建立文件夹,如下图所示
3.下载并将在imagenet上预训练模型放在models文件夹里
4.将图像和标签信息放在data文件夹里面
5.下载所需版本的matconvnet

Tips:在这里有我上传到到网盘的文件夹压缩包(里面有下载好的matconvnet1.0-beta25和vgg-f,vgg-verydeep-19),格式按这个来就好了。(提取码: psn4)

下载完成后,打开cnn_dicnn.m,点运行,即可开始训练(默认CPU和训练迭代数为300,如需修改参数,请移步参考链接,该文的中部有详细说明)。

训练的时候,每一个epoch的参数结果都放在文件夹exp/image里面。所以即使中断了,再运行的时候,程序会接着上一次的代数接着训练的。另外,当你觉得训练的差不多的时候,可以停止训练,把迭代次数改成此刻的代数。如下图所示,当训练到61代的时候,它的error就等于零了,完全可以停止。


下面的图像是实时显示每一代结果的,从结果可以看出,把训练迭代数设定到20代就差不多了。

PS: Top-5错误率:即对一个图片,如果概率前五中包含正确答案,即认为正确。Top-1错误率:即对一个图片,如果概率最大的是正确答案,才认为正确。

接下来就可以测试模型的准确性了。新建一个test_accuracy脚本,添加如下代码:

clc
clear
% 导入model
net1 = dagnn.DagNN.loadobj(load('D:\matlab2018a\bin\mat_train\exp\image\net-deployed.mat')) ;  
net1.mode = 'test' ;
% 导入准备数据
imdb = load('D:\matlab2018a\bin\mat_train\exp\image\imdb.mat') ;

opts.dataDir = fullfile('data','image') ;
opts.expDir  = fullfile('exp', 'image') ;
% 找到训练与测试集
opts.train.train = find(imdb.images.sets==1) ;
opts.train.val = find(imdb.images.sets==3) ;

for i = 1:length(opts.train.val)
    index = opts.train.val(i);
    label = imdb.images.label(index);
    % 读取测试的样本
    im_ =  imread(fullfile(imdb.imageDir.test,imdb.images.name{index}));
    im_ = single(im_);
    im_ = imresize(im_, net1.meta.normalization.imageSize(1:2)) ;
    im_ = bsxfun(@minus, im_, net1.meta.normalization.averageImage) ;
    % 测试
    net1.eval({'input',im_}) ;
    scores = net1.vars(net1.getVarIndex('prob')).value ;
    scores = squeeze(gather(scores)) ;

    [bestScore, best] = max(scores) ;
    truth(i) = label;
    pre(i) = best; 
end
% 计算准确率
accurcy = length(find(pre==truth))/length(truth);
disp(['accurcy = ',num2str(accurcy*100),'%']);

第一次我直接到61代停止,然后用net-epoch-61作为最后的模型测试准确性,运行的时候我出现了以下错误(错误使用dagnn.Dadnn.loadobj:Inavalid model

步入抛出错误位置,应该是net里面没有layer结构,就会抛出异常。

if isstruct(s)
  assert(isfield(s, 'layers'), 'Invalid model.');

对比net-epoch-61和net-deployed结构,如下图所示,net-epoch-61果然没有layers层。


net-epoch-61

net-deployed

第二次将cnn_dicnn函数中的训练函数cnn_train_dag 子函数中的opts.numEpochs改成20,让其训练完成生成net-deployed.mat,然后用上述准确度测试函数,测试得到正确性accurcy = 90.5%

说明:如果你是自己在官网下载的matconvnet,里面有两个文件cnn_imagenet_get_batch.m 和cnn_imagenet_deploy.m是没有的,网络运行的时候会显示你没有定义这个变量函数,可在以前的版本或者我上传的网盘里下载添加即可解决。

参考链接:1.深度学习(十四):详解Matconvnet使用imagenet模型训练自己的数据集

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 224,176评论 6 522
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 95,928评论 3 402
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 171,252评论 0 366
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 60,700评论 1 300
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 69,717评论 6 399
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 53,231评论 1 314
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 41,608评论 3 428
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 40,572评论 0 279
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 47,117评论 1 324
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 39,137评论 3 344
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 41,280评论 1 354
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,908评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 42,597评论 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 33,067评论 0 25
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 34,202评论 1 275
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 49,784评论 3 380
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 46,308评论 2 365