BP算法--手写数字识别模型数据分析

试验1

试验1是我们用100个数据图像,其中89个数据图像作为训练集,11个为测试集。一开始跑的时候采用了单一变量法的原理,毫无方向的调参数。

前五次我以为权重那个次方对准确率有影响,于是以权重次方为因变量,准确率为自变量

然后发现这个因素并不是主要影响因素,所以决定不再考虑这个因素的变化,设回原始值。再来考虑隐层层数的影响(这里为啥只考虑隐层,不考虑输入和输出,前面的代码分析有提及https://www.jianshu.com/writer#/notebooks/40513533/notes/60513797)

通过隐层的变化可以看出,在300的时候准确率明显比较高,然后固定隐层为300,改变学习率

我们发现当隐层层数为300的时候,学习率为0.001和0.0088都能跑到准确率百分之八十以上,这两者其实数值差不多,我就选择隐层层数300,学习率0.001是目前为止的最佳参数,然后固定这两个参数,改变训练次数的数值

然而此时默认为训练次数5,隐层层数300,学习率为0.001,准确率为0.8181.

现在目前确定的有三个变量直接影响准确率,即方程有三个变量x,y,z。通过固定一个变量,同时改变其他两个变量,我先固定学习率为0.001.得出

可以发现当训练次数为7次,隐层层数200,学习率0.001时,准确率为0.90,有些空格没有数据,是因为跑一次非常费时间,跑出来,没有找到相关性的数据,没有列出来,此时已经凌晨四点了,我不是传递我有多辛苦的信号,我是想说调参必须花大量精力,去得出大量的数据,然后分析数据。

试验2

因为测试集的问题,准确率迟迟达不到0.99,我就把测试集跟训练集合并成一个数据集,将这个数据集即用来做训练集又用来做测试集(书里有说,这样调出来的参数,用来测测试集的准确率比较高,但实际运用中的准确率比较不理想,但我是想验证一下,能不能跑到0.99)结果测试如下

最后还是没跑到0.99,我就换了一个大的数据集,来到试验3

试验3

试验3中的训练集数据6万个,测试集2万个,结果我参数都没怎么调,一跑就百分之九十以上,达到我们需要的目的。

从三个试验中总结出神经网络如果要预测出准确率高,则数据集要大,再者就是参数要好,通过试验1、2可以看出,在数据集比较小的情况下,我们可以通过调节参数,来尽可能的是准确率提高,通过试验3得出,神经网络在大量数据学习之后的准确率比较大,所以我们不但要有一个庞大的数据集,而且还要有一个最优的参数,两者的结合,才能是我们的模型准确的预测我们想要的结果,从而使误差降到最低。

如果有不对的地方,或者有更好的方法,还望大家指点

链接:代码和数据文件https://pan.baidu.com/s/1yY1NGSvosneUGsxDupvrgg

提取码:rrq2

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,245评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,749评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,960评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,575评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,668评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,670评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,664评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,422评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,864评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,178评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,340评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,015评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,646评论 3 323
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,265评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,494评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,261评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,206评论 2 352