神经网络的训练,究竟在训练什么

前面我们已经了解到神经网络进行预测的过程,但是仍然留下许多疑问,比如权重值如何获得,如何训练神经网络等,这些问题我们将在本文展开。


权重值如何得到

权重值也就是前文所提到的小蜘蛛的道具,没有看过的朋友可以先看看我的上一个博客。

权重值该如何获得呢?

我们以最简单的三个神经元的神经网络举例子:


最左边的神经元是起点,最右边的是终点,只有中间的神经元有权重值。

我们先来离散的获得一部分点:

我们可以隐约地看到这些点大约分布在一条直线附近, 我们把这条直线画出来


那我们如何通过这几个点来获得这条红色的线呢?

先来明确一个问题:获得红色的线有什么用?

  • 获得红色线后,我们可以提供一个x的值,然后预测y的值,虽然这个值不一定准确,但是也在一个大概的范围内。

这十个已知的点分别是什么?


第一列表示x轴的坐标,第二列表示y轴的坐标

其实思路就是用最小二乘法,先假设随便画一条线


我画了一条y=0.1x+0.1的线如图所示

y = wx + b

我令w=0.1, b=0.1

随机给w和b赋值,不用在以是多少,先画出来,有可能一次就能画出红色的线!

显然我们画的线差距很大,此时使用最小二乘法,就是每个点到直线的距离加起来,再用梯度下降法来优化!


好的,如果我这么说,肯定和每说一样,那么我一步一步

第一个点的坐标是(1, 0.16375502570787515),我们把x=1带入y=0.1x+0.1这个函数,得到y=0.2

显然我们正确的y应该是0.163,那么正确的y,和我们在y=0.1x+0.1得到的y值差距是多大呢?差距是:(0.163-0.2)^2

我们要想办法减小这个差距

差距是怎么得到的?预测值减去真实值再平方,用数学语言就是(0.1*1+0.1-0.2)^2 ==> (wx+b-2)^2

就是说我们要对函数 (y - wx+b)^2 获得的值最小,也就是求这个函数的最小值,高中数学就讲到求函数最小值的方法就是求导,这是二元函数,就是高考最喜欢做的题目!!!求导之后画出导数函数的图像,然后与0相交的点就是极小值点!大家应该很熟悉这个步骤。

不过

这个函数有w和b两个未知数,我们的思路是正确的,只是不能通过这种方式获得最小值,所以这里我们求的是对w和对b的偏导数,(这里需要微积分学历)对w的偏导数就是 2w(wx+b-y)。对b的偏导数就是2(wx+b-y)

此时我们把第一个点的数据代入 x=1, y=0.163, w=0.1, b=0.1

对w的偏导数等于 0.0326

对b的偏导数等于 0.326


此时,我们设定一个步长,也叫学习率,假设等于0.2吧,

对于步长的理解,类似于我们在山顶,找不到下山的路,那我们可以一小步一小步走,每走一小步,环顾四周,看看哪一边最陡峭,就往那边走一小步,不断走,就可以到达山底。

那么,

  • 更新后的w等于 0.1 - (-0.0326) x 0.2 = 1.00652

  • 更新后的b等于 0.1 - (-0.326) x 0.2 = 1.0652


我们已经更新了w和b的值,只要重复这个步骤足够多的次数,那么就可以得到很接近红色的线。

其实,这就是神经网络的训练过程。

过程总结

先把我们已经有的值传入网络,网络一开始的权重值是随机的,传入网络得到一个预测值,这个预测值会和真实值有一定的差距,那么我们优化这个差距,让这个差距变小,其实这就是一个反向传播的过程,我们用数学计算来更新了w和b的值,那么下一次传入网络得到的预测值与真实值之间的距离就会减小,周而复始,这个距离不断减小,我们就可以得到一个预测能力比较好的w和b,也就是拟合能力比较强的网络,就可以对未知的数据得到较为准确的结果。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343