神经网络相关概念介绍2018-01-26

误差函数

  • 首先,我们先说两个生活中的例子

    • 第一个是下楼梯,比如你在一个天桥上有四个方向的 楼梯,每个有20阶。你需要到达平底即可,那么这四个方向是没有区别,从哪个下去都会消耗一样的体能和一样的时间
    • 第二个例子是下山,你站在华山顶,现在同样要到达平面,有很多办法,做索道啊走栈道啊(恐怖至极甚重啊兄弟),或者一步一个脚印走下来。有句话说的好,“世上本无路,走的人多了便成了路”
      那你呢,要是穷逼还怕死,就只能走路喽,当然我知道你也不傻,肯定不会选择一条直线走下去啊,这走的每一步肯定都和你周围的环境有关系,选择最佳的方向,适当调整步长之类的,我想有个坑你也不至于非得踩下去吧。好,就这样,大家下山了,每个人选的方式和走的路不同,肯定下山的时间和消耗的体力也就不同了
  • 这两个例子看完了,我要开始说这个误差函数有什么关系了
    误差 Error 都知道,现实情况和事实啊正确数据等等的偏差嘛,而之前我说的你在天桥或山顶 到 地面的距离 就是误差!
    你想要回到平地,就是在想办法减小误差

  • 下楼梯这中方法,每一个台阶就像是一个归类错误的点,每下一个台阶就像之前那个划分点的线,把一个归类错误的点放回了出于自己的地方。显而易见,对于这种离散的点,我们很难判断到底怎么走啊,就是我可能从天桥西边做两个感觉咋还没下去,我再回去东边方向走两节。
    我就是想说啊,这个离散的点啊真的很讨厌

  • 爬山可就不一样了,对于这种连续又没有规则的山路,我就可以选择很多很多了。这就像是连续数据形成的“误差山”,我可以一点点来,舒舒服服走下去。(后面好好说)

  • 现在我们来说说,非要用离散数据呢
    一个点,在坐标轴上就是一个点。太小了,我照顾了这个点不能照顾那个真的很烦,所以啊,我就把这个圆画大一点吼吼,两个好处 :

  1. 之前下图的误差不就是有几个点不在指定区域吗(此图为2),现在可一样了,我把你放大了,我就用面积衡量你,说实在的,就是加上你离我的三八线是近是远的条件喽
    2.有点的实在是分不到自己的区域,看看要是你半个身子在正确的地方,你就让让红的嘛,不是每个人都能满意嘛,男人多点承让,一定能成大事~!(我们女生也就不用成天生气了)
image.png

总之,我现在不要非零即一,我需要0-1中间的百分率aaaaaa,毕竟喜欢和不喜欢谁也说清楚啊,我需要你告诉我你多么喜欢我or多么不喜欢我!

交叉熵

image.png
import numpy as np

# Write a function that takes as input two lists Y, P,
# and returns the float corresponding to their cross-entropy.
def cross_entropy(Y, P):
    Y = np.float_(Y)
    P = np.float_(P)
    return - np.sum(Y*np.log(P)+(1-Y)*np.log(1-P))

神经网络

就像神经元一样,两个神经元转出来的内容,再经过总和,得到一个好的结果
下图所示:
根据不同情况,对线性模型进行中和吧。
每个线性的不是有输出吗,把他当做是输入,在进行权值相乘加上偏量,


image.png

经过s函数,变成0-1之间的数,然后就有了下图的多层


image.png
  • 多层级
    并非所有神经网络都看起像上面的那样。可能会复杂的多!尤其是,我们可以执行以下操作:
    向输入、隐藏和输出层添加更多节点。
    添加更多层级。
    我们将在后面看看这些变化的效果。


    image.png
image.png

前向反馈

就是根据提供的权值和偏移量进行输出,然后和真实结果相比较得到误差函数


image.png
image.png

反向传播

现在,我们准备好训练神经网络了。为此,我们将使用一种方法,叫做反向传播。简而言之,反向传播将包括:

  • 进行前向反馈运算。
  • 将模型的输出与期望的输出进行比较。
  • 计算误差。
  • 向后运行前向反馈运算(反向传播),将误差分散
    到每个权重上。
  • 更新权重,并获得更好的模型。
  • 继续此流程,直到获得很好的模型。

通俗的说,就是前两个线性的合成了右面的非线性的,结果还是有分类错的



那就是顶部模型的分类有错喽,就返回去再更改上一层的权值喽

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,539评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,594评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,871评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,963评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,984评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,763评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,468评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,357评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,850评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,002评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,144评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,823评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,483评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,026评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,150评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,415评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,092评论 2 355

推荐阅读更多精彩内容

  • 改进神经网络的学习方法(上) 当一个高尔夫球员刚开始学习打高尔夫时,他们通常会在挥杆的练习上花费大多数时间。慢慢地...
    nightwish夜愿阅读 2,922评论 2 8
  • (一) 这世上总有些遗憾开不了口,开不了口的都默默成为永久,只是没有如果,没当初见你时的忐忑、、、、 一本一本的日...
    苏沫逃离阅读 1,093评论 21 15
  • 文夕阳染幽草 独对寒窗怜独影,空邀澹月入空堂。 滚滚红尘蜉浊世,千杯一醉解君伤。
    夕阳染幽草阅读 212评论 0 0