神经网络概览

凭着多年的编程经验,突然接触到了“深度学习”这块硬骨头,有点无从下手。因为,多年的编程几乎都是业务、逻辑的编程,很少遇到这样高度“数学化”的东东,可谓纯情小白一只。

好在,那些曾经奄奄一息、于悬崖边垂挂的线性代数、概率论、高数,多年以后再度重温,居然于字句中不忍怒骂:编书的老家伙们,干嘛如此惜墨如金!

好了,废话少说。深度学习,往往先从神经网络模型开始。

神经网络模型

一个三层神经网络.png

对于这样一个神经网络,其学习的几个重要点是:

1、掌握它的专业名词和相关数学符号
2、进行数学表示,即利用线性代数对其进行矩阵表示和向量表示
3、程序化,即将数学表示转化为 python 程序

第1点本文不再普及,主要进行第2点,第3点程序化的问题也暂时不提。

网络的第一层

首先把目光锁定在 layer0 到 layer1 这一层运算,其整体是 3 个未知数 x1, x2, x3 经过 4 个方程的线性运算,最终得到 4 个结果值。于是有以下矩阵表示:

layer1 线性方程的矩阵表示.png

单个节点方程

如果单看 layer1 的第一个节点(神经元),三个未知数和三个权重系数进行加权运算,得到一个加权值。这样得运算就是一个方程,表示为:

layer1 第一个节点的矩阵运算表示.png

至于为什么要转置,我猜权重系数 w 和未知数 x 在网络中的视觉上都是“竖”向排列的,因此矩阵运算中“躺着”看起来描述得不准确,故将其转置一下~

整层节点方程

将上述 1 个节点纵向扩展为 4 个节点,便能写出整个 layer1 层所有节点的整体数学表示(并使用大写 W 表示 layer1 的权重系数矩阵):

layer1 整层矩阵运算表示.png

整层节点的每一个节点,经过一个偏移量和一个激活函数处理后,就得到最终的结果。仍然用一个简练的整体的数学表示为:

激活函数处理.png

n 层神经网络

n 层神经网络的数学符号表示,只不过是上述推导的一层网络的重复迭代而已。此时能感受到单层网络的维度瞬间增加到 n 维,其数学推导如下:

n 层网络迭代.png

多层神经网络便构成了一个多层感知机,它通过输入几个变量属性,便能响应出一个结果。

k 个样本

以上是将单层网络向多层网络的维度扩张,并且用的是一个样本的 3 个属性去进行计算的。试想,如果有百万千万个样本(如有 k 个样本),每个样本携带有 m 个属性,在数学表示上是不是又变得复杂起来?

好消息是问题并没有变复杂——每一个样本的运算都经历了相同的步骤,k 个样本就是 k 次相同运算,在编程时,这只是一个 for 循环的事儿。得益于神经网络模型严谨的设计,使得维度扩张显得如此轻而易举。

个人觉得,从矩阵变换的角度理解下 k 个样本的运算,大概是这样的:
如果没有激活函数或者激活函数是一个线性函数,那么整个神经网络就相当于一个超级变换矩阵 W s,将 k 个样本进行一次线性变换,就得到了对应的最终结果 y 帽。
但深度学习中,激活函数往往都是非线性的,目的之一就是破坏这种线性变换关系,那此时神经网络相当于一个超级函数 f s,将 k 个样本进行一次非线性变换,得到了对应的最终结果 y 帽。

而我们所有后面要做的事,就是找到某种形式下的最优的这种超级函数 f s。

本图符号表示为自个儿定义的,谨防误解.png

编辑这些公式不容易,若转载请注名本作者。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,029评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,238评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,576评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,214评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,324评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,392评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,416评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,196评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,631评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,919评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,090评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,767评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,410评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,090评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,328评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,952评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,979评论 2 351

推荐阅读更多精彩内容

  • “为你,千千万万遍!”简单的七个字包含了多少情感,一个是富家子弟阿米尔,一个是贫穷的仆人哈桑,却都是喝同一个母乳...
    超级大的西瓜籽阅读 420评论 0 0
  • 青年 一个动人的字眼 归来 我仍是电梯口穿着粉色连衣裙的女孩 今夜 我突然怀念学校那座水上图书馆 一到夜里 它就变...
    拂意雪阅读 155评论 0 0
  • 文:吃货不孤独 本文原创,欢迎转载 我们公司里面有个小陈,负责我们相关的公司的各种杂项工作,也喜欢看各种鸡汤文章,...
    吃货不孤独阅读 1,196评论 15 14
  • 运动过程中发生的各种损伤。其损伤部位与运动项目以及专项技术特点有关。如体操运动员受伤部位多是腕、肩及腰部,与体操动...
    一颗梧桐树阅读 1,400评论 0 7
  • 1:感恩师父。 2:感恩芳姐。 3:感恩清莹。
    阿曼达Amanda阅读 145评论 0 0