神经网络基础知识学习笔记

教材选用《人工智能及其应用(第五版)》,蔡自兴等著;


1.了解人工神经网络的基本特性和结构;


人工神经元模型

人工神经元由n个输入xi和一个输出y(t)组成,b为神经元阈值,wij为连接权系数,f()为输出变换函数。

f()通常采用0和1这样的二值函数,模型的基本形式为Threshold Logical Unit(线性阈值单元),TLU解决的问题是线性可分的,与、或、非等简单逻辑都可通过单个TLU实现。


前馈神经网络图


递归神经网络图

人工神经网络的结构基本有两类:即feedforward neural network(前馈网络)和feedback neural network(反馈网络)。前馈网络的各神经元分层排列,层间没有反馈;反馈网络有的神经元的输出反馈至同层或前层神经元,如果是闭环的反馈网络称为Recurrent neural network(递归网络)。

人工神经网络主要通过两种方式学习:Supervised learning(有监督学习)和Unsupervised Learning(无监督学习)两种,增强学习可视作有监督学习的一种特例。


2.了解人工神经网络是怎样学习的;

1)基于赫布规则的神经网络学习

Hebb's rule(赫布规则)是Neuroethology(神经行为学)的基本概念之一,描述如下:

When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A’s efficiency, as one of cells firing B, is increase.(当神经元A的轴突与神经元B很近并参与了对B的重复持续的兴奋时,这两个神经元或其中一个便会发生某些生长过程或代谢变化,致使A作为能使B兴奋的细胞之一,它的效能增强了)


赫布学习规则

基于赫布规则的神经网络学习称为Hebb  Learning(赫布学习),赫布学习常用于识别的学习,下面是一个有监督的赫布学习示例:

1.用矩阵向量表示字母M和L
2.用赫布规则训练神经网络
3.识别字母M或L

在上述过程1中取训练(采样)输入,过程2按照赫布规则学习得到权重函数w,用于过程3中的识别输出期望。还有一个赫布学习示例点击这里查看。

2)基于反向传播的神经网络学习

Backpropagation(反向传播)是用于训练人工神经网络的常用算法 ,BP网络是一种典型的前馈网络,反向传播包含从输出节点开始,反向地向隐层传播由总误差引起的权值修正,所以称为“反向传播”。


权值修正公式

反向传播要对网络中所有权重计算损失函数的梯度,再将梯度反馈给最优化方法,用来更新权值以最小化损失函数。

1.计算输出层的误差用于更新隐层的权值
2.再基于隐层计算的误差更新上一层的权值

3)Hopfield神经网络

Hopfield神经网络是一种递归神经网络,它的特点是结合了联想存储和二元系统,保证了局部的最小收敛。


一个有四个节点的Hopfiled网络

Hopfield神经网络分为离散型和连续型两种,这里以离散Hopfield网络为例进行学习:离散Hopfield网络是单层全互联的,如上图所示,每个神经元取二值(0/1或1/-1),神经元间的连接是对称的,即wij=wji。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,874评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,102评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,676评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,911评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,937评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,935评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,860评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,660评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,113评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,363评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,506评论 1 346
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,238评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,861评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,486评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,674评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,513评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,426评论 2 352

推荐阅读更多精彩内容

  • 文章主要分为:一、人工神经网络的概念;二、人工神经网络的发展历史;三、人工神经网络的特点;四、人工神经网络的结构。...
    艾剪疏阅读 16,329评论 0 7
  • 只想我心烦的时候,你会静静地一个人呆着,只想需要快乐的时候,你会随叫随到,只想疯狂的时候,你只会陪我疯狂,只想我不...
    idayuju阅读 171评论 0 0
  • 有关乐观主义与悲观主义的我曾经和一个中文系的朋友说我最近研究叔本华,他说不要看他,他就是一个彻底的悲观主义者,再有...
    孤心诣阅读 340评论 2 1
  • 作者:张馨之 笔名:馨之 文字来源于:朋友圈幽默风趣语句集锦…… 据说早在公元前人们就习惯用到一组成语叫...
    馨之随笔阅读 739评论 0 1
  • “ 二十几年来,日日与我相伴的,唯有猜不透的人心,填不平的欲望,争不休的权势。而此刻,而此刻,阳光灿烂,风吹绿柳...
    乾上乾下阅读 320评论 0 0