神经网络学习之M-P模型

概念

所谓M-P模型,其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型,它实际上就是对单个神经元的一种建模。



生物神经元模型

1. 每个神经元都是一个多输入单输出的信息处理单元;

2. 神经元输入分兴奋性输入和抑制性输入两种类型;

3. 神经元具有空间整合特性和阈值特性(兴奋和抑制,超过阈值为兴奋,低于是抑制);

4. 神经元输入与输出间有固定的时滞,主要取决于突触延搁;


按照生物神经元,我们建立M-P模型。为了使得建模更加简单,以便于进行形式化表达,我们忽略时间整合作用、不应期等复杂因素,并把神经元的突触时延和强度当成常数。下图就是一个M-P模型的示意图。


M-P模型的示意图

生物神经元模型与人工构造的MP模型的一个对比

两者对比

结合M-P模型示意图来看,对于某一个神经元j,它可能接受同时接受了许多个输入信号,用χi表示。

由于生物神经元具有不同的突触性质和突触强度,所以对神经元的影响不同,我们用权值ωij来表示,其大小则代表了突出的不同连接强度。

θj表示为一个阈值(threshold),或称为偏置(bias),超过阈值为兴奋,低于是抑制。

由于累加性,我们对全部输入信号进行累加整合,相当于生物神经元中的膜电位(水的变化总量),其值就为:

净激活,后边可简化



基本MP模型

                      

激发函数的介绍


基本模型

由于累加性,我们对全部输入信号进行累加整合,相当于生物神经元中的膜电位(水的变化总量),其值就为


net'j(t)称为净激活(net activation)

所以可以简化为,若将阈值看成是神经元j的一个输入x0的权重w0j,则上面的式子可以简化为:

简化后的公式

若用X表示输入向量,用W表示权重向量,即:


向量形式

则神经元的输出可以表示为向量相乘的形式:


向量形式公式

M-P模型在人工神经网络中的地位

首先M-P模型是所有人工神经元中第一个被建立起来的,它在多个方面都显示出生物神经元所具有的基本特性。

其次,目前其它形式的人工神经元已有很多,但大多数都是在M-P模型的基础上经过不同的修正,改进变换而发展起来。因此M-P人工神经元是整个人工神经网的基础。

对M-P人工神经元进行改进的主要方式有如下几个方面:

1、神经元的内部改造:对人工神经元取不同的非线性函数;

2、对输入和输出做不同的限制:离散的(某些离散点)和连续的(整个实数域)。

3、神经网络的结构上的改造:人工神经元之间的联接形式不同。

4、算法的改进:在人工神经网络权值和阈值取求的方法上不同。

5、其它形式的改造。

几种典型的激活函数(Activation Function)

线性函数

三个线性激活函数

非线性

非线性的激活函数

对称型阶跃函数

阶跃函数


阶跃函数

高斯函数: 是可微的,分一维和高维,用下式表示:如图(a)和(b)


(a)


(b)


一维


二维
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 前几天看到一个段子:女孩失恋了找了男孩一起喝酒,恰逢下起了大雨,女孩认为是老天都在替她难过,男孩却说老天是在为他难...
    m宝啊啊宝m阅读 1,693评论 0 1
  • 不知什么时候,楼下的梅花谢了,一瓣一瓣地零落在小路旁,花坛里,坚守在枝头上的花朵也萎蔫了,像老人皱褶的面颊,颜色由...
    逸行客阅读 3,751评论 0 5
  • 电脑上的手机助手里的软件版,但不知道怎么导入图片,所以可能看起来会比较枯燥,不过应该只有我自己会看,或许以后...
    孔阳若光阅读 3,775评论 1 1
  • 目录君觉得有个爱人真好 十七章简介 也许,在所爱的人身边,每个人都会变成一个开心的孩子。袁笑开心地和倪若在海南度着...
    苏寂然阅读 3,573评论 2 8

友情链接更多精彩内容