深度学习理论笔记(感知机)

学习韩老师的文章,笔记如下:

深度学习的入门不得不谈感知机,何为感知机?

感知机其实就是神经元,神经网络的组成单位。如下图中,Layer 2中的神经元都可以称为感知机。

其中,第一层称为输入层,第二层为隐含层,第三层为输出层。

一个感知机(神经元)可以详细剖析其运算过程:


感知机(神经元)剖析

可以看到,一个神经元的状态的计算过程为:输入乘以权重矩阵然后加上偏置再通过一个激活函数,得到最终的输出值。


给定输入和输出,感知器可以拟合任何的线性函数(其定义就类似线性函数)。

重点:感知器的训练


权重的更新=当前权重+学习率乘以误差乘以对应输入

wi=wi+rate×(distance)×xi

偏置的更新=当前偏置+学习率乘以误差

b=b+rate×(distance)

迭代次数相当于让模型重复学习多少遍,每次学习都是遍历所有训练集

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容