图解神经网络之--2.0 线性单元(Linear Regression)

制作软件幕布,可生成清晰的思维度导图

了解幕布
注册连接:幕布是一款结构化思维生产力工具
如果大家喜欢的话麻烦从我的这个连接注册,这样我就可以使用高级会员功能了,,,谢谢啦


建议直接看思维导图,如果图片不清晰可点击查看原图(屏幕中间下方)。

查看原图

文章列表

图解神经网络之--1.0 感知器(Perceptron)
图解神经网络之--2.0 线性单元(Linear Regression)


线性单元以及梯度下降

线性单元.png

下面是幕布标签内容
线性单元的概念:在面对一个数据集不是线性可分的时候,使用感知器规则 可能无法进行收敛,无法训练成一个感知器的问题时,我们用一个可倒的线性函数来替换感知器的跳跃函数,这样的感知器就叫做线性单元,线性单元在面对线性不可分的数据集时,会收敛到一个最佳的近似值上。
图示:


输出:更改激活函数之后线性单元返回的是一个实数值而不是0,1分类,因此线性单元用来解决的是回归问题而不是分类问题。

线性模型:当我们说模型时,我们实际上在谈论根据输入X 预测输出Y的算法

工资模型的表达式 输入分别是影响工资的参数 x1 - x4

更改为向量的形式

输出Y 就是输入x1-x4的线性组合。

线性单元的目标函数和梯度下降优化:目标函数预测值和标签的近似程度 e是单个样本的误差。(一般用的是差的平方的二分之一,乘二分之一是为了之后求导好算)

整体误差:

单个预测输出:

整体误差代入式(x和y都是已知的下式是关于w的函数)

对于一个训练数据集来说,误差越小就说明模型越好,由此可见,模型的训练,实际上就是求取到合适的w。则需要使用下面的优化算法优化我们的目标函数(E(W))

批梯度下降(Batch Gradient Descent)优化优化的目的:通过梯度下降对得到的目标函数 (E(W))进行优化找到最合适的w

理论基础:连续函数最小值的点,是其倒数为零的点。因为计算机无法进行求导操作,所以通过枚举法一步一步的把极值点试出来。

梯度概念:梯度是一个向量,它指向函数值上升最快的方向。
方法:我们通过梯度的反方向去修改x的值,在找到极值点。

公式: 倒三角是梯度算子,f(x)是梯度,n是步长,也叫学习率。


目标函数的梯度:

推倒过程推倒目的:

step1:提出常数

step2:抛开求和

step3:复合求导

step4:带入上式

修改之后的线性单元的参数修改规则

随机梯度下降算法(Stochastic Gradient Descent, SGD)概念:如果样本数目非常大,那么采用批梯度下降计算量将会异常巨大,在SGD中,每次w的迭代只计算一个样本,这样更新效率就会大大提高

图示:
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容