制作软件幕布,可生成清晰的思维度导图
了解幕布
注册连接:幕布是一款结构化思维生产力工具
如果大家喜欢的话麻烦从我的这个连接注册,这样我就可以使用高级会员功能了,,,谢谢啦
建议直接看思维导图,如果图片不清晰可点击查看原图(屏幕中间下方)。
文章列表
图解神经网络之--1.0 感知器(Perceptron)
图解神经网络之--2.0 线性单元(Linear Regression)
线性单元以及梯度下降
下面是幕布标签内容
线性单元的概念:在面对一个数据集不是线性可分的时候,使用感知器规则 可能无法进行收敛,无法训练成一个感知器的问题时,我们用一个可倒的线性函数来替换感知器的跳跃函数,这样的感知器就叫做线性单元,线性单元在面对线性不可分的数据集时,会收敛到一个最佳的近似值上。
图示:
输出:更改激活函数之后线性单元返回的是一个实数值而不是0,1分类,因此线性单元用来解决的是回归问题而不是分类问题。
线性模型:当我们说模型时,我们实际上在谈论根据输入X 预测输出Y的算法
输出Y 就是输入x1-x4的线性组合。
线性单元的目标函数和梯度下降优化:目标函数预测值和标签的近似程度 e是单个样本的误差。(一般用的是差的平方的二分之一,乘二分之一是为了之后求导好算)对于一个训练数据集来说,误差越小就说明模型越好,由此可见,模型的训练,实际上就是求取到合适的w。则需要使用下面的优化算法优化我们的目标函数(E(W))
批梯度下降(Batch Gradient Descent)优化优化的目的:通过梯度下降对得到的目标函数 (E(W))进行优化找到最合适的w
梯度概念:梯度是一个向量,它指向函数值上升最快的方向。
方法:我们通过梯度的反方向去修改x的值,在找到极值点。
推倒过程推倒目的:
随机梯度下降算法(Stochastic Gradient Descent, SGD)概念:如果样本数目非常大,那么采用批梯度下降计算量将会异常巨大,在SGD中,每次w的迭代只计算一个样本,这样更新效率就会大大提高