深度学习04-导数回顾

1. 什么是导数

    当函数y=f(x)的变量x在一点x0上产生一个增量Δx时,函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在,a即为在x0处的导数,df(x0)/dx。也就是说,导数是描述数学中描述函数在坐标系的斜线的变化率,导数越大,斜率越大,变化率越高。

2. 如何计算导数

    如图所示,函数f(a)将x右移0.001,则y的值将变大0.003,将y的增加值/x的增加值,即为df(x0)/dx的导数=3。

一次方程导数

    需要注意的是导数是可变的,在1元2次函数中,不同的地方斜率不一样,导数也不一样,但计算方法不变。

1元2次函数

    在2元2次函数中的表示也是可变的:通过a点可以有多个切线,此时需要做切面才可只算导数(这点可以不用深究)

3. 为什么要计算导数:

    一个神经网络的计算,都是按照前向传播过程或反向传播过程来实现的。首先计算出神经网络的输出,紧接着进行一个反向传输操作;而对于反向传播过程我们用来计算出对应的梯度或导数。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容