登录注册写文章

深度学习应用到的数学知识

kokana

深度学习应用到的数学知识

导数

导数的定义

$f'(a) = \lim_{h\to0}\frac {f(a + h) - f(a)}{h}$

导数的基本求导法则传送门

梯度和Hessian矩阵

一阶导数和梯度(gradient vector)

$f'(x); \Delta f(x) = \frac {\delta f(x)}{\delta x} = \begin{bmatrix} \frac {\delta f(x)}{\delta x_1} \\\vdots\\ \frac {\delta f(x)}{\delta x_n}\end{bmatrix} \quad$

二阶导数和Hessian矩阵

$f''(x); H(x) = \Delta ^ 2 f(x) = \begin{bmatrix} \frac {\delta ^2 f(x)}{\delta x^2_1}&\frac {\delta ^2 f(x)}{\delta x_1\delta x_2}&\dots & \frac {\delta ^2 f(x)}{\delta x_1\delta x_n} & \dots \\ \frac {\delta ^2 f(x)}{\delta x_2\delta x_1}& \frac {\delta ^2 f(x)}{\delta x^2_2} \\ &&\ddots \\\frac {\delta ^2 f(x)}{\delta x_n\delta x_1}&\frac {\delta ^2 f(x)}{\delta x_n\delta x_2}&& \frac {\delta ^2 f(x)}{\delta x^2_n}\end{bmatrix}$

最后编辑于：2019.03.05 10:53:47

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

友情链接更多精彩内容

赞1赞

赞赏

手机看全文

深度学习应用到的数学知识

导数

梯度和Hessian矩阵

相关阅读更多精彩内容

友情链接更多精彩内容