登录注册写文章

深度学习应用到的数学知识

深度学习应用到的数学知识

导数

导数的定义

$f'(a) = \lim_{h\to0}\frac {f(a + h) - f(a)}{h}$

导数的基本求导法则传送门

梯度和Hessian矩阵

一阶导数和梯度(gradient vector)

$f'(x); \Delta f(x) = \frac {\delta f(x)}{\delta x} = \begin{bmatrix} \frac {\delta f(x)}{\delta x_1} \\\vdots\\ \frac {\delta f(x)}{\delta x_n}\end{bmatrix} \quad$

二阶导数和Hessian矩阵

$f''(x); H(x) = \Delta ^ 2 f(x) = \begin{bmatrix} \frac {\delta ^2 f(x)}{\delta x^2_1}&\frac {\delta ^2 f(x)}{\delta x_1\delta x_2}&\dots & \frac {\delta ^2 f(x)}{\delta x_1\delta x_n} & \dots \\ \frac {\delta ^2 f(x)}{\delta x_2\delta x_1}& \frac {\delta ^2 f(x)}{\delta x^2_2} \\ &&\ddots \\\frac {\delta ^2 f(x)}{\delta x_n\delta x_1}&\frac {\delta ^2 f(x)}{\delta x_n\delta x_2}&& \frac {\delta ^2 f(x)}{\delta x^2_n}\end{bmatrix}$

最后编辑于：2019.03.05 10:53:47

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

监督学习应用：梯度下降
【转载】线性代数基础知识原文地址：http://blog.csdn.net/longxinchen_ml/art...
刘卡卡爱吃烤土豆阅读 1,313评论 0赞 0
图像处理常用边缘检测算子总结
不同图像灰度不同，边界处一般会有明显的边缘，利用此特征可以分割图像。需要说明的是：边缘和物体间的边界并不等同，边缘...
大川无敌阅读 13,979评论 0赞 29
焦点父母课堂洛阳一期班罗艳分享第九十二天
今天孩子期末考试，天公不作美又下雪了。幸好老公在家可以去送孩子上学，不用挤公交车了，我也不用担心他自己去上学路上的...
燕子136阅读 161评论 0赞 0
你还在等什么?GO GO
朋友，你想变瘦吗？朋友，你想变得帅气吗？朋友，你想变得卡哇伊吗？朋友，你想变得自信勇敢吗？你还在等什么？ ...
蒲烟静雨阅读 181评论 0赞 1
php mb_strlen的正确用法
今天有个php的小伙伴问我怎么两台服务器 mb_strlen 出来的结果不一样，我一执行，还真是。查了下手册 ...
xiasix阅读 3,406评论 0赞 1

赞1赞

赞赏

手机看全文