机器学习笔记----导数

(参考百度百科)

导数定义:

设函数y=f(x)在点x0的某个邻域内有定义,当自变量x在x0处有增量Δx,(x0+Δx)也在该邻域内时,相应地函数取得增量Δy=f(x0+Δx)-f(x0);如果Δy与Δx之比当Δx→0时极限存在,则称函数y=f(x)在点x0处可导,并称这个极限为函数y=f(x)在点x0处的导数记作


导函数:

如果函数y=f(x)在开区间内每一点都可导,就称函数f(x)在区间内可导。这时函数y=f(x)对于区间内的每一个确定的x值,都对应着一个确定的导数值,这就构成一个新的函数,称这个函数为原来函数y=f(x)的导函数,记作y'、f'(x)、dy/dx或df(x)/dx,简称导数。

几何意义:

函数y=f(x)在x0点的导数f'(x0)的几何意义:表示函数曲线在点P0(x0,f(x0))处的切线的斜率(导数的几何意义是该函数曲线在这一点上的切线斜率)。

偏导数:

偏导数的表示符号为:∂。

x方向的偏导

设有二元函数 z=f(x,y) ,点(x0,y0)是其定义域D 内一点。把 y 固定在 y0而让 x 在 x0 有增量 △x ,相应地函数 z=f(x,y) 有增量(称为对 x 的偏增量)△z=f(x0+△x,y0)-f(x0,y0)。

如果 △z 与 △x 之比当 △x→0 时的极限存在,那么此极限值称为函数 z=f(x,y) 在 (x0,y0)处对 x 的偏导数,记作 f'x(x0,y0)或。函数 z=f(x,y) 在(x0,y0)处对 x 的偏导数,实际上就是把 y 固定在 y0看成常数后,一元函数z=f(x,y0)在 x0处的导数。

y方向的偏导

同样,把 x 固定在 x0,让 y 有增量 △y ,如果极限存在那么此极限称为函数 z=(x,y) 在 (x0,y0)处对 y 的偏导数。记作f'y(x0,y0)。

几何意义:

表示固定面上一点的切线斜率

偏导数 f'x(x0,y0) 表示固定面上一点对 x 轴的切线斜率;偏导数 f'y(x0,y0) 表示固定面上一点对 y 轴的切线斜率

高阶导数:

一阶导数的导数称为二阶导数,二阶以上的导数可由归纳法逐阶定义。二阶和二阶以上的导数统称为高阶导数。

y = f(x)的导数 y = f'(x)仍是 x 的函数,通常把导函数y=f'(x) 的导数叫做函数的二阶导数,记作:f''(x),y"  即

或者写成:

类似地,二阶导数的导数叫做三阶导数,三阶导数的导数叫做四阶导数…… . 一般地,n-1阶导数的导数叫做 n 阶导数,即


分别记作:


或者写为:


二阶及二阶以上的导数统称为高阶导数。

高阶导数的计算法则:

1. u(x),v(x)和的n阶导数

设函数u(x),v(x)在点x都具有n阶导数,则有:



2  u(x),v(x)积的n阶导数 (莱布尼兹公式):

设函数u(x),v(x)在点x都具有n阶导数:则有



复合函数及链式法则:

链式法则是求复合函数的导数(偏导数)的法则。

从一元函数出发,设 x 是实数,f 和 g 是从实数映射到实数的函数。假设 y=g(x),且 u=f(g(x))=f(y),即 u 是 x 的符合函数。是指


这个结论可推广到任意有限个函数复合到情形,于是复合函数的导数将是构成复合这有限个函数在相应点的 导数的乘积,就像锁链一样一环套一环,故称链式法则。

多元函数的链式法则:

若多元函数 u=g(y1,y2,...,ym) 在点 𝒃=(b1,b2,...,bm) 处可微,bi=fi(a1,a2,...,an)(i=1,2,...,m),每个函数 fi(x1,x2,...,xn) 在点 (a1,a2,...,an) 处都可微,则函数 u=g(f1(x1,x2,...,xn),f2(x1,x2,...,xn),...,fm(x1,x2,...,xn)) 也在(a1,a2,...,an) 处可微,且


这就是多元函数的链式法则,若同时考察一组(p 个)复合函数 u1,u2,...,up,其中 uk=gk(fi(x1,x2,...,xn),f2(x1,x2,...,xn),...,fm(x1,x2,...,xn))(k=1,2,...,p),将它们的偏导数写成矩阵(雅可比矩阵),则可以看到链式法则在形式上更有规律性,这时

若对于上面考察的这些函数,令 𝐠=(g1,g2,...,gp),𝒇=(f1,f2,...,fm),于是,𝐠 是 p 维向量值函数(定义与 𝑹m 的子集上),𝒇 是 m 维向量值函数(定义于𝑹n 的子集上),按照定义,它们的导数是相应的雅可比矩阵


等式右端为两矩阵𝐠‘ (𝒇 (𝒂)) 与𝒇‘ (𝒂) 的矩阵乘积),其中𝒂=(a1,a2,...,an).这就是向量值函数的链式法则,它在形式上与一元函数的链式法则完全相同


函数的凹凸性:

中国数学界关于函数凹凸性定义和国外很多定义是反的。国内教材中的凹凸,是指曲线,而不是指函数,图像的凹凸与直观感受一致,却与函数的凹凸性相反。只要记住“函数的凹凸性与曲线的凹凸性相反”就不会把概念搞乱了

定义:如果定义在某一区间上的一元实函数是连续函数,且对这一区间中的任何两点X1、X2,当X1<X2 时,有不等式

其中q1、q2为正数,q1+q2=1,这时,我们把函数f(x)叫做凹函数,或叫做下凸函数。

如果把上述条件中的“≥”改成“>”,则叫做严格凹函数,或叫做严格下凸函数。

如果y=f(x)是(严格)凹函数,那么它的图象是(严格)凹曲线,或叫做(严格)下凸曲线。

如果一元实函数f(x)在某区间二阶可导,那么这一函数为凹函数的充要条件是在这一区间上恒有f‘’(x)≤0(对于严格凹函数,只要改成f‘’(x)<0就可以了)。

设函数f(x)在定义域内连续可导且满足f''(x)>0;设x1

因ax1+(1-a)x2-x1=(1-a)(x2-x1)>0;

则x1

根据拉格朗日中值定理

必存在x1<μ< ax1+(1-a)x2;

使f[ax1+(1-a)x2]-f(x1)= (1-a)(x2-x1)f'(μ);

同理。

存在ax1+(1-a)x2<ξ

使f(x2)- f[ax1+(1-a)x2]= a(x2-x1)f'(ξ);

故a{f[ax1+(1-a)x2]-f(x1)}- (1-a){f(x2)- f[ax1+(1-a)x2]}=a (1-a)(x2-x1)[f’(μ)- f’(ξ)];

根据拉格朗日中值定理。

有μ<δ<ξ;

f'(μ)- f'(ξ)=(μ-ξ)f''(δ);

因f''(x)>0;

则f'(μ)- f'(ξ)<0;

则a{f[ax1+(1-a)x2]-f(x1)}- (1-a){f(x2)- f[ax1+(1-a)x2]}<0;

整理后得f[ax1+(1-a)x2]

同理,若f''(x)≤0,则结果相反 。

即若f''(x)≤0,则f[ax1+(1-a)x2]≥af(x1)+(1-a)f(x2);满足凹函数的定义。

证明完毕;


泰勒公式:

泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果函数足够平滑的话,在已知函数在某一点的各阶导数值的情况之下,泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值。泰勒公式还给出了这个多项式和实际的函数值之间的偏差。

若函数f(x)在包含x0的某个闭区间[a,b]上具有n阶导数,且在开区间(a,b)上具有(n+1)阶导数,则对闭区间[a,b]上任意一点x,成立下式:


其中,

表示f(x)的n阶导数,等号后的多项式称为函数f(x)在x0处的泰勒展开式,剩余的Rn(x)是泰勒公式的余项,是(x-x0)n的高阶无穷小

实际应用中,泰勒公式需要截断,只取有限项,一个函数的有限项的泰勒级数叫做泰勒展开式。泰勒公式的余项可以用于估算这种近似的误差。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容

  • C语言的学习要从基础开始,这里是100个经典的算法-1C语言的学习要从基础开始,这里是100个经典的 算法 题目:...
    Poison_19ce阅读 1,117评论 0 0
  • 来源: http://www.douban.com/group/topic/14820131/ 调整变量格式: f...
    MC1229阅读 6,903评论 0 5
  • 凸集和凸函数的定义: 凸集: 数学定义:集合X 属于R^n(即其中的元素x有n维,每维都在R实数空间)如果X是凸集...
    dlongry阅读 3,139评论 0 0
  • (转自http://www.douban.com/group/topic/14820131/,转自人大论坛) 调整...
    f382b3d9bdb3阅读 10,195评论 0 8
  • 最后一天,似乎是要写我的搭档。 我的搭档坚持写作,每天。写作的时候似乎进入很自由的流动状态。 能够流畅的写出很多脑...
    吉光片羽_f970阅读 101评论 0 0