Hessian矩阵在机器学习中的应用

1 概念

1.1 Jacob矩阵

有时，我们需要计算多元函数的所有偏导数，并将其用在对当前点的最优线性逼近当中，Jacob矩阵将多元函数的偏导数以一定顺序排列成为矩阵。具体来说，如果我们有一个函数 ${ F：R }^{ m }\xrightarrow [ ]{ } { R }^{ n }$ ,则 $f$ 的Jacobian矩阵定义为:
${ J }_{ i,j }=\frac { \partial }{ \partial { x }_{ j } } { f(y_{ i }) }$

假设 ${ F：R }^{ m }\xrightarrow [ ]{ } { R }^{ n }$ 是从一个欧式n维空间转换到欧式m维空间的函数，这个函数由m个实函数组成，即： $y1(x1,\cdots ,xn),\cdots ,ym(x1,\cdots ,xn)$ .这些偏导数（如果存在）可以组成一个 n 行 m 列的矩阵，这就是所谓Jacob矩阵： $\begin{bmatrix} \frac { { \partial }_{ y1 } }{ { \partial }_{ x1 } } & \cdots & \frac { { \partial }_{ y1 } }{ { \partial }_{ xn } } \\ \vdots & \ddots & \vdots \\ \frac { { \partial }_{ yn } }{ { \partial }_{ x1 } } & \cdots & \frac { { \partial }_{ yn } }{ { \partial }_{ xn } } \end{bmatrix}$

1.2 hessian矩阵

当我们需要判断对当前点的最优线性逼近速度时，我们会需要考虑导数的导数，即二阶导数。例如，有一个函数 $f:{ R }^{ m }\longmapsto R$ ， $f$ 的一阶导数(关于 ${ x }_{ j }$ )关于 ${ x }_{ i }$ 的导数记为: $\frac { { \partial }^{ 2 } }{ { \partial }_{ x }{ \partial }_{ y } } f$ ，它能够告诉我们，结果是否会产生如我们预期那样大的改善。二阶矩阵以矩阵的形式表述为: $\begin{bmatrix} \frac { { \partial }^{ 2 } }{ { \partial }^{ { x }_{ 1 } }{ \partial }^{ { x }_{ 1 } } } & \cdots & \frac { { \partial }^{ 2 } }{ { \partial }^{ { x }_{ 1 } }{ \partial }^{ { x }_{ n } } } \\ \vdots & \ddots & \vdots \\ \frac { { \partial }^{ 2 } }{ { \partial }^{ { x }_{ n } }{ \partial }^{ { x }_{ 1 } } } & \cdots & \frac { { \partial }^{ 2 } }{ { \partial }^{ { x }_{ n } }{ \partial }^{ { x }_{ n } } } \end{bmatrix}$ 我们可以使用二阶导数的值来判断梯度下降的速率，当负梯度值 $\epsilon$ 为1时，代价函数将下降 $\epsilon$ 的大小，如果二阶导数为负值时，梯度下降的值将比 $\epsilon$ 少，如果二阶导数是正值，则梯度下降的值将比 $\epsilon$ 多。

1.3 正定矩阵、负定矩阵

这里简要介绍下定义和性质，后面会用的到。

定义

一个n×n的实对称矩阵 M 是正定的，当且仅当对于所有的非零实系数向量z，都有zTMz > 0。其中zT表示z的转置。
一个n×n的实对称矩阵M是负定的，当且仅当对于所有的非零实系数向量，都有zTMz < 0。其中zT表示z的转置。

判别正定矩阵

矩阵 M的所有的特征值 ${ \lambda _{i}}$ 都是正的。
M的所有顺序主子式，也就是顺序主子阵的行列式都是正的
存在唯一的下三角矩阵 $L$ ，其主对角线上的元素全是正的，使得 $M=L L^*$ , 使得 $L^*$ 是 $L$ 的转置

2 Hessian矩阵的使用

2.1 hessian矩阵与特征值的关系

由于hessian矩阵是二阶导数组成的矩阵，而微分算子在二阶偏导数连续的点上可交换，因此Hessian矩阵处处对称，则hessian矩阵是实对称矩阵，因此可以分解成 ${\Epsilon\wedge \Epsilon }$ 的形式。
假设原函数为: $f({ x }_{ 1 },{ x }_{ 2 },{ x }_{ 3 })$ ,假设以考虑 ${ x }_{ 1 },{ x }_{ 2 },{ x }_{ 3 } = t({ v }_{ 1 },{ v }_{ 2 }\cdots { v }_{ n })$ ,则 $f(x) = f(tv)$ 。对 $t$ 求一阶导数，可得到如下式:
${ f }_{ t }^{ ' }(tv) = { v }^{ T }\triangledown f(tv)$
这是一个关于 $t$ 的一元函数，继续进行二次求导可得：
${ f }_{ t }^{ '}(tv) = { \triangledown f(tv) }^{ T }v$
再将Hession矩阵进行分解，可以得到 ${ f }_{ t }^{ " }(tv) ={ v }^{ T }E(\Lambda )Ev$
$E$ 是 Hession矩阵的特征向量， $\Lambda$ 是特征值组成的矩阵。若 ${ v }^{ T }$ 与 $E$ 为同一方向的向量，则 ${ f }_{ t }^{ " }(tv)$ 在该方向上的二阶导数值为对应的特征值。若 ${ v }^{ T }$ 与 $E$ 不为同一方向的向量，则 ${ v }^{ T }$ 可以由其他方向的特征向量表示，因此可以将该向量转化成多个特征向量权重相加的形式，因此，权重可以转移到内部矩阵中，即可以由多个特征值加权组成，且特征向量越接近，权重越大。

2.2 hessian关于学习率变化的计算

将我们需要求解的值使用泰勒级数展开为：
$f(x) \approx f({ x }^{ (0) })-{ (x-{ x }^{ (0) }) }^{ T }g+{ \frac { 1 }{ 2 } (x-{ x }^{ 0 }) }^{ T }H(x-{ x }^{ (0) })$ ，
其中 $g$ 是梯度， $H$ 是该点的Hessian矩阵。如果使用学习率为 $\epsilon$ 进行计算，则可以得到公式为：
$f(x-\epsilon g)\quad \approx \quad f({ x }^{ (0) })-\epsilon { g }^{ T }g+{ \frac { 1 }{ 2 } { \epsilon }^{ 2 } }{ g }^{ T }Hg$
如果想使损失函数不断减小，则后两项之和必须小于0，若求减少的最大值，对后面两项进行求导，则得出 ${ { \epsilon } }^{ * }=\frac { { g }^{ T }g }{ { g }^{ T }Hg }$ ,则 $\epsilon$ 取该值时，后两项取得极值。若g为最大特征值的特征向量方向，则 $\epsilon$ 取得最小值，为 $\frac { 1 }{ { \lambda }_{ max } }$ 。

2.3 极值、鞍点的判断

由Hessian的定义: $H(f)(x)=\frac { { \partial }^{ 2 } }{ { { \partial }_{ x } }{ \partial }_{ y } }$ 可知：Hessian矩阵是实对称的。

当hessian矩阵正定时(即：对任意的 ${ v }^{ T }$ 不等于 $0$ ，有 ${ v }^{ T }E(\Lambda )Ev>0$ 恒成立)。对于任意的方向向量 ${ v }^{ T }$ ，在梯度为0的点处，恒有 $f(x+\epsilon g)\quad \approx \quad f({ x }^{ (0) })+{ \frac { 1 }{ 2 } { \epsilon }^{ 2 } }{ g }^{ T }Hg >f({ x }^{ (0) })$
故该点为最小值点；

<kbd> 举例说明： $f(z)= { x }^{ 2 }+{ y }^{ 2 }$ 其在点 x=0,y=0处为极小值点。</kbd>

当hessian矩阵负定时(即：对任意的 ${ v }^{ T }$ 不等于 $0$ ，有 ${ v }^{ T }E(\Lambda )Ev<0$ 恒成立)。对于任意的方向向量 ${ v }^{ T }$ ，在梯度为0的点处，恒有 $f(x+\epsilon g)\quad \approx \quad f({ x }^{ (0) })+{ \frac { 1 }{ 2 } { \epsilon }^{ 2 } }{ g }^{ T }Hg <f({ x }^{ (0) })$ ,该点为最大值点；
当hessian矩阵同时具有正负特征值时，则此时为鞍点

最后编辑于：2018.10.30 21:45:00

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 220,809评论 6赞 513
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 94,189评论 3赞 395
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 167,290评论 0赞 359
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 59,399评论 1赞 294
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 68,425评论 6赞 397
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 52,116评论 1赞 308
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,710评论 3赞 420
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,629评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 46,155评论 1赞 319
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 38,261评论 3赞 339
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,399评论 1赞 352
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 36,068评论 5赞 347
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,758评论 3赞 332
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 32,252评论 0赞 23
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,381评论 1赞 271
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,747评论 3赞 375
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 45,402评论 2赞 358