第七章 一维搜索方法

7.1 引言

本章讨论的是一维问题的迭代求解方法,这些方法统称为一维搜索法。

7.2 黄金分割法

黄金分割法要求某单值一元函数f在闭区间[a_0,b_0]上是单峰的,即存在唯一的局部最小点。
该方法的思路为挑选[a_0,b_0]中的点,计算对应的函数值,通过不断缩小极小点所在的求见,大刀片足够的精度。
很显然每次都要计算两个目标函数值,以保证目标区间的压缩。

计算中间点的函数值以进行压缩

和应满足:

计算中我们希望计算次数最少,则需要确定一个合适的参数。
实际运行中,计算和,如果,那么极小点就在之间,否则,极小点就位于。
当我们完成第一次迭代,压缩空间到之间,我们发现此次在当前空间中,而我们已经计算过了,则可以将加入第二次迭代,作为,此时我们只需要计算一个即可完成一次迭代。因此,我们需要设定一个合适的,让每次迭代后剩余的那个参数可以在下一次迭代中满足。
我们可以认为最初的长度为1,则有:
计算过程

计算过程

即以的比例划分区间,能够使上述说法成立。这意味着这种划分方式符合古希腊几何学家提出的黄金分割法则。
经过N次压缩之后,区间可压缩到,这称为总压缩比。

7.3 斐波那契数列法

在黄金分割法中,\rho始终不变,如果允许参数\rho中途改变,则产生斐波那契数列法。该方法选择中间点的的原则如下:


则有:

存在很多种序列满足这个公式,比如7.2中提出的黄金分割序列。
这种方法的N次压缩比为:。显然我们希望更小的压缩比,则我们获得了一个有约束优化问题:


该方法的总压缩比为:

7.4 二分法

高中学过的一阶导求法,一阶导大于0在左边,一阶导小于0在右边。
压缩比为(0.5)^N

7.5 牛顿法

牛顿法假定函数连续二阶可微,这样可构建一个经过点(x^{(k)},f(x^{(k)}))的二次函数,该函数在x^{(k)}的一阶和二阶导数分别为f^{'}(x^{(k)})f^{''}(x^{(k)})


可以认为是的近似,因此求函数的极小点近似于求的极小点。其极小点应满足一阶不要条件:


本质上,牛顿法是不断迫使一阶导数趋近于0。

7.6 割线法

从迭代公式看出,牛顿法需要的是目标函数f的二阶导数:


如果二阶导数不存在,可以通过采用不同点的一阶导数对其近似,比如:

将这一公式带入牛顿法:

该公式对应的方法为割线法,该方法需要两个初始点。整理该式,可以获得另一个迭代公式:

二者等价。
牛顿法是采用斜率使整个一阶导数趋近于0,而割线法采用和第个迭代点求第个迭代点。

7.7 划界法

上述方法均需要提供目标函数极小点所在的初始区间。而这一初始区间的寻找需要划界法确定。
本质就是不断搜索,找三个点比一比,然后迭代。因为假定函数是单峰的,不需要考虑全局问题。

7.8 多维优化问题中的一维搜索

多维优化问题的迭代球阀,通常每次迭代都包括一维搜索。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,530评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,403评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,120评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,770评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,758评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,649评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,021评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,675评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,931评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,751评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,410评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,004评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,969评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,042评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,493评论 2 343

推荐阅读更多精彩内容