模拟退火理解

1.爬山算法

爬山算法是一种简单的局部贪心搜索算法,该算法每次从当前解的临近解空间中选择一个最优解作为当前解,直到达到一个局部最优解。

主要过程:

随机选择一个登山的起点;每次拿相邻点与当前点进行比对,取两者中较优者,作为爬坡的下一步;重复第2步,直至该点的邻近点中不再有比其大的点;选择该点作为本次爬山的顶点,即为该算法获得的最优解。

从爬山算法的流程可以看出,它的实现虽然简单,但在遇到局部最优问题时,是很容易陷入局部最优、找不到全剧最优解的,同时初始随机登山点的选择,也对算法的结果影响很大、

所以,,它亟待解决的问题就是如何避免陷入局部最优。

2.模拟退火

模拟退火来自模拟物体在加热后分子达到高度混乱状态,然后慢慢冷却,物体内部的分子各自达到自己应该的状态;

简单来说、在过去的爬山算法中,当遇到临近点没有当前点好时,直接舍弃。这样确保了一时的最优,但从全局的角度,则丧失了寻找其它可能存在的局部最优点的情况。。

因此在模拟退火的算法中,对一个不佳的临近点,会在一定概率下接受它成为最新点,这个概率就是退火的核心思想啦啊啦啦。模拟退火其实也是一种贪心的思想,但是它通过概率接受较差的解、带来了跳出局部解的机会。

那这个概率怎么算了,就要看看退火中的一个核心概念--温度T;

假设评价函数为C(x),且结果越小,说明解越好;原解为x,评价为C(x),此时从临近区产生一个新的解x'、评价为C(x');\Delta t=
C(x')-C(x);若\Delta t

<0,说明新解更好,代替原解成为最优解;反之,说明新解没有原来的解好,此时计算概率p=e^ \frac{-\Delta t}{T} ,由于\Delta t

<0,所以p一定是0-1之间的数,所以随机生成一个0-1的随机数,若在概率范围内,就接受这个点。

这个概率与\Delta t

和T有关,\Delta t

取决于新的解与原来解之间的差距,越差的点被保留的概率就越低;对于T,则是T越高,点被保留的概率越大,因此这个T就像现实生活中的温度一样,会逐步减少。因此在退火算法的最开始,最优点会波动的很厉害、但随着温度的逐渐降低,点就不再波动,稳定下来了,,


2.1 模拟退火的优点

迭代搜索效率高,并且可以并行化;算法中有一定概率接受比当前解较差的解,因此一定程度上可以跳出局部最优;算法求得的解与初始解状态S无关,因此有一定的鲁棒性;

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,589评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,615评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,933评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,976评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,999评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,775评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,474评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,359评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,854评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,007评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,146评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,826评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,484评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,029评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,153评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,420评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,107评论 2 356

推荐阅读更多精彩内容

  • 1.概念 介绍模拟退火前,请先了解爬山算法。因为模拟退火算法是爬山算法的改进版,它在爬山算法的基础上引入了随机化。...
    木木与呆呆阅读 1,379评论 8 12
  • 在算法里面有一类问题叫做最优化问题,这类问题通常的特点是问题的解空间很大,用传统的算法没有办法穷举。比如时间复杂度...
    DayDayUpppppp阅读 3,808评论 0 4
  • ->点击访问个人博客,相互交流学习<- 一、技术论述 1.随机方法 学习在构造模式分类器中起着中心的作用。一个通常...
    JackHCC阅读 2,612评论 1 1
  • 作:流寻常 每到一座城市,首先去看那里的人,其次去看那里的景,不管城市再怎样千变万化,它只是把别的城市的复制,只有...
    虚构我的生活阅读 185评论 0 1
  • 有那么一个瞬间,迫切的希望自己能冲出那无形的枷锁,释放巨大的能量。就像雄鹰冲向广袤的天空那般迅捷、有力,而后自在遨游。
    Concht阅读 105评论 0 0