AI产品经理必修:揭开算法的面纱(动态规划)

乔治·桑塔亚纳说过,“那些遗忘过去的人注定要重蹈覆辙。”这句话放在问题求解过程中也同样适用。不懂动态规划的人会在解决过的问题上再次浪费时间,懂的人则会事半功倍。要了解这句话,得从动态规划的含义说起。

什么是动态规划?

quora上有这样一个问题:

How should I explain dynamic programming to a 4-year old?底下有个42K赞同的答案,是这样说的:

*writes down "1+1+1+1+1+1+1+1 =" on a sheet of paper*"What's that equal to?"

*counting* "Eight!"

*writes down another "1+" on the left*

"What about that?"

*quickly* "Nine!"

"How'd you know it was nine so fast?""You just added one more"

"So you didn't need to recount because you remembered there were eight!DynamicProgramming is just a fancy way to say 'remembering stuff to save time later"

就不翻译了,相信大家都能看懂。

现在,我们来看一下动态规划的官方定义

动态规划算法是通过拆分问题,定义问题状态和状态之间的关系,使得问题能够以递推(或者说分治)的方式去解决。

动态规划算法的基本思想与分治法类似,也是将待求解的问题分解为若干个子问题(阶段),按顺序求解子阶段,前一子问题的解,为后一子问题的求解提供了有用的信息。在求解任一子问题时,列出各种可能的局部解,通过决策保留那些有可能达到最优的局部解,丢弃其他局部解。依次解决各子问题,最后一个子问题就是初始问题的解。

按照定义,动态规划的原理是将一个问题分解成子问题,逐渐求解局部最优解并扩展,最终得出全局最优解。但是我觉得的这个不是动态规划的核心思想,或者说,一个”大问题“之所以能用”动态规划解决,并不是因为它能拆解成一堆小问题,是这些”小问题“会不会被被重复调用。 这个概念很重要,实际上很多问题都可以拆解成小问题来解决,例如我们之前讲的贪心算法,但这个区别决定了该选取哪种算法 。

动态规划能解决什么问题?

如果一个问题满足以下两点,那么它就能用动态规划解决。

1.问题的答案依赖于问题的规模,也就是问题的所有答案构成了一个数列。举个简单的例子,1人有2条腿,2个人有4条腿,n个人有多少条腿?答案是2n条腿。这里的2n是问题的答案,n则是问题的规模,显然问题的答案是依赖于问题的规模的答案是因变量,问题规模是自变量。因此,问题在所有规模下的答案可以构成一个数列(f(1),f(2)...f(n)),比如刚刚“数腿”的例子就构成了间隔为2的等差数列(0,2.4....2n) 。

2.大规模问题的答案可以由小规模问题的答案递推得到。还是刚刚“数腿” 的例子,显然f(n)可以甚于f(n-1) 求得: f(n)= f(n-1)+2

动态规划的应用?

应用场景:动态规划比较合适的就是来求最优问题的,比如求最大值,最小值等等。它可以显著的降低复杂度,节约计算时间。所有的导航系统都采用了动态规划。

我们就是以导航为例来看看动态规划吧。

比如,我们想找到从北京到广州的最短行车路线或者最快行车路线。当然,最直接的笨办法是把所有可能的路线看一遍,然后找到最优的。这种办法只有在节点数是个位数的图中还行得通,当图的节点数(城市数目)有几十个的时候,计算的复杂度就已经让人甚至计算机难以接受了,因为所有可能路径的个数随着节点数的增长而成呈指数增长(或者说几何级数),也就是说每增加一个城市,复杂度要大一倍。显然我们的导航系统中不会用这种笨办法。

以上面的问题为例,当我们要找从北京到广州的最短路线时,我们先不妨倒过来想这个问题:假如我们找到了所要的最短路线(称为路线一),如果它经过郑州,那么从北京到郑州的这条子路线(比如是北京-> 保定->石家庄->郑州,称为子路线一),必然也是所有从北京到郑州的路线中最短的。

在实际实现算法时,我们又正过来解决这个问题,也就是说,要想找到从北京到广州的最短路线,先要找到从北京到郑州的最短路线。当然,聪明的读者可能已经发现其中的一个"漏洞",就是我们在还没有找到全程最短路线前,不能肯定它一定经过郑州。不过没有关系,只要我们在图上横切一刀,这一 刀要保证将任何从北京到广州的路一截二,如下图。

那么从广州到北京的最短路径必须经过这一条线上的某个城市(图中蓝色的菱形) 。我们可以先找到从北京出发到这条线上所有城市的最短路径,最后得到的全程最短路线一定包括这些局部最短路线中的一条,这样,我们就可以将一个"寻找全程最短路线"的问题,分解成一个个小的寻找局部最短路线的问题。只要我们将这条横切线从北京向广州推移,直到广州为止,我们的全程最短路线就找到了。这便是动态规划的原理。采用动态规划可以大大降低最短路径的计算复杂度。

动态规划的过程?

当要应用动态规划来解决问题时,归根结底就是将动态规划拆分成以下三个关键目标。

1.建立状态转移方程

这一步是最难的,大部分人都被卡在这里。这步没太多的规律可说,只需抓住个思维: 当做已经知道f(1)~ f(n- 1)的值,然后想办法利用它们求得f(n)。

2.缓存并复用以往结果

这一步不难,但是很重要。如果没有合适地处理,很有可能就是指数和线性时间复杂度的区别。在我们上面的例子中,每加入一条横截线,线上平均有十个城市,从广州到北京最多经过十五个城市,那么采用动态规划的计算量是 10×10×15,而采用穷举路径的笨办法是 10 的 15 次方,前后差了万亿倍。

3.按顺序从小往大算

这里的“小和“大”对应的是问题的规模,在这里也就是我们要从f(0), f(1).到f(n)依次顺序计算。这点从导航的例子来看,似乎显而易见,因为状态方程基本限制了你只能从小到大一步步递推出最终的结果。

经典动态规划

我们来尝试用动态规划实现经典斐波那契数列

斐波那契数列: 0,1. 1,2,3,5,8, 13, 21,34.55, 89, 1443....

它遵循这样的规律:当前值为前两个值的和。

那么第n个值为多少?

我们用两种方法来做比较:

方法一:简单递归

如上所示,代码简单易懂,然而这代码却极其低效。

下图通过展示求解f(6)的过程说明了其原因。如图,随着递归的深入,计算任务不断地翻倍!

方法二:动态规划

先上代码。看不懂也没关系,看看如果完成这三个目标的就行了。

目标1,建立状态转移方程(完成)。也就是前面的f(n)= f(n-1)+ f(n- 2)。

目标2,缓存并复用以往结果(完成)。在线性规划解法中,我们把结果缓存在results列表,同时在results[il = rsutsti11 + resultsti 2]中进行了复用。这相当于我们只需完成图2中红色部分的计算任务即可,时间复杂度瞬间降为O(n) 。

目标3,按顺序从小往大算(完成)。 for循环实现了从0到n的顺序求解,让问题按着从小规模往大规模求解的顺序走。

堪称完美!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,142评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,298评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,068评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,081评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,099评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,071评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,990评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,832评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,274评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,488评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,649评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,378评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,979评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,625评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,643评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,545评论 2 352