一个Python的列表参数是如何搞垮一个网站的

废话少说,先看代码

def add_end(L=[]):
    L.append('END')
    return L

这段python代码看起来有什么问题吗?看起来是不是也没啥问题,L是个入参,list形式的,不传的话有个空list作为默认值,业务体里面对L进行了内容追加,并把追加后的L对象返回。业务很简单

但就是这样的一个看起来人畜无害的代码让一个网站在痛苦中度过了一个月的时间,同时流失了大量的用户,让我们来看一下亲历者回忆当时的情况吧

Digg's v4 launch: an optimism born of necessity.

不想看英文的同学可以全文翻译或者看下面节选的关键内容:

背景:digg是一个以科技为主的新闻站点,用户可提交新闻予digg,通过digg机制显示于digg首页上。十几年前web2.0的弄潮儿,巅峰时期月访问量在3000W以上,于12年没落,至今依然保持运营。这个事情发生在18年,让这个本不富裕的网站雪上加霜

18年Digg到推出V4,从V3.5到V4已经持续开发了两年时间,整个公司希望通过V4让Digg重回互联网第一梯队。他们甚至提前准备了庆祝的香槟(半场开香槟,传统艺能了)

他们准备了升级的方案,但没有回滚计划(这flag立的,铭记墨菲定律)

升级之后的网站并没有按计划展现,而是因为后台的高负载导致大多数页面都无法加载。中途Digg团队观察到了数据库(Cassandra)和缓存(memcache)负载高,扩容了一次,但还是没有彻底解决问题。特别是V4中最重要的MyNews页面,这是这个版本中最亮眼的功能,以及用户的默认页面,然而这个页面却一直都在报错

Digg团队后来把初始页面改成了TopNews,来保证用户不至于在登录的时候就看到错误页面,但问题还是没有得到解决

两天后Digg团队把数据从Cassandra迁移到了redis中,提升了数据库的访问性能。问题得到了缓解,但还是需要每隔4小时重启一次服务

一个月后,问题终于被查出来了,Digg的API服务是一个Python服务,类似于网关层,作为网关需要查询用户信息,这个用户信息的查询函数的参数形式就是上面这种列表形式(当然具体代码长啥样子咱也不知道,只知道形式),就是这样的代码形式导致了这一个月的问题

OK,让我们执行一次上面的函数

>>> add_end()
['END']

看着没问题哈,再执行个带参数的

>>> add_end([1, 2, 3])
[1, 2, 3, 'END']

看着也没问题哈,让我们再执行一次无参的

>>> add_end()
['END', 'END']
>>> add_end()
['END', 'END', 'END']

嗯?为什么会这样?默认参数是[],但是函数似乎每次都“记住了”上次添加了'END'后的list

原因解释如下:

Python函数在定义的时候,默认参数L的值就被计算出来了,即[],因为默认参数L也是一个变量,它指向对象[],每次调用该函数,如果改变了L的内容,则下次调用时,默认参数的内容就变了,不再是函数定义时的[]了

因此在大量用户访问Digg的时候,L中的默认列表会越来越大,而且伴随着并发访问,这是一个二次以上多项式级别的增长,很快就会吃满内存,导致服务不可用

代码和解释参考,里面也讲了如何解决:廖雪峰:函数的参数

这样的问题的确很隐蔽,甚至有的时候反直觉(可能是对于不熟悉的人来说),这时候熟练使用一些静态代码检查的工具就显得尤为必要。这些别人已经踩过的坑很多已经总结在了这些工具里,即使他无法确定这一定是个BUG,也会给研发人员一些危险编码方式的提示。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容