针锋相对的大数定律与小数定律 —— 读《醉汉的脚步》(六)

本章大篇幅的记录了微积分、伯努利定理等的故事。

伯努利自身成为“黄金定律”的大数定律,是为了回答抽象的“抽样模型”的一个问题:

尽管伯努利感兴趣的是现实世界中的应用,但他最乐于使用的某些例子,却与一件大多数家居中都没有的物品有关:一个装满了彩色鹅卵石的瓮。在一个例子中,他假设这个瓷里有3000颗白鹅卵石和2000颗黑鹅卵石,也就是60:40的白黑比例。我们蒙上眼睛,从这个瓮里“归还式地”取出一系列鹅卵石,“归还式”的意思是指,每次抽取下一枚鹅卵石之前,要把前次取出的石子放回瓮里,从而保证3:2的白黑比不会发生改变。这样一来,抽到白色石子的先验概率就是5分之3,或者说60%,而在本例中,伯努利最关心的问题就是:经过一系列抽取得到的白色石子数量,能以怎样的严格程度来符合这个60%的比例?发生这个符合的概率又是多少?

这个模型可以应用于很多场景:

这个瓮的问题是个好例子,因为用来描述从瓮里抽取鹅卵石的数学,同样也能用来描述任何一系列具有两种可能结果的试验;只要这些结果随机出现,且各次试验相互独立。这种试验如今被称为伯努利试验,一系列的伯努利实验则称为一个伯努利过程。当一个随机试验有两种可能结果时,其中之一常被标记为“成功”,而另一个则是“失败”。

也不用提及公式,重要的是知道:

黄金定理指出,我们总能取出足够多的鹅卵石,以使我们能几乎确定所得的白色鹅卵石比例很接近于60%,而不论这个几乎确定和接近的定义是何等地严苛;而且,在给定了几乎确定和接近的具体定义后,定理还给出了用来计算这个“足够”的试验次数的数学公式。

定律的第一部分是观念上的胜利,也是定理中唯一能幸存到各个现代版本中的那部分。对于第二部分,也就是伯努利的公式,重要的是理解下面这一点:黄金定理虽然给出了一个足以满足所要求的置信度与精度的试验次数,但却并不意味着无法用更少的试验来达到同样的目标。这对定理的第一部分并无影响,因为第一部分只是说这个特定的试验次数总是有限的。伯努利希望他的公式所给出的答案具有实际可行性,但不幸的是,在大多数实际应用中很难做到这一点。

案例:

例如下面就是伯努利自己解出的一个算例,尽管我改变了行文的顺序:假设有60%的巴塞尔选民都支持该市市长,那么,需要对多少选民进行民意测验,才能以99.9%的概率保证,调查结果所得的市长支持率在58%到62%之间,即调查结果的精度为正负2个百分点?(为了与伯努利问题保持一致,假设这些被调查者都是随机选取的,而且是归还式选取的。换句话说,可能会对同一名被调查者进行不止1次的测验。)答案是25550,而在伯努利的时代,这差不多也就是巴塞尔的总人口数。伯努利并没有无视这个不实用的结果,他同样也知道,熟练的赌徒们能通过远少于数千次的试验,直觉地猜出某个新赌赛的成功概率。

题眼是“不实用” —— 都已经全量检测了,还叫什么抽样啊(O(∩_∩)O哈哈~),所以要妥协:

利用当今的数学方法,统计学家们已证明,对上述的民意调查,只需抽查区区370名被调查者,就能得到具有统计显著性且精度为正负5%的结果。如果调查1000人,那么结果落在真实答案(巴赛尔市长那60%的支持度)的2个百分点的误差范围之内的可能性为90%。尽管有种种局限,伯努利的黄金定理仍然是一个里程碑,因为它至少从原理上证明:足够大的样本能几乎肯定地反映出被采样群体的真实组成。

所以现在才发展出了“置信区间”的概念 —— 下一章展开。而这带来的结果是:

在真实生活中,我们常常不是通过数千次的试验来观察某人或某物的表现。因此,如果说伯努利的错误在于确定性标准过于严格,那么在实际生活中,我们则常常犯下相反的错误:我们会认为一个样本或一系列试验的结果代表了真实情况,而实际上,这些样本或试验却容量过小,以至于无法给出可靠的结论。

举例来说,如果在伯努利那个年代,只对刚好5位巴塞尔居民进行调查的话,根据类似于在第四章中的计算,得到正确结果——即目标人群中的60%或说5位中的3位支持市长——可能性,仅仅只有1/3。

对应地:

一个小样本能真实反映隐含的概率,这个误解或说错误的直觉之存在是如此广泛,以至于卡尼曼和特沃斯基给它起了个名字:小数定律。小数定律并不是一条真正的定律,而只是一个讽刺性的名字,用来描述对实际并不够多的数量使用大数定律的这种被误导的做法。

还有很多案例,不展开了。

此外,本章还提到了本福德定律(Benford's law):

根据本福德定律,1到9这9个数字的出现频率并不相等。相反地,数据最高位为1的情况约占30%,为2的机会约占18%,如此一直到数字9,它出现在最高位的机会大概是5%。一个类似但较少提及的定律是关于最低位数字的。许多类型的数据都服从本福德定律,特别是财务数字。实际上,这条定律简直就是为在大量财务数据中寻找欺诈行为而量身定做的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,100评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,308评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,718评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,275评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,376评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,454评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,464评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,248评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,686评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,974评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,150评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,817评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,484评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,140评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,374评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,012评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,041评论 2 351