本章大篇幅的记录了微积分、伯努利定理等的故事。
伯努利自身成为“黄金定律”的大数定律,是为了回答抽象的“抽样模型”的一个问题:
尽管伯努利感兴趣的是现实世界中的应用,但他最乐于使用的某些例子,却与一件大多数家居中都没有的物品有关:一个装满了彩色鹅卵石的瓮。在一个例子中,他假设这个瓷里有3000颗白鹅卵石和2000颗黑鹅卵石,也就是60:40的白黑比例。我们蒙上眼睛,从这个瓮里“归还式地”取出一系列鹅卵石,“归还式”的意思是指,每次抽取下一枚鹅卵石之前,要把前次取出的石子放回瓮里,从而保证3:2的白黑比不会发生改变。这样一来,抽到白色石子的先验概率就是5分之3,或者说60%,而在本例中,伯努利最关心的问题就是:经过一系列抽取得到的白色石子数量,能以怎样的严格程度来符合这个60%的比例?发生这个符合的概率又是多少?
这个模型可以应用于很多场景:
这个瓮的问题是个好例子,因为用来描述从瓮里抽取鹅卵石的数学,同样也能用来描述任何一系列具有两种可能结果的试验;只要这些结果随机出现,且各次试验相互独立。这种试验如今被称为伯努利试验,一系列的伯努利实验则称为一个伯努利过程。当一个随机试验有两种可能结果时,其中之一常被标记为“成功”,而另一个则是“失败”。
也不用提及公式,重要的是知道:
黄金定理指出,我们总能取出足够多的鹅卵石,以使我们能几乎确定所得的白色鹅卵石比例很接近于60%,而不论这个几乎确定和接近的定义是何等地严苛;而且,在给定了几乎确定和接近的具体定义后,定理还给出了用来计算这个“足够”的试验次数的数学公式。
定律的第一部分是观念上的胜利,也是定理中唯一能幸存到各个现代版本中的那部分。对于第二部分,也就是伯努利的公式,重要的是理解下面这一点:黄金定理虽然给出了一个足以满足所要求的置信度与精度的试验次数,但却并不意味着无法用更少的试验来达到同样的目标。这对定理的第一部分并无影响,因为第一部分只是说这个特定的试验次数总是有限的。伯努利希望他的公式所给出的答案具有实际可行性,但不幸的是,在大多数实际应用中很难做到这一点。
案例:
例如下面就是伯努利自己解出的一个算例,尽管我改变了行文的顺序:假设有60%的巴塞尔选民都支持该市市长,那么,需要对多少选民进行民意测验,才能以99.9%的概率保证,调查结果所得的市长支持率在58%到62%之间,即调查结果的精度为正负2个百分点?(为了与伯努利问题保持一致,假设这些被调查者都是随机选取的,而且是归还式选取的。换句话说,可能会对同一名被调查者进行不止1次的测验。)答案是25550,而在伯努利的时代,这差不多也就是巴塞尔的总人口数。伯努利并没有无视这个不实用的结果,他同样也知道,熟练的赌徒们能通过远少于数千次的试验,直觉地猜出某个新赌赛的成功概率。
题眼是“不实用” —— 都已经全量检测了,还叫什么抽样啊(O(∩_∩)O哈哈~),所以要妥协:
利用当今的数学方法,统计学家们已证明,对上述的民意调查,只需抽查区区370名被调查者,就能得到具有统计显著性且精度为正负5%的结果。如果调查1000人,那么结果落在真实答案(巴赛尔市长那60%的支持度)的2个百分点的误差范围之内的可能性为90%。尽管有种种局限,伯努利的黄金定理仍然是一个里程碑,因为它至少从原理上证明:足够大的样本能几乎肯定地反映出被采样群体的真实组成。
所以现在才发展出了“置信区间”的概念 —— 下一章展开。而这带来的结果是:
在真实生活中,我们常常不是通过数千次的试验来观察某人或某物的表现。因此,如果说伯努利的错误在于确定性标准过于严格,那么在实际生活中,我们则常常犯下相反的错误:我们会认为一个样本或一系列试验的结果代表了真实情况,而实际上,这些样本或试验却容量过小,以至于无法给出可靠的结论。
举例来说,如果在伯努利那个年代,只对刚好5位巴塞尔居民进行调查的话,根据类似于在第四章中的计算,得到正确结果——即目标人群中的60%或说5位中的3位支持市长——可能性,仅仅只有1/3。
对应地:
一个小样本能真实反映隐含的概率,这个误解或说错误的直觉之存在是如此广泛,以至于卡尼曼和特沃斯基给它起了个名字:小数定律。小数定律并不是一条真正的定律,而只是一个讽刺性的名字,用来描述对实际并不够多的数量使用大数定律的这种被误导的做法。
还有很多案例,不展开了。
此外,本章还提到了本福德定律(Benford's law):
根据本福德定律,1到9这9个数字的出现频率并不相等。相反地,数据最高位为1的情况约占30%,为2的机会约占18%,如此一直到数字9,它出现在最高位的机会大概是5%。一个类似但较少提及的定律是关于最低位数字的。许多类型的数据都服从本福德定律,特别是财务数字。实际上,这条定律简直就是为在大量财务数据中寻找欺诈行为而量身定做的。