概率论与数理统计 笔记(Update: 2021/9/20)

概率论是一门研究可能性的学科。概率论最大的作用在于,帮助人类从宏观上认识复杂事物中的客观规律,并且利用这种规律来指导人类社会的生产、决策、行为。因此,概率论在大学课程的重要性便由此凸显。

概率论是一门建立在严谨逻辑基础上的一门学科,因此,它不同于以往初高中对概率的定性认识。概率论最重要的逻辑基础是概率论的公理化定义,通过引出一系列基本定义,从而推导出概率论整个的学科图景,这是概率论的精髓。

下面引出概率论的公理化定义

概率论的公理化定义

1. 相关基本概念:

我们首先定义以下概念:

  • 随机实验:对于一个随机现象的观察或者试验,如果满足三个条件(相同条件下可重复、结果预知、结果不确定性),则称该试验为「随机试验」。记为E
  • 样本点与样本空间:样本点即试验的每一个结果,样本空间即为所有样本点构成的集合。样本点是集合的元素,而样本空间是集合。
  • 随机事件:在一个随机试验中可能发生或者可能不发生的事件。可以理解为样本空间的子集。(空集也是一种子集,即对应为不可能事件)
  • 基本事件:由一个样本点所对应的事件成为「基本事件」。

至此,我们将试验、事件等概念与集合的概念相联系,显然,我们会有以下的运算性质:

2. 事件之间的关系以及运算(本质为集合运算)
  • 包含:若事件A发生,则事件B必然发生。记作A \subset B
  • 相等:若A \subset BB \subset A,则为相等。记作A = B
  • 并: A \cup B
  • 交: A \cap B,或者记作AB(AB的积)。
  • 补: 又称对立(complementary)事件,或者逆事件。记作
  • 互不相容:事件A与事件B不能同时发生,即称互不相容。
  • 差:记作A - B,表示事件A发生而事件B不发生的事件。

经过简单的推导可以得出以下运算性质:

3. 事件的运算性质
  • 交换律 A \cup B=B \cup A, AB=BA
  • 结合律 (A \cup B) \cup C = A \cup (B \cup C)
  • 分配律 (A \cup B) \cap C = (AC) \cup (BC), (A \cap B) \cup C = (A \cup C) \cap (B \cup C)
  • 对偶律 \overline{A \cup B} = \overline{A} \cap \overline{B},\overline{A \cap B} = \overline{A} \cup \overline{B}

经过以上铺垫,我们可以引出频率、概率的定义:

4. 频率 (frequency)

定义:设随机事件A在n次重复试验中发生了m次,则称比值
f_n(A) = \frac{m}{n}
为事件A在n次重复试验中发生的「频率」。

频率越大,事件A发生就越频繁,可以用频率来预测事件A的发生的可能性大小。
当重复试验次数越多,n越大时,频率越逐渐趋于稳定于某个常数。

5. 概率的公理化定义(前苏联 柯尔莫哥洛夫 首次提出)

\O是随机试验E的样本空间,对于每个事件A,赋予一个实数,记为P(A),称为事件A的「概率」,如果集合函数P(\cdot )满足一下三个条件:

  • 非负性,任意事件A都有P(A) >= 0
  • 规范性,P(\O) = 1
  • 可列可加性,两两互不相容的(无限个)事件,都有
    P(A_1 \cup A_2 \cup \cdots \cup A_n) = P(A_1) + P(A_2) + ...+ P(A_n)

理解:概率的本质一种映射,是一种将每个事件映射给一个实数的映射。并且满足以上三个性质。
另外,注意一个常记的技巧:A \cap \overline{B} = A - B = A - A \cap B

由以上概率的公理化定义推导出的性质:

  1. 不可能事件的概率为0
  2. 有限可加性
  3. 逆事件有 P(\overline{A}) = 1 - P(A)
  4. 减法公式
  5. 单调性
  6. 容斥原理 P(A \cup B) = P(A) + P(B) - P(AB),可推广至多个事件



古典概型与几何概型

古典概型是概率论的经典研究内容。

古典概型是指,如果一个随机试验,其中包含有限个样本点,并且所有样本点的概率都相等,那么我们就称该随机试验为古典概型。而几何概型与以上定义基本相同,只不过包含了无限个样本点(对于几何图形来说,一块区域也包含了无穷个点)

我们很容易就能够得到古典概型的计算公式(由可列可加性)
P(A) = \frac{事件A中样本点的个数}{样本空间中样本点总数} = \frac{k}{n}

关于古典概型的具体例题与技巧在此不再赘述。
如何定性认识古典概型的概率?我们可以认为,这种概率代表了一个试验中事件发生的可能性,可以认为是“ 进行无穷次试验之后事件发生频率的趋近值 ”。利用这种可能性,我们可以最优化实际的决策。


条件概率与乘法公式

条件概率的引入,是为了解决在某事件已经发生(或者指定某条件)的情况下具体事件的概率。显然地,计算条件概率,可以认为是缩小了样本空间后的概率计算。为了满足某指定条件,我们需要排除掉不符合条件的样本点,之后再根据符合条件的样本点,再在条件事件下的样本集合进行古典概型的计算。这一过程,实质上就是条件概率的本质。但是我们为了方便,则利用了结论进行定义。注意:这只是为了方便。

我们定义条件概率,就是指在样本空间中的事件A,B,则P(A|B)=\frac{P(AB)}{P(B)}就是事件A在事件B条件下的「条件概率」。在该定义下,要求了条件的概率不为0。

条件概率是一种「概率」吗?答案是肯定的,因为显然,条件概率满足了概率的三条基本公理,即非负性、规范性、可加性。因此条件概率也是一种概率,概率的所有性质都适用于条件概率。

由条件概率公式可以直接得到乘法公式:若P(A)>0,则有P(AB) = P(A)P(B|A)乘法概率可以进行推广到n个乘积的情况。


全概率公式

全概率公式是为了解决计算复杂事件概率的一种方法。如果说对于一个事件B的计算较为困难,但是如果对于事件B的概率能够分情况讨论(或者说,能够分成不同的子集),那么就可以利用全概率公式进行计算

全概率公式:如果对于事件 B,如果我们有互不相容、但是其总和为总样本空间的一系列事件A_1, A_2, ..., A_n,那么就可以利用这种方式计算事件B的概率:P(B) = P(A_1)P(B|A_1) + P(A_2)P(B|A_2) + \dots + P(A_n) P(B|A_n)

全概率公式的精髓就在于:分情况讨论,建立某种因果关系,从而简化分解问题。

什么是建立因果关系,这关系到具体问题的语境问题。例如产品的次品率问题,抽取的某产品是否为次品,与不同工厂有关,这就属于一种因果关系。实际上该问题的基本事件是什么?是 [ 工厂种类,是否为次品 ] 的二元对。概率论是没有事件之间的因果概念的,但是我们只是利用语境建立事件的因果关系,从而更好地对“果事件”进行分情况讨论。

贝叶斯公式

对于一个随机试验E,若有事件B, A_1, A_2, \cdots, A_n,并且满足B, A_i事件概率大于0, 并且事件A_i是样本空间的一个分割,那么就有P(A_i | B) = \frac{P(A_i B)}{P(B)} = \frac{P(A_i)P(B|A_i)}{\sum_{j=1}^nP(A_j)P(B|A_j)}观察贝叶斯公式,我们可以发现它就是全概率公式与条件概率的推导结论而已。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,635评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,543评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,083评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,640评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,640评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,262评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,833评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,736评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,280评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,369评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,503评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,185评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,870评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,340评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,460评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,909评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,512评论 2 359

推荐阅读更多精彩内容

  • 历史寻根概率论的前世今生 人类所有的知识来源都与生活息息相关的的并非是凭空捏造的,数学知识更是如此与其说数学是一门...
    罗泽坤阅读 7,803评论 9 39
  • 一)考试范围 ♂♂♂ Ch11.事件之间的关系与运算,事件的表述;2.概率的公理化定义,概率的性质;3.古典概型的...
    Du1in9阅读 5,182评论 10 63
  • 课前导读 加法原理、乘法原理、组合与排列 第一节 随机事件及其运算 一、随机试验 确定性现象:在一定条件下必然发生...
    Jarkata阅读 1,960评论 0 1
  • 随机现象:在一定条件下,可能出现这种结果可能出现另一种结果的现象; 随机试验(试验):单次试验结果随机,全部试验结...
    黄耀鸿阅读 1,157评论 0 1
  • 第一章 随机事件及其概率 1.1随机事件 一、随机现象 并不总是出现相同的结果,结果并不只一个,哪个结果出现是未知...
    Black_Eye阅读 5,613评论 0 6