常用概率分布回顾之（1）离散概率分布

概率分布的选择取决于建模数据 $x$ 的类型和定义域，描述数据类型为离散值的概率分布即为本章所回顾的离散概率分布。本章主要回顾伯努利分布，分类分布，二项分布以及泊松分布。

离散概率分布

伯努利分布(Bernoulli distribution)

伯努利分布又叫两点分布或者0-1分布，描述的是只有两种随机变量取值的分布，其定义域 $x\in{\{0,1\}}$ 。伯努利分布式日常生活中很常见的一个分布，用于模拟具有两种状态的事件。
参数：伯努利分布仅有一个单参数 $\lambda\in[0,1]$ ，它定义随机变量取1的概率。
因此：
$\begin{align} Pr(x=1) &=\lambda\\ Pr(x=0) &=1-\lambda \end{align}$

可表示为
$Bern_x[\lambda]=Pr(x)=\lambda^x(1-\lambda)^{1-x}$

期望：
$E[X]=\sum_{i=0}^1{x_iPr(x_i=i)}=0+\lambda=\lambda$

方差：
$\begin{align} var[X] &=\sum_{i=0}^1{(x_i-E[X])^2}Pr(x_i=i) \\ &=(0-\lambda)^2(1-\lambda)+(1-\lambda)^2\lambda \\ &=\lambda(1-\lambda) \\ \end{align}$

分类分布(Categorical distribution)

分类分布用来观察k个可能结果的概率，是伯努利分布的泛化，其定义域 $x\in{\{0,1,...,k\}}$ 。在计算机视觉里面我们也常常会遇到，例如像素点的取值概率是一个离散的分类分布。
可表示为
$Cat_x[\lambda]=Pr(x=k)=\lambda_k$

期望：
$E[X]=\sum_{i=0}^k{x_iPr(x_i=i)}$

期望值与定义域取值有关

二项分布(Binomial distribution)

是 $n$ 个独立的伯努利试验中成功的次数的离散概率分布，其中每次试验的成功概率为 $\lambda$
n次试验中正好得到k次成功的概率可表示为
$Bi_x[k;\lambda,n]=Pr(X=k)=\left( \begin{array}{lcr} n \\ k \end{array} \right)\lambda^k(1-\lambda)^{n-k}$

一般的二项分布是n次独立的伯努利试验的和。它的期望值和方差分别等于每次单独试验的期望值和方差的和，因此，
期望：
$E[X]=n\lambda$

方差：
$var[X] =n\lambda(1-\lambda)$

泊松分布(Poisson distribution)

泊松分布是用于描述单位时间内随机事件发生的次数的概率分布。例如已知某服务器一天被攻击的次数是每天2次，那么在此处一天内发生k次事故的概率是多少，这样我们就可以用泊松分布来求。
泊松分布的概率公式可以由二项分布推导而来。当二项分布的n很大而概率p很小时，泊松分布可作为二项分布的近似，其中 $\lambda=np$ 。
也就是说，在二项分布中，观察足够长的时间，且每个单位时间内发生概率足够小时，二项分布便可由泊松分布来表示
$Pr(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}$

参数 $\lambda$ 是单位时间（或单位面积）内随机事件的平均发生率，k为发生的次数
服从泊松分布的随机变量其数学期望与方差相等，同为参数λ： $E(X)=V(X)=\lambda$

此外，两个独立且服从泊松分布的随机变量，其和仍然服从泊松分布

附证明,其中 $p=\frac{\lambda}{n}$ ：
${\begin{aligned}\lim _{n\to \infty }P(X=k)&=\lim _{n\to \infty }{n \choose k}p^{k}(1-p)^{n-k}\\ &=\lim _{n\to \infty }{n! \over (n-k)!k!}\left({\lambda \over n}\right)^{k}\left(1-{\lambda \over n}\right)^{n-k}\\ &=\lim _{n\to \infty }\underbrace {\left[{\frac {n!}{n^{k}\left(n-k\right)!}}\right]} _{F}\left({\frac {\lambda ^{k}}{k!}}\right)\underbrace {\left(1-{\frac {\lambda }{n}}\right)^{n}} _{\to e^{-\lambda} }\underbrace {\left(1-{\frac {\lambda }{n}}\right)^{-k}} _{\to 1}\\ &=\lim _{n\to \infty }\underbrace {\left[\left(1-{\frac {1}{n}}\right)\left(1-{\frac {2}{n}}\right)\ldots \left(1-{\frac {k-1}{n}}\right)\right]} _{\to 1}\left({\frac {\lambda ^{k}}{k!}}\right)e^{-\lambda}\\ &=\left({\frac {\lambda ^{k}}{k!}}\right)e^{-\lambda}\end{aligned}}$

最后编辑于：2019.02.24 12:11:04

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 221,273评论 6赞 515
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 94,349评论 3赞 398
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 167,709评论 0赞 360
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 59,520评论 1赞 296
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 68,515评论 6赞 397
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 52,158评论 1赞 308
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,755评论 3赞 421
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,660评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 46,203评论 1赞 319
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 38,287评论 3赞 340
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,427评论 1赞 352
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 36,122评论 5赞 349
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,801评论 3赞 333
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 32,272评论 0赞 23
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,393评论 1赞 272
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,808评论 3赞 376
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 45,440评论 2赞 359