统计决策方法

1、贝叶斯公式
$P(w_i|x)=\frac{p(x,w_i)}{p(x)}=\frac{p(x|w_i)P(w_i)}{p(x)}$
其中，
$P(w_i)$ 是先验概率；
$p(x,w_i)$ 是 $x$ 与 $w_i$ 的联合概率密度；
$p(x)$ 是总体密度；
$p(x|w_i)$ 是类条件密度。

2、贝叶斯决策

在类条件概率密度和先验概率已知的情况下，通过贝叶斯公式比较样本属于两类的后验概率，将类别决策为后验概率大的一类，这样做的目的是为了使总体错误率最小。

3、平均错误率

$P(e)=P(w_2)P_2(e)+P(w_1)P_1(e)$
$P_1(e)=\int_{R_2}p(x|w_1)dx$
$P_2(e)=\int_{R_1}p(x|w_2)dx$

4、最小风险贝叶斯决策

设对于实际状态为 $w_j$ 的向量 $x$ ，采取决策 $a_i$ 所带来的损失为
$\lambda(a_i, w_j)$

条件风险

$R(a_i|x)=\sum^c_{j=1}\lambda(a_i|w_j)P(w_j|x)$

风险最小决策

$a = arg minR(a_i|x)$

5、灵敏度与特异度

灵敏度
$Sn=\frac{TP}{TP+FN}$

特异度
$Sp=\frac{TN}{TN+FP}$

6、Neyman-Pearson 决策

在限定一类错误率为常数而是另一类错误率最小的决策规则称作 Neyman-Pearson 决策规则。

7、ROC 曲线

如果把灵敏度 $Sn$ 即真阳性率 $(1-P_1(e))$ 作为纵坐标轴，把假阳性率 $(1-Sp=P_2(2))$ 作为横坐标轴来反映随着阈值的变化两类错误率的变化情况的曲线称作 ROC 曲线。

ROC 曲线越靠近左上角，说明方法性能越好。

曲线下的面积称作 AUC，AUC越接近 1.0，方法性能越好。

8、单变量正太分布

概率密度函数定义为
$p(x)=\frac{1}{\sqrt{2\pi}\sigma}exp\begin{Bmatrix} -\frac{1}{2}(\frac{x-\mu}{\sigma })^2 \end{Bmatrix}$

期望
$\mu=\int_{-\infty}^\infty xp(x)dx$

方差
$\sigma ^2 = \int_{-\infty}^\infty(x-\mu)^2p(x)dx$

从正太分布的总体中抽取样本，约有 95% 的样本都落在区间 $(\mu-2\sigma, \mu + 2\sigma)$ 。

9、多元正太分布

概率密度函数定义为

$p(x)=\frac{1}{(2\pi)^{d/2}|\sum|^{\frac{1}{2}}}exp\begin{Bmatrix} -\frac{1}{2}(x-\mu)^T\sum^{-1}(x-\mu)\\ \end{Bmatrix}$

$x=[x_1, x_2, ..., x_d]^T$ 是 $d$ 维列向量；
$\mu=[\mu_1, \mu_2, ..., \mu_d]^T$ 是 $d$ 维均值向量；
$\sum$ 是 $d*d$ 维协方差矩阵
$\sum^{-1}$ 是 $\sum$ 的逆矩阵
$|\sum|$ 是 $\sum$ 的行列式

最后编辑于：2019.03.07 15:18:03

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,293评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,604评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,958评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,729评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,719评论 5赞 366
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,630评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,000评论 3赞 397
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,665评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,909评论 1赞 299
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,646评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,726评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,400评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,986评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,959评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,197评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 44,996评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,481评论 2赞 342

统计决策方法

推荐阅读更多精彩内容