频率派 vs 贝叶斯派

对于有 n 个样本的样本集 $X = (x_1, ..., x_n)$ 以及参数 $\theta$ ，那么有 $X$ 服从概率分布 $P(x|\theta)$

频率派

频率派认为 $\theta$ 是一个未知的常量，数据 $X$ 是一个随机变量，其服从一定的概率分布，目的是通过极大似然估计 + 随机变量 $X$ 来估计出未知参数 $\theta$ 。 $\theta_{MLE} = argmax_{\theta} ,, log P(X|\theta)$

贝叶斯派

贝叶斯派认为 $\theta$ 是一个随机变量，其服从一定的概率分布 $p(\theta)$ 。其采用最大后验估计来计算 $P(\theta|X)$ 。 $P(\theta|X) = \frac{P(X | \theta) P(\theta)}{P(X)}$

先验： $P(\theta)$ ，似然： $P(X|\theta)$ ，后验： $P(\theta|X)$

$\theta_{MAP} = argmax_{\theta} , , P(\theta | X) = argmax_{\theta} P(X|\theta)P(\theta)$

2. 极大似然估计 vs 最大后验估计

1. 极大似然估计 - MLE

原理：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
极大似然估计提供了一种给定观察数据来评估模型参数的方法：模型已定，参数未知。经过若干次实验，观察结果，利用实验结果得到某个参数值能够使得样本出现的概率为最大，称为极大似然估计。
离散情况下参数 $\theta$ 的似然函数：

$L(\theta) = L(X_1, X_2, \cdots, X_n; \theta) = \prod_{i=1}^n p(X_i| \theta)$
极大似然估计： 对于给定的样本值 $(x_1, x_2, \cdots, x_n)$ 有： $\hat{\vec\theta}= \mathop {\arg \max}_{\vec\theta} L(\vec\theta )$
使得似然函数 $L(x_1, x_2, \cdots, x_n; \theta)$ 达到最大值的参数值 $\hat{\theta} = \hat{\theta} (x_1, \cdots, x_n)$ 称为未知数 $\theta$ 的最大似然估计值。

2. 最大后验估计 - MAP

MAP 的基础是贝叶斯公式： $贝叶斯估计：P(\theta|X) = \frac{P(X | \theta) P(\theta)}{P(X)}= \frac{P(X | \theta) P(\theta)}{\int_{\theta} P(X|\theta)P(\theta)d{\theta}} \ 贝叶斯预测：p(\hat{x} | X) = \int_{\theta} p(\hat{x},\theta|X) d{\theta} = \int_{\theta} p(\hat{x}|\theta) p(\theta|X)d{\theta}$ MAP 优化的就是后验概率，目的是通过观测值使得后验概率最大： $\theta_{MAP} = argmax_{\theta} , , P(\theta | X) = argmax_{\theta} P(X|\theta)P(\theta)$

QA

1. 极大似然估计与最大后验概率的区别？

最大似然估计提供了一种给定观察数据来评估模型参数的方法，最大似然估计中的采样满足所有采样都是独立同分布的假设。
最大后验概率是根据经验数据获难以观察量的点估计,与最大似然估计最大的不同是最大后验概率融入了要估计量的先验分布在其中，所以最大后验概率可以看做规则化的最大似然估计。

2. 概率与似然的区别

概率是指在给定参数 $\theta$ 的情况下,样本的随机向量 $X=x$ 的可能性。
似然表示的是在给定样本 $X=x$ 的情况下,参数 $\theta$ 为真实值的可能性。

一般情况,对随机变量的取值用概率表示。而在非贝叶斯统计的情况下,参数为一个实数而不是随机变量,一般用似然来表示。

3. 贝叶斯派与频率学派的区别

频率派认为抽样是无限的,在无限的抽样中,对于决策的规则可以很精确。贝叶斯派认为世界无时无刻不在改变,未知的变量和事件都有一定的概率,即后验概率是先验概率的修正。
频率派认为模型参数是固定的,一个模型在无数次抽样后,参数是不变的。而贝叶斯学派认为数据才是固定的而参数并不是。
频率派认为模型不存在先验而贝叶斯派认为模型存在先验。

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 213,752评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,100评论 3赞 387
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 159,244评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,099评论 1赞 286
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,210评论 6赞 385
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,307评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,346评论 3赞 412
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,133评论 0赞 269
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,546评论 1赞 306
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,849评论 2赞 328
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,019评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,702评论 4赞 337
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,331评论 3赞 319
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,030评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,260评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,871评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,898评论 2赞 351