理解β分布及共轭分布

抛硬币的结果满足二项分布，即若每次试验正面向上的概率为θ，进行m次试验，其中n次正面向上的概率为
$\begin{align} P(Y=n | \theta) &= \tbinom{m}{n}{\theta}^n(1-\theta)^{m-n} \\ &= \frac{m!}{n!{(m-n)}!} \theta^n (1-\theta)^{m-n} \end{align}$
当 $\theta = 0.5$ 时，若进行十次试验，出现五次正面向上的概率最大，四次或六次正面向上的概率略小。如果 $\theta= 0.53$ ，十次试验中依然是出现五次正面向上的概率最大，此时 $P(Y=5 | \theta = 0.53) = \tbinom{10}{5} 0.53^5(1-0.53)^5 = 0.2417$
反过来思考，倘若不知道正面向上的概率，只有“抛十次硬币出现五次正面向上”这一观察结果，能否判定 $\theta= 0.5$ 呢？显然是不行的。 $\theta = 0.5, 0.53$ 都是很有可能的；甚至当 $\theta = 0.8$ 时，十次试验仍有2%的几率出现五次正面向上。
可见，当观察到试验结果时，我们无法准确判定 $\theta$ 的确切值，而只能对它的概率分布作出判断。在上述例子中，我们倾向于认为 $\theta = 0.5,0.53$ 的可能性较大，而等于 $0.8$ 的可能性较小。
定量描述“ $\theta$ 取值的可能性”需要引入似然性的概念。似然性表示参数为某个特定值的可能性，也等于对应参数下样本分布的概率，即
$L(\theta | Y) = P(Y ; \theta)$
在本例中，十次试验出现五次正面向上时， $\theta$ 的似然函数即为
$L(\theta | Y=5) = P(Y=5 ; \theta) = \tbinom{10}{5}\theta^5 (1-\theta)^5$
$\theta$ 在 $[0,1]$ 变化时，似然函数的大小即代表 $\theta$ 取值可能性的大小。
需要注意的是，似然函数的值并不等于参数 $\theta$ 取到某值的确切概率，函数值大小关系仅反应取对应自变量的可能性大小关系。若要定量描述参数的概率分布及其取某一确切值的概率，需要对似然函数进行归一化处理得到其概率密度函数，即通过除以函数面积构造新函数让其在给定区间内积分为1.因此，对一正函数 $f(x)$ ,在给定定义域内作 $g(x) = \frac{f(x)}{\int f(u) \, \mathrm{d} u}$ ,则 $\int g(x)\, \mathrm{d}x =1$
对于二项分布的似然函数作同样处理，则有
$\begin{align} P(\theta) &= \frac{\tbinom{m}{n}{\theta}^n(1-\theta)^{m-n}}{\int_0^1\tbinom{m}{n} {\theta}^n(1-\theta)^{m-n} \, \mathrm{d} \theta} \\ &= \frac{\theta^n (1-\theta)^{m-n} }{\int_0^1\theta^n (1-\theta)^{m-n} \, \mathrm{d} \theta } \end{align}$
为表美观，我们令 $\alpha = n +1, \beta = m-n+1, f(x) = P(\theta)$ ,则
$\begin{align} f(x; \alpha, \beta) &= \frac{x^{\alpha-1} (1-x)^{\beta-1}}{\int_0^1 u^{\alpha-1} (1-u)^{\beta-1}\, \mathrm{d}u } \\ &= \frac{1}{B(\alpha, \beta)} x^{\alpha-1} (1-x)^{\beta-1} \end{align}$
至此，我们成功推导出了Beta分布的概率密度公式。Beta分布描述的是，进行伯努利试验（抛硬币），出现 $\alpha-1$ 次正面， $\beta - 1$ 次反面时，正面向上的概率 $\theta$ 的概率分布。当我们没有抛硬币时，出现正面与反面向上的次数均为0，此时可认为硬币正面向上的概率满足 $Beta(1,1)$ 的分布，即均匀分布；其概率密度函数如图

Beta(1,1)

若抛了三次硬币均为正面，此时正面向上概率满足

Beta(4,1)

的分布，其概率密度函数如图

Beta(4,1)

即有充分理由认为正面向上概率靠近1
当分别进行10次试验出现5正5反以及进行1000次试验出现500正500反时，正面向上概率分别满足

Beta(6,6)

及

Beta(501,501)

分布，其函数图像为

Beta(6,6)

Beta(501,501)

显然，

Beta(501,501)

的概率分布明显比

Beta(6,6)

更向0.5集中。即，当抛十次硬币出现五正五反时，

\theta

的取值仍相当有可能不为0.5，而当抛1000次硬币出现500正500反时，

\theta

取0.5以外值的可能性就很小了。

贝叶斯公式指出，后验概率正比于为先验概率×似然性。若后验分布与先验分布属于同类，则先验分布与后验分布被称作共轭分布，该先验分布被称为似然函数的共轭先验。
共轭先验的概念必须基于似然函数进行讨论。在抛硬币的例子中，我们通过对似然函数的归一化得到了 $Beta$ 分布，因此若将先验分布也设为 $Beta$ 分布，对后验分布的计算在代数上将十分简便。除了二项分布- $Beta$ 分布外，正态分布-正态分布、泊松分布- $Gamma$ 分布也是常见的共轭分布。

理解β分布及共轭分布

推荐阅读更多精彩内容