抛硬币的结果满足二项分布,即若每次试验正面向上的概率为θ,进行m次试验,其中n次正面向上的概率为
当时,若进行十次试验,出现五次正面向上的概率最大,四次或六次正面向上的概率略小。如果,十次试验中依然是出现五次正面向上的概率最大,此时
反过来思考,倘若不知道正面向上的概率,只有“抛十次硬币出现五次正面向上”这一观察结果,能否判定呢?显然是不行的。都是很有可能的;甚至当时,十次试验仍有2%的几率出现五次正面向上。
可见,当观察到试验结果时,我们无法准确判定的确切值,而只能对它的概率分布作出判断。在上述例子中,我们倾向于认为的可能性较大,而等于的可能性较小。
定量描述“取值的可能性”需要引入似然性的概念。似然性表示参数为某个特定值的可能性,也等于对应参数下样本分布的概率,即
在本例中,十次试验出现五次正面向上时,的似然函数即为
在变化时,似然函数的大小即代表取值可能性的大小。
需要注意的是,似然函数的值并不等于参数取到某值的确切概率,函数值大小关系仅反应取对应自变量的可能性大小关系。若要定量描述参数的概率分布及其取某一确切值的概率,需要对似然函数进行归一化处理得到其概率密度函数,即通过除以函数面积构造新函数让其在给定区间内积分为1.因此,对一正函数,在给定定义域内作,则
对于二项分布的似然函数作同样处理,则有
为表美观,我们令,则
至此,我们成功推导出了Beta分布的概率密度公式。Beta分布描述的是,进行伯努利试验(抛硬币),出现次正面,次反面时,正面向上的概率的概率分布。当我们没有抛硬币时,出现正面与反面向上的次数均为0,此时可认为硬币正面向上的概率满足的分布,即均匀分布;其概率密度函数如图
若抛了三次硬币均为正面,此时正面向上概率满足的分布,其概率密度函数如图
即有充分理由认为正面向上概率靠近1
当分别进行10次试验出现5正5反以及进行1000次试验出现500正500反时,正面向上概率分别满足及分布,其函数图像为
显然,的概率分布明显比更向0.5集中。即,当抛十次硬币出现五正五反时,的取值仍相当有可能不为0.5,而当抛1000次硬币出现500正500反时,取0.5以外值的可能性就很小了。
贝叶斯公式指出,后验概率正比于为先验概率×似然性。若后验分布与先验分布属于同类,则先验分布与后验分布被称作共轭分布,该先验分布被称为似然函数的共轭先验。
共轭先验的概念必须基于似然函数进行讨论。在抛硬币的例子中,我们通过对似然函数的归一化得到了分布,因此若将先验分布也设为分布,对后验分布的计算在代数上将十分简便。除了二项分布-分布外,正态分布-正态分布、泊松分布-分布也是常见的共轭分布。