概率与统计
概率是已知模型、参数推数据，而统计是已知数据推模型和参数。
似然和概率是两个意思很相似的词，但含义不同。相当于从不同视角理解同一个东西。
对于函数 )
，其中x为数据，
为参数。
- 若参数是确定的，数据x是未知的，则P叫概率函数。描述的是，对于不同的样本x，其出现时的概率是多少；
- 若数据x是已知的，参数是未知的，则P就叫似然函数。描述的是，对于不同的参数，出现样本点x的概率是多少；
贝叶斯公式
%3D%5Cfrac%7BP(B%7CA)P(A)%7D%7BP(B)%7D%20%3D%20%5Cfrac%7BP(B%7CA)P(A)%7D%7BP(B%7CA)P(A)%2BP(B%7C~A)P(~A)%7D)
最大似然估计
已知一组样本 
，和模型)
，估计其参数。
似然估计认为，已经出现的事件就是发生可能性最大的事件。
任一样本
，发生的概率为)
。因此对于这组样本，其整体发生的概率，即联合分布概率为 %3D%5Cprod%20_%7Bi%3D1%7D%5E%7Bn%7Df(x_i%7C%5Ctheta))
只需要对L求极大值即可，一般会根据情况取ln，求导。若不可导，则利用函数特性求解。
最大后验概率估计
最大似然估计时，估计的是 （P即f）。而最大后验概率估计，估计的是P(%5Ctheta))
，即将参数本身的概率也考虑进去，既希望概率最大，也希望参数自身先验概率也最大，相当于是一个期望更大值的正则项。举例解释见例子
P(%5Ctheta)%7D%7BP(x)%7D%3DP(%5Ctheta%7Cx))
，其中P(x)已知了，所以估计就是估计)
，即后验概率。
在求解时可将)
代入，同理求解最大值，得到得到最大后验概率估计。
参考：最大似然与最大后验·理解，二者的具体计算,例子
