今天在看逻辑回归算法的时候，对其原理有点困惑，便去晚上找了找前辈的博客。
逻辑回归算法是基于最大似然估计的。
最大似然估计是概率论里的知识。然后就找到了这一篇帖子，前前后后看了两遍，终于明白了。最大似然估计和最大后验概率估计的区别在于：有无先验概率，或者说先验概率是否为1。
就举这个帖子中抛硬币的例子来说明。
首先要知道P(x|θ)的意思：
输入有两个：x表示某一个具体的数据；θ表示模型的参数。
如果θ是已知确定的，x是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点x，其出现概率是多少。(就是我们已经知道抛硬币只有两面，如果硬币质量均匀，就抛一次，样本空间是{正面，反面}，那么请问出现正面的概率是多少？0.5)
如果x是已知确定的，θ是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现x这个样本点的概率是多少。（就是我们已经抛完硬币了，抛了十次，其中正面出现7次，那么根据这个结果请问抛硬币出现正面的概率是多少，才最可能得到我们现有的实验结果（十次出现七次正面）？0.7）
所以重点来了
根据最大似然估计的思想
我们要求出合适的θ让P(x|θ)尽可能的大，那么θ等于多少的时候，十次出现七次正面的情况最可能呢？算来算去，发现θ=0.7。
但是我们是人啊，我们是有思想的，一个硬币就正反面，我们的认知都是正面反面出现的概率各一半，结果求出个θ=0.7，这不合理啊。
于是最大后验概率估计出现了
我们带着先验（主观色彩）去求这个θ，让P(x0|θ)P(θ)最大，其中P(x0|θ)就是我们上面看到的公式，P(θ)就是我们的先验（我们认为出现正面的概率是0.5）了，我们要求出一个既符合实验结果，又符合我们观念的θ，那么，最后求出的θ就在0.5到0.7之间（这也算是种妥协）。
