所谓估计，是要解决的这样的问题：有一个随机过程（随机信号），它存在若干对我们十分有用但未知的统计量（参数）。为了得到这些参数，我们采集一段样本，设为x1,x2,…,xN。通过这N个样本（和一些其他的先验信息）来“最好”的逼近那些真实的参数。这些“估计”出来的值越“接近”客观实际的值越好。
那么就自然的引出一个问题，怎样叫做最好，换言之，需要提供一个准则。下面把一些准则列举说明如下：
1．最小均方误差(MMSE)：这个标准说，所谓好，是指估计子与实际参数的误差平方的期望比较小，即使E{(θ´–θ)²}最小。这个准则从Bayes估计的角度去理解，就是风险函数为二次型|θ´–θ|²时的Bayes估计，所以MMSE可以理解为使二次型风险函数最小（即在二次型意义下最保险）的准则。在这个准则下估计参数，除了提供N个样本外，还需要提供一个信息，就是f(θ|x1,x2,…,xN)，称为给定x1,x2,…,xN情况下θ的后验分布密度函数，关于这个东西的意义，我们后面单谈。总之通过推导，可以知道参数θ的估计θ´可以通过计算E{θ|x1,x2,…,xN }得到，而计算过程中需要知道f(θ|x1,x2,…,xN)。
这个准则还衍生出一种估计方法，叫做线性均方估计(LMS)。这个估计的最大特点是不需要知道f(θ|x1,x2,…,xN)，只要给定N个样本，我们通过构造如下估计子：θ´=∑wixi，即样本的线性加权和，之后确定权系数，令其与θ的MMS最小即可。得到的一个有用结论是正交性原理：MMS最小，当且仅当误差e=θ´–θ与每一个样本xi正交，即E{exi}=0,i=1,…,N。
2．最大后验概率(MAP)：这个标准说，所谓好，是指后验分布密度函数最大。即f(θ|x1,x2,…,xN)最大，所以可以通过df/dθ=0求得θ´。从Bayes估计的角度去理解，就是风险函数为均匀损失函数时的Bayes估计，所以MAP可以理解为在均匀损失意义下最保险的准则。同样，除了提供N个样本外，我们需要知道f(θ|x1,x2,…,xN)才可以在这个准则下估计参数。
3．最大似然估计(ML)：这个标准说，所谓好，是指似然函数最大。似然函数是指f(x1,x2,…,xN|θ)，这个函数的意义及其与后验分布密度函数的比较，我们后面详谈。总之，这个估计可以通过df/dθ=0求得。而此准则需要知道的除N个样本外，就是似然函数f(x1,x2,…,xN|θ)了。另外加一句，可以证明当θ服从均匀分布时，ML与MAP等价。
4．最小二乘(LS)：这个标准说，所谓好，是指使得误差的平方和(Aθ-b)′(Aθ-b)最小。这个准则的特点同LMS一样，即除了N个样本外，不需要任何先验知识。
至此，我们总结完了4种准则。下面重点讨论MAP和ML两种需要先验知识的准则(MMSE的先验知识与MAP相同)，讨论f(θ|x1,x2,…,xN)和f(x1,x2,…,xN|θ)的区别。我们可以这样考虑，拿到这N个样本后，我们要估计θ，而θ又是客观存在的。因此我们有两种思路，一种是把θ当成随机变量，看现在的这N个样本最可以推出怎样的θ，即让f(θ|x1,x2,…,xN)最大；另一种是把x1,x2,…,xN当成随机变量，看怎样的θ可以让出现x1,x2,…,xN的概率最大，即让f(x1,x2,…,xN|θ)最大。这就对应两种不同的准则MAP和ML，是处理问题的两个角度。
（转载https://xieshangran.wordpress.com/2008/03/05/%E5%85%B3%E4%BA%8E%E5%8F%82%E6%95%B0%E4%BC%B0%E8%AE%A1/）
MMSE 和 LS的最大区别在于：MMSE解决的问题是模型已知，参数未定的问题。 而 LS解决的是模型未知， 参数未定的问题。
MMSE和均值有关，求均值就一定要知道确切的分布，而不是经验分布, 因此想要求解MMSE，如果你不知道后验概率模型，请问你该如何求解？？求不了的！
MMSE的求解一定是完全已知参数的概率分布，才能求解。求MMSE的过程只不过是个计算的过程，因为模型已知，你不需要关注模型是否是合适的，均值就直接求就行了。
而LS的求解过程，是个回归的过程，也就是说，不光你要在乎cost function的大小，你还要关心你模型的好坏。 首先你自己蒙一个函数关系，而后用实验数据带入自己建立的模型中，得到 x_predict，而后计算cost function的值的大小。 你完全不需要知道x的概率分布，也不需要求什么mean。你唯一在乎的就是你从cost function。 大就是不行，小就是牛b。再说一遍，这两者之间的不同的重点在于！ 模型是已知还是未知。 如果未知，你就要给出一个模型，而后计算J。通过最小化J来找参数的值。如果是已知，你就直接求mean，就直接得到来MMSE。
（转载https://www.zhihu.com/question/27200164/answer/1181818191）
