最大似然估计(频率派)
求解出,该对应的概率密度函数,使得当前数据出现的概率最大。当数据量足够大的时候,当接近于真实的的时候,似然函数会最大。
可以推导出最小二乘法。
最大后验估计(贝叶斯派,加入了先验)
最大后验估计认为参数服从一定的分布。
等式右边第一项是似然,第二项是先验。求解参数成立最大的概率,引入参数的先验分布。
可以推导出Ridge regression(假设参数w服从正太分布)和Lasso(假设参数w服从拉普拉斯分布)
似然函数:,是概率密度函数,这里是自变量,概率密度函数是因变量,要构造合理使得当前数据出现的概率最大。
条件概率:一个事件发生后另一个事件发生的概率。
[参考文献]