最大似然估计和最大后验估计

最大似然估计(频率派)

\theta_{MLE}=\arg\max_{\theta}\prod_{i=1}^{n}logP(x_{n}|\theta)
求解出\theta，该\theta对应的概率密度函数，使得当前数据出现的概率最大。当数据量足够大的时候，当\hat{\theta}接近于真实的\theta的时候，似然函数会最大。
可以推导出最小二乘法。

最大后验估计(贝叶斯派，加入了先验)

最大后验估计认为参数服从一定的分布。

最大后验估计


等式右边第一项是似然，第二项是先验。求解参数成立最大的概率，引入参数的先验分布。
可以推导出Ridge regression(假设参数w服从正太分布)和Lasso(假设参数w服从拉普拉斯分布)

似然函数:L(\theta)=logP(x|\theta)，P(x|\theta)是概率密度函数，这里\theta是自变量，概率密度函数是因变量，要构造合理\theta使得当前数据出现的概率最大。
条件概率：一个事件发生后另一个事件发生的概率。

[参考文献]

  1. 概率与似然
  2. 最大似然估计和最小二乘法怎么理解
  3. b站频率派和贝叶斯派
  4. b站最大似然讲解视频
  5. 油管最大后验估计
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容