参数估计方法

参数估计

  • 最小二乘法估计
    • 构造误差平方和函数，对其求偏导，让误差平方和函数取得最小值的参数就是模型参数。
  • 极大似然估计(MLE)
    \underset {\theta} {argmax} p(x|\theta) = \underset {\theta} {argmax} \sum_i {\ln(p(x_i|\theta) }
    p(x|\theta)是似然函数。
  • 最大后验估计(MAP)
    • 最大后验估计允许我们把先验知识加入到估计模型中，这在样本很少的时候是很有用的（因此朴素贝叶斯在较少的样本下就能有很好的表现），因为样本很少的时候我们的观测结果很可能出现偏差，此时先验知识会把估计的结果“拉”向先验，实际的预估结果将会在先验结果的两侧形成一个顶峰。
      \underset {\theta} {argmax} p(x|\theta) \cdot p(\theta) = \underset {\theta} {argmax} \sum_i {\ln(p(x_i|\theta) \cdot p(\theta))}
      p(x|\theta)是似然函数，而p(\theta)是先验概率
  • 贝叶斯估计
    • 贝叶斯估计是在MAP上做进一步拓展，此时不直接估计参数的值，而是允许参数服从一定概率分布。
      p(X)=\int p(X| \theta )p(\theta) d \theta
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容