如果回归模型存在非线性,可能不方便使用OLS,这时采用最大似然估计法(MLE)或非线性最小二乘法(NLS)
6.1 最大似然估计法的定义
- 似然函数(likelihood function)的公式:
含义:抽样之前是随机向量,抽样之后
有了特定的样本值,可以将样本的联合密度函数看做在
给定的情况下,未知参数
的函数,即似然函数解决的问题是:我们抽到的这个样本最有可能来自参数
为什么值的总体呢?或者说我们要找到一个参数
,使得我们观测到这个样本的概率最大。
备注:一般为了计算方便,对似然函数做取对数,将乘积形式转化为和的形式的处理 - 似然函数的得分函数
在数学上,常把最大似然估计量写为:
求一阶条件,有:
得分函数.jpg处的期望为0,即: