最大似然估计与最小二乘回归两种方式本质都是对未知事物做出的判断,目的相同,从以下各方面总结复习一下异同。
一、最小二乘回归直爽,目标是把观察到的误差平方和减到最小,哪个模型做到了,我们就认为它的内容(回归系数)与总体参数相近。最大似然估计绕弯子,想把观察到的样本统计值(交叉表观察值或者观察值背后的概率)出现的概率变到最大,哪个模型预测出的似然性最大,我们就认为它的内容(回归系数)与总体参数相近。
二、最小二乘回归是量体裁衣,依据样本猜总体,看哪条线可以把平均值造成的误差变最小。最大似然估计是先闭门造车,大胆假设根据两次零假设,然后消息求证不停调整与数据匹配。
三、解释最大似然估计(对数回归)与最小二乘的结果相同,要注意:1、自变项与因变项的测量层级与测量单位;2、回归系数是否显著;3、回归系数的正负与绝对值大小。但注意对数回归自变项与因变项相应变化不是线性的(自变项一单位变化带来的因变项变化相同),自变项引起因变项的变化是“0”不发生—“1”绝对发生之间的概率变化,是一条曲线。
四、两者适用条件不同,最大似然估计适用于已知结果对发生环境的还原,用于非连续数据(如男女),结果是概率值。最小二乘回归是用已知样本对未来估计,用于连续数据(如身高)结果为相应数值。
最终最大似然估计是找最高点的盲人游戏,只能一步一步试验,有可能觉得周围都比现在低,但是远方有个山头比现在站点高,可是我们看不到。我们只认定脚下就是最高点,我们完全不知道真相。