关于线性回归一直都知道是那么回事,方差最小啥的。但是涉及到计算方法或者代码啥的,也是不太了解,最近就做了个全面的总结,数学公式比较麻烦,所以直接上祖传手稿
首先是因为我某天遇到个这样的问题,想知道最大似然估计和最小二乘的区别,下面的例子其实是来源知乎的一个答案,但有助理解,就写下来了
这幅图是最小二乘的矩阵解法的公式推算,这种解法是最小二乘的逆矩阵解法,还有一种解法是梯度下降,在下面也罗列了大概的优缺点,这里和上面那个图有个地方的转换就是 图上右方的h(x) = Wx
目前梯度下降的公式我还没自己推算一遍,所以先没放上来(百度一大推)
最后这个是一元线性回归下的计算y = ax+b
这里github有我写的一个简单的代码,就是根据最后这个计算a和b的公式计算出来并且画图的