1.前提:
给定由d个属性描述的示例,其中是在第属性上的取值,线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数。
原函数(original function):
预测函数(predict function):
损失函数(cost function):
结果:,
2.推导过程
(1).残差表达式:
(2).分别对和求导:
令两个表达式为0,得到一个方程组。
(3).求解方程组:
得
得
(4).解得和:
对合并同类项得
将带入式得
至此,完成了对线性回归得推导,将不断进行迭代,就可以找到最贴近原函数得预测函数或者说使损失函数最小的预测函数。
此片笔记较为粗糙,只是提及了推导部分,因为只是作为学习过程的过度作用,还请没有得到自己需要内容的朋友见谅。