机器学习笔记(一)——线性回归理论推导

1.前提:

给定由d个属性描述的示例x = x1;x2;...;xd,其中xix在第i属性上的取值,线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数。

原函数(original function):yi = \alpha x + \beta*xi

预测函数(predict function):\hat{yi} = \hat{\alpha} + \hat{\beta}*xi

损失函数(cost function):SSE = \sum_{i} \varepsilon^2 = \sum_{i} (yi - \hat{yi})^2

结果:\hat{\beta} =\frac{\bar{x} \bar{y} - \bar{xy}}{\bar{x^2} -   \bar{x}^2}\hat{\alpha} = \bar{y} - \hat{\beta}*\bar{x}

2.推导过程

(1).残差表达式:

SSE = (yi - \hat{\alpha} - \hat{\beta}*xi)

(2).分别对\hat{\alpha}\hat{\beta}求导:

\frac{\partial SSE}{\partial \hat\beta} = 2\sum_{i}(yi - \hat\alpha - \hat\beta xi)*(-1)

\frac{\partial SSE}{\partial\hat\alpha}=2\sum_{i}(yixi - \hat\alpha xi - \hat\beta xi^2)*(-1)

令两个表达式为0,得到一个方程组。

(3).求解方程组:

\begin{gather}2\sum_{i}(yi - \hat\alpha - \hat\beta xi)*(-1) = 0 \tag{1} \\2\sum_{i}(yixi - \hat\alpha xi - \hat\beta xi^2)*(-1) = 0 \tag{2}\end{gather}

(1) * \sum_{i}xi - (2) *n

\sum_{i}yi \sum_{i}xi - n\sum_{i}yixi = \hat\beta(\sum_{i}xi\sum_{i}xi - n\sum_{i}xi^2) \tag{3}

\frac{(3)}{n^2}

\bar y \bar x - \bar{yx} = \hat\beta(\bar x^2 - \bar{x^2}) \tag{4}

(4).解得\hat\beta\hat\alpha :

(4)合并同类项得

\hat{\beta} =\frac{\bar{x} \bar{y} - \bar{xy}}{\bar{x^2} -   \bar{x}^2}

\hat\beta带入(1)式得

\hat{\alpha} = \bar{y} - \hat{\beta}*\bar{x}

至此,完成了对线性回归得推导,将\alpha 不断进行迭代,就可以找到最贴近原函数得预测函数或者说使损失函数最小的预测函数。

此片笔记较为粗糙,只是提及了推导部分,因为只是作为学习过程的过度作用,还请没有得到自己需要内容的朋友见谅。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 猫 前段时间,我家邻居为了给孩子做伴,买了一只小小的黄色小猫,还给它买了一个小房子,他家孩子还给小猫做二个小树桩的...
    淑瑜Shu阅读 492评论 0 2
  • 最近跟编辑部的一位实习生同事吃饭。 “问你一个问题。”我扒了一口饭,突然说道。 她夹起一块排骨,很自然地回“好啊”...
    数据程有讲运营总监阅读 174评论 0 0
  • 暖阳快乐成长分享第七天:今天早上女儿吃完早饭,说自己要去抽写,我感觉很开心,这是女儿第一次知道主动学习了!7:30...
    小树课堂阅读 246评论 0 1
  • 微信群"彰泥育心.经典育儿养生交流群"的聊天记录如下: ————— 2019-5-20 ————— 子栋 17:5...
    陳境墨阅读 493评论 0 3
  • 元宵节,你首先想到的是什么? 一碗热腾腾的汤圆?一排排流光溢彩的灯笼?锣鼓中的金龙浴火狂舞?抑或是观赏珠圆玉润的满...
    更读书社阅读 699评论 0 0