机器学习--线性回归原理

首先，我们来看一看在统计学中线性回归的官方解释（出自维基百科）。在统计学中，线性回归（英语：linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归（multivariable linear regression）。

个人理解：在机器学习中线性回归的应用可理解为利用已知的数据通过线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析后，然后通过将特定数据代入到建立的模型中去预测从出某个值。

下面我们通过一个例子来理解线性回归在机器学习中的应用。

假设现在有一个人要去银行贷款，那么银行会贷给这个人的最高金额是多少呢？

每个人都是不一样的，并且会有各种各样的特征，而在此问题中只有一些特征才会对他所能够贷款的最高金额产生影响。例如，此人的工资，此人的年龄等等。此时我们简化一下问题，只考虑工资x1和年龄x2两个特征会对贷款金额造成影响（特征）

目的：即为预测出银行贷给此人的最高金额。（标签）

考虑：此人的工资和年龄特征会给银行贷款的最高金额产生多少影响呢？（参数）

现在我们对此问题进行一个分析

假设θ1是工资的参数，θ2是年龄的参数。

我们此时可以想象一个三维坐标系，X1和X2分别代表两个特征，Y代表贷款金额，那么我们所拟合的平面方程为：

$h_θ(x)=θ_0+θ_1x_1+θ_2x_2$

此时的 $θ_0为偏置项$

此时我们可以设为 $x_0=1$ ，那么我们可以得到

$h_θ(x)=\sum_{0}^n\theta _ix_i=\theta^Tx$

同时，设真实值

$y^i=\theta^Tx^i+\varepsilon ^i$

$x^i$ 代表第i个样本（人）， $\varepsilon^i$ 代表第i个预测值与真实值之间的误差。

误差

在机器学习中，我们通常会默认每个样本是独立同分布的，且服从均值为0，方差为 $\sigma ^2$ 的高斯分布

那么误差的概率密度函数为

$\frac{1}{\sqrt{2\pi } \sigma } e^{-\frac{(\varepsilon ^i-0)^2}{2\sigma^2}}$

又因为

$y^i-\theta^Tx^i=\varepsilon ^i$

所以代入得概率密度函数可得

$\frac{1}{\sqrt{2\pi } \sigma } e^{-\frac{(y^i-\theta^Tx^i)^2}{2\sigma^2}}$

似然函数

此时我们需要求出 $\theta$ 为多少时最准确，求出θ后我们也就可以得到该银行贷款给每个人的函数方程
$L(\theta)=\prod_{i=1}^n \frac{1}{\sqrt{2\pi } \sigma } e^{-\frac{(y^i-\theta^Tx^i)^2}{2\sigma^2}}$

为了更好地对此方程进行一个求解通常会对此方程取对数，即

$ln(L(\theta))=ln(\prod_{i=1}^n \frac{1}{\sqrt{2\pi } \sigma } e^{-\frac{(y^i-\theta^Tx^i)^2}{2\sigma^2}})=\sum_{i=1}^n ln( \frac{1}{\sqrt{2\pi } \sigma } e^{-\frac{(y^i-\theta^Tx^i)^2}{2\sigma^2}})=nln(\frac{1}{\sqrt{2\pi}\sigma})-\frac{1}{2}\frac{1}{\sigma^2}\sum_{i=1}^n(y^i-\theta^Tx^i)^2$

目标函数

此时我们容易看出 $nln(\frac{1}{\sqrt{2\pi}\sigma})$ 为常数，所以当 $\frac{1}{2}\frac{1}{\sigma^2}\sum_{i=1}^n(y^i-\theta^Tx^i)^2$ 越小时，此时地预测的值越准确，那么我们可以得到目标函数为

$J(\theta)=\frac{1}{2}\sum_{i=1}^n(y^i-\theta^Tx^i)^2=\frac{1}{2}(x\theta-y)^T(x\theta-y)$ （这就是最小二乘法的来由）

通常J(θ)对θ求偏导等于0时J(θ)能够得到最小值

矩阵的求导：

$已知Y=A*X*B$

则：

$\frac{dY}{dX}=A^T*B^T$ 和 $\frac{dY}{dX^T}=B*A$

通过计算得到最后求得

$\frac{\partial J}{\partial \theta}=x^Tx\theta-x^Ty=0$

所以可得

$\hat{\theta} =(x^Tx)^{-1}x^Ty$

最常用的评估项

$R^2:1-\frac{\sum_{i=1}^n (\hat{y}_i-y_i)^2 }{\sum_{i=1}^n (y_i-\tilde{y} )^2 }$

当 $R^2$ 越接近1越好，证明误差越小，预测的越准确。

最后编辑于：2022.08.20 11:08:36

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 215,463评论 6赞 497
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,868评论 3赞 391
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 161,213评论 0赞 351
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,666评论 1赞 290
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,759评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,725评论 1赞 294
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,716评论 3赞 415
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,484评论 0赞 270
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,928评论 1赞 307
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,233评论 2赞 331
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,393评论 1赞 345
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,073评论 5赞 340
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,718评论 3赞 324
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,308评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,538评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,338评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,260评论 2赞 352