线性模型

线性模型 (Linear model) 是一类机器学习算法的统称, 形式化的定义为: 通过给定的数据集 $D$ , 线性模型试图学习一个函数, 使得对于任意的输入特征向量 $x=(x_1,x_2, \cdots,x_n)^T \in \mathbb{R}^n$ , 模型的预测输出为

$f(x) = w^Tx + b$

其中, $w\in \mathbb{R}^n, b\in \mathbb{R}$ 被称为模型的参数. 线性模型常常被用于分类, 回归任务中, 是最为基础的模型. 往往非线性模型都是在线性模型的输出结果的基础上进行非线性变换, 层级叠加等操作. 因而, 线性模型十分重要, 学好它, 你便可以直接将其迁移到其他复杂模型上去. 常见的线性模型有线性回归, 单层感知机和 Logistic 回归.

1 线性回归模型

假设我们训练集 $D= \{(x^i,y^i)\}_{i=1}^m$ , 其中 $x^i\in \mathbb{R}^n$ , $y^i \in \mathbb{R}$ . 对于回归任务, 我们需要通过训练集 $D$ 学习一个模型 $f$ , 使得该模型可以得到新的数据 $x$ 的预测值. 我们记 $V = \text{span}(x_1,x_2,\cdots,x_m)$ , 可以定义线性泛函

$\begin{aligned} f:\,& V \rightarrow \mathbb{R}\\ & x \mapsto y \end{aligned}$

故而, 对 $\forall x\in V$ , 我们可以找一个比较好的泛函 $f\in V^*$ 来最小化损失函数

$L(w,b) = \displaystyle\sum_{i=1}^m |f(x^i) - y^i|^2 = ||Xw + b - y||^2$

这里 $w, b\in \mathbb{R}^n$ ,

$X = \begin{pmatrix} (x^1)^T\\ (x^2)^T \\ \vdots\\(x^m)^T \end{pmatrix}; y = \begin{pmatrix} y^1\\ y^2 \\ \vdots\\y^m \end{pmatrix}$

为了求解的便利, 记

$\Phi = (X,1); \theta = \begin{pmatrix} w\\b \end{pmatrix}$

则 $\hat{Y} = \Phi \theta$ , 有

$L(\theta) = ||\Phi \theta-y||^2$

又

$\begin{aligned} \min_{\theta} L(\theta) \Leftrightarrow \min_{\theta} ||\Phi \theta||^2 - 2 \langle \Phi\theta, y \rangle \end{aligned}$

为了获得 $L(\theta)$ 的最小值, 令 $\nabla_{\theta} L(\theta) = 0$ , 我们有

$\begin{aligned} \Phi^T\Phi\theta = \Phi^T y \end{aligned}$

因而, $\theta^* = (\Phi^T \Phi)^{\dagger}\Phi^T y$ .

上面的求解方式被称为最小二乘法.

对于新的数据 $x$ , 利用上式求得其预测输出为

$f(x) = (\theta^*)^T\begin{pmatrix} x\\1\end{pmatrix}$

2 局部线性回归

局部线性回归 (Local Weighted Linear Regression, 简称 LWR) 的思路很简单, 只需要将损失函数做点改动:

$L(w,b) = \displaystyle\sum_{i=1}^m \mu^i|f(x^i) - y^i|^2$

其中, $\mu^i$ 是一个非负的权重值, 一般采用指数函数形式:

$\mu^i = \text{exp} (-\frac{(x^i-x)^2}{2\sigma^2})$

其中, $x$ 表示预测数据, 利用最小二乘法, 同样可以得到

$\theta^* = (\Phi^T \Psi \Phi)^{\dagger}\Phi^T \Psi y$

其中 $\Psi$ 是一个对角矩阵, 满足:

$\Psi_{i,i} = u^i$

由 $\mu^i$ 的定义, 我们可以知道: 离 $x$ 越近的点 $x^i$ , 它对结果的影响权重越大, 离 $x$ 越远的点 $x^i$ , 它对结果的影响权重越小.

我们很容易可以得出: 利用最小二乘法来拟合训练数据, 等价于把训练数据的输出看成是服从高斯分布.

图片发自简书App

3 Logistic 回归

为了将回归问题转换为分类问题, 我们可以将线性模型的输出施加一个非线性变换, 以二分类为例, 我们改写线性模型为跃升函数:

$f(x) = \begin{cases} 0 & w^T x + b \leq 0\\ 1 & w^T x + b > 0 \end{cases}$

由于该函数不连续, 不可导, 我们使用跃升函数的平滑版, 即 Sigmoid 函数

$f(x) = \frac{1}{1 + e^{-(w^Tx + b)}}$

sigmoid 函数的优势:

将输入数据压缩至 $[0,1]$ ，可以看作是概率值, 即

$p(y=1|x) = \frac{e^{w^Tx + b}}{1 + e^{w^Tx + b}};$

$p(y=0|x) = \frac{1}{1 + e^{w^Tx + b}}$

sigmoid 函数可导:

$\nabla f(x） = f(x)(1-f(x))$

Logistic 回归采用对数最大似然损失, 即

$\begin{aligned} L(w,b) &= \ln \left(\displaystyle\prod_{i=1}^m p(y^i|x^i;w,b)\right)\\ &= \displaystyle\sum_{i=1}^m \ln \left(p(y^i|x^i;w,b)\right)\\ &= \displaystyle\sum_{i=1}^m \left(y^i\ln(f(x^i) + (1-y^i)\ln(1 - f(x^i) \right) \end{aligned}$

最后编辑于：2019.12.26 00:45:45

禁止转载，如需转载请通过简信或评论联系作者。

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 218,607评论 6赞 507
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 93,239评论 3赞 395
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 164,960评论 0赞 355
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,750评论 1赞 294
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,764评论 6赞 392
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,604评论 1赞 305
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,347评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,253评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,702评论 1赞 315
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,893评论 3赞 336
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,015评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,734评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,352评论 3赞 330
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,934评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,052评论 1赞 270
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,216评论 3赞 371
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,969评论 2赞 355

线性模型

线性模型

1 线性回归模型

2 局部线性回归

3 Logistic 回归

推荐阅读更多精彩内容