最小二乘法的应用

最小二乘法：
$W = L(\alpha_1, \cdots, \alpha_s)$ 为 $\mathbb R$ 上的欧式空间 $V$ 的子空间， $\lambda \in W$ ，则对于任意的 $\beta \in V$ ，有：

$\forall \, \delta \in W,\; ||\beta - \lambda|| \leq ||\beta - \delta|| \Longleftrightarrow \beta \, \bot \, W$

即向量到子空间各向量间的距离以垂线为最短。

下面的 $Q$ 表示待求解的问题， $A$ 代表求解方法：

求解线性方程组

$Q_1$ ：

$\begin{aligned} &AX = b &\text{其中} A \in {\mathbb R}^{m \times n} ;\; X \in {\mathbb R}^{n \times 1} ;\; b \in {\mathbb R}^{m \times 1} \end{aligned}$

$A_1$ ：

令 $A = (\alpha_1, \cdots, \alpha_n), X = (x_1, \cdots, x_n)^{T}$ ，则有 $Y = AX = x_1 \alpha_1 + \cdots + x_n \alpha_n$ ，即 $Y \in L(\alpha_1, \cdots, \alpha_n)$ ，这样 $Q_1$ 便可转化为最小二乘问题：

$Q_1^1$ ：

$\begin{aligned} &\displaystyle\min_{Y} ||Y - b|| \Longleftrightarrow b - Y \,\bot \, L(\alpha_1, \cdots, \alpha_n)\\ &(b - Y,\, \alpha_ i) = 0 \Longleftrightarrow A^T(AX - b) = 0 & i \in \{1, \cdots, s\} \end{aligned}$

这样原问题便简化了。

几个关键定义

定义1： $V$ 是数域 $P$ 上的一个线性空间，泛函 $f: V \times V \rightarrow {\mathbb R}$ ，满足：

$\begin{cases} f(\alpha,\, k_1 \beta_1 + k_2 \beta_2) = k_1 f(\alpha, \,\beta_1) + k_2 f(\alpha,\,\beta_2)\\ f(k_1 \alpha_1 + k_2 \alpha_2,\, \beta) = k_1 f(\alpha_1, \,\beta) + k_2 f(\alpha_2,\,\beta) \end{cases}$

其中 $\alpha,\; \alpha_1,\; \alpha_2,\; \beta,\; \beta_1,\; \beta_2 \in V$ 中任意的向量， $k_1,\; k_2 \in P$ ，则称 $f(\alpha, \beta)$ 为 $V$ 上的一个双线性函数.

定义2：设 $f(\alpha, \beta)$ 是数域 $P$ 上 $n$ 维线性空间 $V$ 上的一个双线性函数. $\varepsilon_1,\, \cdots, \, \varepsilon_n$ 是 $V$ 的一组基，则矩阵

$A = \begin{bmatrix} f(\varepsilon_1,\, \varepsilon_1) & \cdots & f(\varepsilon_1,\, \varepsilon_n)\\ &&&\\ \vdots & \ddots & \vdots \\ &&&\\ f(\varepsilon_n,\, \varepsilon_1) & \cdots & f(\varepsilon_n,\, \varepsilon_n) \end{bmatrix}$

叫做 $f(\alpha, \beta)$ 在 $\varepsilon_1,\, \cdots, \, \varepsilon_n$ 下的度量矩阵。当 $\alpha = \beta$ 时， $V$ 上的函数 $f(\alpha, \alpha)$ 称为与 $f(\alpha, \beta)$ 对应的二次齐次函数。

易推知：同一个双线性函数在不同的基下的度量矩阵是合同的。

设 $\varepsilon_1,\, \cdots, \, \varepsilon_n$ 及 $\eta_1,\,\cdots,\,\eta_n$ 是线性空间 $V$ 的两组基底，且 $( \eta_1,\,\cdots,\,\eta_n) = (\varepsilon_1,\, \cdots, \, \varepsilon_n)C$ ，则有

$\begin{cases} \alpha = (\varepsilon_1,\, \cdots, \, \varepsilon_n)\\ X = ( \eta_1,\,\cdots,\,\eta_n)X_1\\ \beta = (\varepsilon_1,\, \cdots, \, \varepsilon_n)\\ Y = ( \eta_1,\,\cdots,\,\eta_n)Y_1 \end{cases}$

即：

$X = CX_1,\;Y = CY_1$

若双线性函数 $f(\alpha, \beta)$ 在 $\varepsilon_1,\, \cdots, \, \varepsilon_n$ 及 $\eta_1,\,\cdots,\,\eta_n$ 下的度量矩阵分别为 $A, B$ . 则有

$f(\alpha, \beta) = X^TAY = (CX_1)^TA(CY_1) = X_1^TC^TACY_1 = X_1^TBY_1$

因此

$B = C^TAC$

定义3：设 $D = (V, E)$ 是一个标定的无环有向图，其中设 $V = \{v_1,v_2,\cdots,v_n\},\;E = \{e_1,e_2,\cdots,e_m\}$ ，则称 $M(D) = (m_{ij})_{n \times m}$ 为 $D$ 的关联矩阵，其中

$m_{ij} = \begin{cases} 1 &\text{$v_i$ 是边 $e_j$ 的始点} \\ -1 &\text{$v_i$ 是边 $e_j$ 的终点} \\ 0 &\text{其他} \end{cases}$

基于图的半监督学习

给定 $D_l = \{(x_1,y_1), \,(x_2,y_2),\,\cdots,\,(x_l,y_l)\}$ 和 $D_u = \{(x_{l+1},y_{l+1}), \,(x_{l+2},y_{l+2}),\,\cdots,\,(x_{l+u},y_{l+u})\}$ ， $l \ll u$ ， $l+u=m$ .我们先基于 $D = D_l \bigcup D_u$ 构建一个图 $G = (V, E)$ ，其中节点集 $V = \{(x_1,y_1), (x_2,y_2),\cdots,(x_{l+u},y_{l+u})\}$ ，边集的亲和矩阵（affinity matrix，或称为相似度矩阵），常基于高斯函数定义为

$(W)_{ij} = \begin{cases} exp(\frac{-||x_i - x_j||_2^2}{2\sigma^2}) &\text{if $i \neq j$} \\ 0 &\text{其他} \end{cases}$

其中 $i,\,j \in \{1, \,2, \,\cdots, \,m\}; \sigma > 0$ 是用户指定的高斯带宽参数。

子空间 $V = L(x_1, \,x_2,\,\cdots,\,x_m))$ 上定义一个映射 $f$

$\begin{aligned} f: V \rightarrow {\mathbb R^C}, && \text{$C$ 是类别个数} \end{aligned}$

则可以定义 $f$ 的能量函数为

$\begin{aligned} E(f) &= \frac{1}{2} {\displaystyle\sum_{i=1}^{m}\sum_{j=1}^m (W)_{ij} ||f(x_i) - f(x_j)||^2}\\ &= \frac{1}{2}{\displaystyle\sum_{i=1}^{m}\sum_{j=1}^m (W)_{ij}( ||f(x_i)||^2 - 2 f(x_i)^Tf(x_j) + ||f(x_j)||^2)}\\ &= {\displaystyle\sum_{i=1}^{m}\sum_{j=1}^m}(W)_{ij}||f(x_i)||^2 - {\displaystyle\sum_{i=1}^{m}\sum_{j=1}^m}f(x_i)^Tf(x_j)(W)_{ij} & \text{$i$, $j$ 的对称性} \end{aligned}$

令

$\begin{aligned} &W = (w_1, \, \cdots, w_m)\\ &F = (f(x_1), \cdots, f(x_m)) = (f_1, \cdots, f_m) \end{aligned}$

则有

$\begin{aligned} FWF^T &= (\sum_{i=1}^m f_i(W)_{1,i},\cdots, \sum_{i=1}^m f_j(W)_{m,i})F^T \\ &= (Fw_1, \cdots, Fw_m)F^T \\ &= \sum_{i=1}^m Fw_if_i^T \\ &= \sum_{i,j=1}^m (W)_{i,j}f_i f_j^T \end{aligned}$

故而

$\begin{aligned} Tr(FWF^T) &= \sum_{i,j=1}^m Tr(f_i f_j^T)(W)_{i,j} \\ &= {\displaystyle\sum_{i=1}^{m}\sum_{j=1}^m}f(x_i)^Tf(x_j)(W)_{ij} \end{aligned}$

令 $d_j = {\displaystyle \sum_{j=1}^m (W)_{ij} = ||w_j||_1}$ ，则记
$D = diag(d_1, \cdots, d_m)$ ，故而

${\displaystyle\sum_{i=1}^{m}\sum_{j=1}^m}(W)_{ij}||f(x_i)||^2 = Tr(FDF^T)$

因而 $E(f) = Tr(F(D-W)F^T)$

令 $\Delta = D - W$ （被称为拉普拉斯矩阵）则有

$\begin{aligned} \min_f E(f) = \min_f Tr(F \Delta F^T) \Longleftrightarrow F \Delta = 0 & & \text{最小二乘问题} \end{aligned}$

最后编辑于：2019.12.26 00:42:42

禁止转载，如需转载请通过简信或评论联系作者。

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 214,504评论 6赞 496
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,434评论 3赞 389
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 160,089评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,378评论 1赞 288
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,472评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,506评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,519评论 3赞 413
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,292评论 0赞 270
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,738评论 1赞 307
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,022评论 2赞 329
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,194评论 1赞 342
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,873评论 5赞 338
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,536评论 3赞 322
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,162评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,413评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,075评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,080评论 2赞 352

最小二乘法的应用

求解线性方程组

几个关键定义

基于图的半监督学习

推荐阅读更多精彩内容