基于图的半监督学习

接上一篇文章

我们知道 \Delta = \Delta^T

F_l = (f_1, \cdots, f_l), F_u = (f_{l+1}, \cdots, f_{l+u}),则有
F = (F_l,\, F_u)
故而(下面采用分块矩阵)
\begin{aligned} &F\Delta F^T = \begin{pmatrix} F_l & F_u \end{pmatrix} \begin{pmatrix} \Delta_{ll} & \Delta_{lu} \\ \Delta_{ul} & \Delta_{uu} \end{pmatrix} \begin{pmatrix} F_l^T \\ F_u^T \end{pmatrix}\\ \end{aligned}
因而
\begin{aligned} E(f) &= Tr(F\Delta F^T) \\ &= Tr(F_l\Delta_{ll}F_l^T + 2 F_u\Delta_{ul}F_l^T + F_u\Delta_{uu}F_u^T) \end{aligned}

\begin{aligned} \begin{cases} \tfrac{\partial E}{\partial F_u} = 2 F_l\Delta_{lu} + 2F_u \Delta_{uu} = 0\\ \tfrac{\partial E}{\partial F_l} = 2 F_l\Delta_{ll} + 2F_u \Delta_{ul} = 0 \end{cases} \end{aligned}


\begin{aligned} \begin{cases} F_l\Delta_{lu} + F_u \Delta_{uu} = 0\\ F_l\Delta_{ll} + F_u \Delta_{ul} = 0 \end{cases} \end{aligned}

亦即:
\begin{aligned} \begin{cases} F_u \Delta_{uu} = F_lW_{lu}\\ F_l\Delta_{ll} = F_u W_{ul} \end{cases} \end{aligned}

\Delta_{uu} 可逆,则
F_u = F_l W_{lu} \Delta_{uu}^{-1}

\begin{aligned} P &= WD^{-1} \\ &= \begin{pmatrix} W_{ll} & W_{lu} \\ W_{ul} & W_{uu} \end{pmatrix} \begin{pmatrix} D_{ll}^{-1} & 0_{lu} \\ 0_{ul} & D_{uu}^{-1} \end{pmatrix}\\ &= \begin{pmatrix} W_{ll}D_{ll}^{-1} & W_{lu}D_{uu}^{-1} \\ W_{ul}D_{ll}^{-1} & W_{uu}D_{uu}^{-1} \end{pmatrix}\\ &= \begin{pmatrix} P_{ll} & P_{lu} \\ P_{ul} & P_{uu} \end{pmatrix} \end{aligned}
则有
\begin{aligned} F_u &= F_l W_{lu}(D_{uu} - W_{uu})^{-1}\\ &= F_l W_{lu}((I- W_{uu}D_{uu}^{-1})D_{uu})^{-1} \\ &= F_lP_{lu}(I-P_{uu})^{-1} \end{aligned}


将目标函数改为
\begin{aligned} &\min_F Tr(F\Delta F^T) + \sum_{i=1}^l \mu_i ||Y_i - f_i||^2 \\ &\mu_i \in \mathbb{R} \end{aligned}

其中 Y_iy_i 的 one-hot 形式的列向量。

Y = (Y_l, Y_u) 其中 Y_lY_u 分别为有标签与无标签的数据的标签向量组成的矩阵。因而,目标函数亦可改为:
L = \min_F Tr(F\Delta F^T) + \sum_{i=1}^l \mu_i ||Y_i - f_i||^2

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。

推荐阅读更多精彩内容

  • 最小二乘法: 为 上的欧式空间 的子空间,,则对于任意的 ,有: 即向量到子空间各向量间的距离以垂线为最短。 ...
    水之心阅读 3,151评论 6 2
  • 这个不错分享给大家,从扣上看到的,就转过来了 《电脑专业英语》 file [fail] n. 文件;v. 保存文...
    麦子先生R阅读 6,619评论 5 24
  • "use strict";function _classCallCheck(e,t){if(!(e instanc...
    久些阅读 2,054评论 0 2
  • * 84话衍生 * 有私设 * 不知道自己写的到底是什么样的一种感情 * 我也不知道这篇如此清水的小破文为什么会被...
    清言言言言阅读 2,196评论 1 8
  • 第二十章 陌上花自开 孟想救下了周若山,却对之前屈辱地离开省城医院,至今无法释怀,...
    風雲獨攬阅读 776评论 12 25