Linear Autoencoder or PCA

1. 数据降维

考虑数据x1=[90, 120, 110, 145]x2=[93, 105, 98, 130]x3=[86, 110, 88, 120]是三个学生的成绩。我们可以通过成绩总和sum(xi)来判断那个学生在学业方面更优秀。这是把4维数据放到1维上,并且使得数据可分。
但是,我想依据后面3门课的成绩总和来判断学业情况。如果可分的话,计算量会少一些。
PCA的降维做法类似于就是从4门课中选择3门课。不过选择的3门课成绩可以是4门课的线性组合。

2. 实现

怎么进行4门课成绩的线性组合呢?一个3×4的权重矩阵 乘以 一个4×1的成绩矩阵,得到3个数。如果这3个数能反映之前的4个数,那么数据降维应该是可以的。
怎么认为这3个数能反映之前的4个数呢?通过一个4×3的权重矩阵 乘以 一个3*1的成绩矩阵。如果结果与原来的4门成绩相近,那么应该是可以反映的。如果结果与原来的4门成绩一样,那么3门成绩就是4门成绩的线性组合。后续的对3门成绩做线性组合可以等效于对4门成绩做线性组合。

d-d'-d网络

为了防止过拟合,做如下正则化:3×4的权重矩阵 和 4×3的权重矩阵 互为转置。
误差定义如下:
error

WW'是hermite矩阵,可以实现如下的非奇异分解:

接下来求:
error

因为V是酉矩阵,所以相当于进行旋转或反射操作,不改变模大小。所以可以不考虑红色的V
注意W现在不需要求了,变量是L和V。任意改变L时,最小值时,L满足

接下来求:

因为:V不改变模大小。每个V' X的模是X的模。

所以,最终和是λ。我们应该选择最大的那个λ。所以,

对于普通的d':

3. 总结:

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 一前言 特征值 奇异值 二奇异值计算 三PCA 1)数据的向量表示及降维问题 2)向量的表示及基变换 3)基向量 ...
    Arya鑫阅读 11,215评论 2 43
  • 0x01 目录 常见编码: ASCII编码 Base64/32/16编码 shellcode编码 Quoted-p...
    H0f_9阅读 13,550评论 2 17
  • 名词解释 (来源:《响实》及网络) 响应式Web设计(Responsive Web Design): 简称RWD,...
    kkyyoo阅读 694评论 0 1
  • 收拾好东西,下了47楼,这一段旅程也算是划上了句号。 除了感慨自己的年少无知,也只剩悔恨自己的懵懂幼稚了。 四十五...
    绵花不白阅读 203评论 0 0
  • 茫茫天地间,万物皆在忍耐。 兰生溪谷,耐住了清幽,赢得了一世暖香。鹤在水畔,耐住了闲情,结了一段仙缘。是啊,野兰自...
    剑影起处阅读 416评论 0 0

友情链接更多精彩内容