关于矩阵 PCA的简单认识

image.png

说起 降维 ,不得不提 三体 这本 2014年十大流行 烂书,之所以说他烂,真的是烂大街,像传销瘟疫一样风靡,尤其在互联网圈 ,各种不靠谱的销售 运营 产品 程序员 趋之若鹜 奉为圭臬,逢人见面 碧聊三体。其中降维打击也是三体中出现频率最高的一个词,好多人好像 醍醐灌顶,找到了一阳指样。不过 说来 ,现实中 到底 有没有降维打击,当然有,比 别人多一维,基本上就可以现实中轻易辗轧对方,因为 低维 大概就是高维的一个因子,
最现实的降维打击例子就比如 飞机 打装甲车 ,装甲车 只能在地【面】上 横冲直撞,而飞机可以空天一【体】,可上可下 可左可右,精确制导,打击装甲车 完全就是毁灭性的。

不过我们这次 说的降维 不是 科幻小说的打击,而是降低 机器学习 训练数据复杂度的一种技术。
PCA按道理 来说是线性代数 矩阵的一种特质,我们 在大学学的高等数学 按道理来说属于动态数学,类似来说 就是 具有加速度的运动数据,比如求导 求极限 微积分,无不适在运动中求得真经答案。
矩阵 刚开始学习的时候 像在学八卦阵一样,我不了解为什么非要 把一群数字 有序列的排列在一起。 其实也源自当时 对 C 语言中 二维数组的不了解。
矩阵 也正是因为把一帮有序的数字排在一起,发现了更有趣的现象,矩阵 带来的科技成果 无不让人震撼,如今的 计算机视觉 自然语言处理 人脸识别 VR 技术 无不是在底层建立在矩阵的基础上 进行 线性变换。

提到 线性变换 我们不得不说矩阵的乘法 ,和向量的内积,刚开始 学习时我 真的无法认同 为什么矩阵的乘法规则 是如此规定的,但是当你从实际场景出发
学校运动会,各个系在参加 各项运动项目 获得的名称 与 积分奖金 对应,求得总积分 总奖金 ,使用矩阵就是运算最快的一种方式。向量的内积 比如向量A 乘以向量B 其实是向量A 在向量B 的 方向上的投影

矩阵的乘法 从表面上来说符合逻辑,原理上 其实是矩阵的线性空间的转换。
矩阵 A 乘以 矩阵B ,其实就可以把 矩阵B 看做是一个 线性空间中的几个基,而矩阵A 乘以 矩阵B就是 矩阵A 在 矩阵B的基础上 转换到矩阵B 所对应的线性空间上的表示!!!!,好比 一个球体 在水面上的倒影,其实就是 三维立体几何体 投影到二维水面空间上,水面只是一个面而已。当然 从高维可以投影到低维 ,自然 低维也可以投射到高维上,只要 被乘以的矩阵B 的基 维度更高 则可以完成。

我们了解到 PCA降维 其实等价于 原来的矩阵 A 乘以了一个 基更小的 矩阵,完成了 矩阵A 的线性空间转换,pca 叫做主成分分析 ,其实 按道理来说 还是有信息的丢失,但是仍旧保留了 最有价值的成分。剩下的关键点在于 我们要乘以的矩阵B 到底是张 什么样子的呢,有多少中呢。

其实很多种,另外 除了 降维线性空间转换,还有就是 主动 对矩阵 进行拆解 解剖,所谓的矩阵分解 ,常用的就是svd 奇异值矩阵分解。

那么pca 这个 B 到底是怎么来的呢 ,
里面就用到了 线性代数中的 特征向量 特征值的概念了 还有协方差矩阵
PCA中的矩阵B 是一个正交矩阵 ,每一维 与下一维 正交,第一维 方差最大

、PCA的操作过程

1、PCA的操作流程大致如下:

  • 去平均值,即每一位特征减去各自的平均值

  • 计算协方差矩阵

  • 计算协方差矩阵的特征值与特征向量

  • 对特征值从大到小排序

  • 保留最大的
    image

    个特征向量

  • 将数据转换到
    image

    个特征向量构建的新空间中


    image.png
image.png

pca 是 机器学习领域中必然会用到的一项技术 ,用来应对 维度爆炸,降低模型复杂度,增加 数据的非线性 特性 ,自动实现 模型的特征组合,可谓是事半功倍,在运动中找到了答案

参考
https://www.jianshu.com/p/bf533880ba09

pca 原理
https://blog.csdn.net/google19890102/article/details/27969459

https://www.jianshu.com/p/bc84bec587ac

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,470评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,393评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,577评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,176评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,189评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,155评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,041评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,903评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,319评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,539评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,703评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,417评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,013评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,664评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,818评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,711评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,601评论 2 353

推荐阅读更多精彩内容

  • 一前言 特征值 奇异值 二奇异值计算 三PCA 1)数据的向量表示及降维问题 2)向量的表示及基变换 3)基向量 ...
    Arya鑫阅读 10,527评论 2 43
  • 原文:http://blog.codinglabs.org/articles/pca-tutorial.html ...
    mogu酱阅读 2,336评论 0 21
  • 你看看这季时里头的荷叶,就算气节不会让它低头,节气也是会的。 早上路过植满了荷的池塘。是每早必走过...
    江易禾阅读 583评论 0 2
  • 记录美好时刻:17年6月4日,我参加了Q妈的正面管教,学习回来以后,我对自己做一次深刻的反思,其实说话方式很重要,...
    美好从这一刻开始阅读 262评论 0 0
  • 感赏今天又有外财进账!我一直都运气那么好,领导对我也很偏爱,本来是正常的工作,只是急要一些,说是我加班辛苦了,非要...
    幸福的燕子阅读 128评论 0 0