一、概念梳理
1.1数学概念
标量：一个单独的数
向量：一列数
矩阵：二维数组
张量：超过两维的数组
1.2 矩阵操作及性质
转置：以主对角线为轴的镜像A
标量转置等于它本身
广播：将一个行向量和矩阵的每一行相加（或将一个列向量和矩阵的每一列相加）
矩阵乘积：普通矩阵乘法（矩阵乘法符合分配律、结合律，向量点积满足交换律）
矩阵Hadamard乘积（元素对应乘积）：两个矩阵中对应元素的乘积
1.3矩阵逆的相关定义及操作
单位矩阵：主对角线元素为1，其余元素为0，任何矩阵和单位矩阵相乘都不会改变
矩阵的逆：用以实现矩阵除法功能的一种工具（所有列向量线性无关的方阵）
奇异矩阵：列向量线性相关的方阵
1.4 矩阵的范数：
当机器学习中0和非0（例如非零但是很小的元素）元素之间的差异非常重要时，通常使用L^1范数
F范数常用来衡量矩阵的大小。
1.5 一些特殊的矩阵：
对角矩阵：对角矩阵的乘法计算很高效；计算对角方阵的逆也很高效。
对阵矩阵：转置和自己本身相等的矩阵。例如距离度量矩阵，因为距离函数是对称的。
正交矩阵：行向量和列向量分别是标准正交的方阵。求逆计算代价小。
1.6 特征分解：将矩阵分解为一组特征向量和特征值
1.7奇异值分解（1、2）：非方阵没有特征值分解，而所有实数矩阵都有一个奇异值分解
1.8 迹运算：矩阵对角元素的和
二、概念应用
2.1 主成分分析：以上原理的推导和应用（待续）
参考：
https://zhuanlan.zhihu.com/p/38665458
https://zhuanlan.zhihu.com/p/35076333
