主要摘录一些深度学习过程中所需的线性代数概念。
标量（scalar）、向量（vector）、矩阵（matrix）、张量（tensor）
矩阵的转置（transpose）、广播（broadcasting）
矩阵乘积（matrix product）、元素对应乘积（element-wise product）
向量点积（dot product）
矩阵逆（matrix inversion）：逆矩阵主要是作为理论工具使用的，并不会在大多数软件应用程序中实际使用，因为逆矩阵在数字计算机上只能表现出有限的精度，有效使用向量b的算法通常可以得到更精确的x。
单位矩阵（identity matrix）
线性组合（linear combination）、生成子空间（span）
列空间（column space）、值域（range）
线性相关（linear dependence）、线性无关（linearly independent）
满秩矩阵（non-singular matrix）、奇异矩阵（singular matrix）、对角矩阵（diagonal matrix）
对称（symmetric）、正交（orthogonal）、标准正交（orthonormal）
特征分解（eigendecomposition）、特征向量（eigenvector）、特征值（eigenvalue）
正定（positive definite）、半正定（positive semidefinite）、负定（negative definite）、半负定（negative semidefinite）
奇异值分解（singular value decomposition SVD）：每个实数矩阵都有一个奇异值分解，但不一定都有特征分解
Moore-Penrose伪逆（Moore-Penrose pseudoinverse）
行列式（det（A））
主成分分析（principal components analysis）
