1 向量和向量空间

1.1 标量和向量

  标量（Scalar）是一个实数，只有大小，没有方向。而向量（Vector，也称之为矢量）是由一组实数组成的有序数组，同时具有大小和方向。一n维向量是由n个有序实数组成，表示为:
其中称为向量的第i个分量，或第i维。

1.2 向量空间

  向量空间（Vector Space），也称线性空间（Linear Space），是指由向量组成的集合，并满足以下两个条件：

• 向量加法：向量空间V中的两个向量和，它们的和也属于空间V；
• 标量乘法：向量空间V中的任一向量和任一标量，它们的乘积也属于空间V。

欧氏空间  一个常用的线性空间是欧氏空间（Euclidean Space）。一个欧氏空间表示通常为Rⁿ，其中n为空间维度（Dimension）。欧氏空间中向量的加法和标量乘法定义为：

其中a, b, c ∈ R为一个标量。

线性子空间  向量空间V的线性子空间U是V的一个子集，并且满足向量空间的条件（向量加法和标量乘法）。

线性无关  线性空间V中的一组向量，如果对任意的一组标量，满足，则必然，那么向量是线性无关的，也称为线性独立的。

基向量  向量空间V的基（Base）是V 的有限子集，其元素之间线性无关。向量空间V所有的向量都可以按唯一的方式表达为B中向量的线性组合。对任意，存在一组标量使得

其中基B中的向量称为基向量（Base Vector）。如果基向量是有序的，则标量称为向量关于基B的坐标（Coordinates）。

1.3 范数

范数（Norm）是一个表示向量“长度”的函数，为向量空间内的所有向量赋予非零的正长度或大小。对于一个n维向量，一个常见的范数函数为ℓ_p 范数:

其中p ≥ 0为一个标量的参数。常用的p的取值有1，2，∞等。
范数 ℓ1范数为向量的各个元素的绝对值之和。
范数  ℓ2范数为向量的各个元素的平方和再开平方。
ℓ2 范数又称为Euclidean 范数或者Frobenius 范数。从几何角度，向量也可以
表示为从原点出发的一个带箭头的有向线段，其ℓ2 范数为线段的长度，也常称为
向量的模。
范数 ℓ∞ 范数为向量的各个元素的最大绝对值。
下图给出了常见的范数示例：

常见的范数，红线表示不同范数的ℓp = 1 的点

2 矩阵

  由m × n个数a_ij (i = 1,2,···,m; j = 1,2,···, )排成的m行n列的数表称为m行n列矩阵，简称m × n矩阵。表示方法如下：
一个矩阵A从左上角数起的第i行第j列上的元素称为第i, j项，通常记为[A]ij 或a_ij。矩阵A定义了一个从Rⁿ到R^m的线性映射，矩阵A也记作A_{m × n}。行数和列数都等于n的矩阵称之为n阶矩阵或n阶方阵，记作A_n。
  只有一行的矩阵
称为行矩阵，又称为行向量。为避免混淆，行矩阵也记作
只有一列的矩阵称之为列矩阵，也称之为列向量：
如果矩阵A和矩阵B的行数和列数都相等，那么称它们为同型矩阵。如果A=(a_ij)与B=(b_ij)是同型矩阵，且所有对应元素满足：
那么称矩阵A和矩阵B相等，记作：
元素都为0的矩阵称之为零矩阵，注意，不同型的零矩阵是不相等的。

2.1 线性映射

线性映射（Linear Mapping）是指从线性空间V到线性空间W的一个映射函数f : V → W，并满足：对于V中任何两个向量u和v以及任何标量c，有


n个变量x₁，x₂, ···，x_n与m个变量y₁，y₂，···，y_m之间的关系式
表示一个从变量x₁，x₂, ···，x_n到变量y₁，y₂，···，y_m的线性变换，其中A定义为m × n的矩阵（Matrix），是一个由m行n列元素排列成的矩形阵列，a_ij为常数。

2.2 矩阵运算

2.2.1矩阵加法

对于两个m × n的矩阵A和B，他们的和为A + B，具体如下：
只有当两个矩阵为同型矩阵时，它们才能进行加法运算。矩阵加法满足以下运算规律：

2.2.2数与矩阵相乘

数c与矩阵A的乘积记作cA或Ac，运算如下：
数乘矩阵满足以下运算规律
矩阵加法与矩阵数乘合称为矩阵的线性运算。

2.2.3矩阵与矩阵相乘

假设有两个A和B 分别表示两个线性映射g : R^m → R^k 和 f: Rⁿ → R^m ，则其复合线性映射
其中AB表示矩阵A和B的乘积，定义为
两个矩阵的乘积仅当第一个矩阵的列数和第二个矩阵的行数相等时才能定义。
如A是k × m矩阵和B 是m × n矩阵，则乘积AB是一个k × n的矩阵。矩阵的乘法满足结合律和分配律：
• 结合律：(AB)C = A(BC),
• 结合律：(aB)C = A(aBC), a是标量。
• 分配律：(A + B)C = AC + BC，C(A + B) = CA + CB.

2.3 矩阵类型

对称矩阵 对称矩阵（Symmetric Matrix）指其转置等于自己的矩阵，即满足

对角矩阵 对角矩阵（Diagonal Matrix）是一个主对角线之外的元素皆为0 的矩阵。对角线上的元素可以为0 或其他值。一个n × n的对角矩阵A满足：
对角矩阵A也可以记为diag(a)，a为一个n维向量，并满足
n × n的对角矩阵A = diag(a) 和n维向量b的乘积为一个n维向量
其中⊙表示点乘，即(a ⊙ b)_i = a_ib_i。

单位矩阵 单位矩阵（Identity Matrix）是一种特殊的的对角矩阵，其主对角线元素为1，其余元素为0。n阶单位矩阵I_n，是一个n × n的方块矩阵。可以记为
一个m × n的矩阵A和单位矩阵的乘积等于其本身。
逆矩阵 对于一个n × n的方块矩阵A，如果存在另一个方块矩阵B 使得

其中I_n为单位阵，则称A是可逆的。矩阵B称为矩阵A的逆矩阵（Inverse Matrix），记为A⁻¹。一个方阵的行列式等于0 当且仅当该方阵不可逆。

正定矩阵 对于一个n × n的对称矩阵A，如果对于所有的非零向量x ∈ Rⁿ都满足
则A为正定矩阵（Positive-Definite Matrix）。如果则A是半正定矩阵（Positive-Semidefinite Matrix）。

正交矩阵 正交矩阵（Orthogonal Matrix ）A为一个方块矩阵，其逆矩阵等于其转置矩阵。
等价于A^TA = AA^T = I_n。

Gram矩阵  向量空间中一组向量的Gram矩阵（Gram Matrix）G是内积的对称矩阵，其元素G_ij为。

2.4 特征值与特征矢量

如果一个标量λ和一个非零向量v满足Av = λv
则λ和v分别称为矩阵A的特征值（Eigenvalue）和特征向量（Eigenvector）。