2022-03-07 矩阵求导

矩阵求导

一、NumPy矩阵运算基础
在机器学习基础阶段，需要掌握的矩阵及线性代数基本理论包括：

• 矩阵的形变及特殊矩阵的构造方法：包括矩阵的转置、对角矩阵的创建、单位矩阵的创建、上/下三角矩阵的创建等；
• 矩阵的基本运算：包括矩阵乘法、向量内积、矩阵和向量的乘法等；
• 矩阵的线性代数运算：包括矩阵的迹、矩阵的秩、逆矩阵的求解、伴随矩阵和广义逆矩阵等；
• 矩阵分解运算：特征分解、奇异值分解和SVD分解等。

1.NumPy中的矩阵表示

• 利用数组创建矩阵

  
  
  图片.png
• 利用mat创建矩阵
  ![图片.png](https://upload-images.jianshu.io/upload_images
  /19601055-915455da3c2b8d68.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
  关于两种对象类型的选取，此处进行简单说明：
• NumPy中的matrix类型对象和MATLAB中的matrix类型等价，和NumPy中数组类型对象底层基本结构不同；
• 在NumPy中，针对大规模数据，数组类型对象的计算速度要快于矩阵类型对象；
• 矩阵类型对象可以通过运算符直接进行矩阵乘法，而二维数组要进行矩阵乘法（及其他矩阵运算），则必须要使用包括linalg（线性代数运算）模块在内的相关函数。
  
  图片.png
  
  为了执行更高效的计算、以及确保代码整体基本对象类型统一，课程如无说明，将统一使用二维数组表示矩阵。
  2.NumPy中特殊矩阵构造方法
    在实际线性代数运算过程中，经常涉及一些特殊矩阵，如单位矩阵、对角矩阵等，相关创建方法如下：
  |函数|描述|
  | :------:| :------: |
  | a.T | 数组a转置|
  | np.eye(n) | 创建包含n个分量的单位矩阵 |
  | np.diag(a1) | 以a1中各元素，创建对角矩阵 |
  | np.triu(a) | 取矩阵a中的上三角矩阵 |
  | np.tril(a) | 取矩阵a中的下三角矩阵 |