机器学习中的矩阵

预备知识

详细内容见: 机器学习的数学基础

先上数学中的几个定理与定义.

设 X 是数域 \mathcal{K} (实数域或复数域) 上的内积空间[1], x, y \in X, M, N \subset X:

  • 对于 \forall x \in X, 通常被称为点
  • 若内积 (x, y) = 0, 则称 x 与 y 正交, 记作 x \bot y.
  • 若有 \forall y \in M, x \bot y, 则称 x 与 M 正交, 记作 x \bot M.
  • 若有 \forall x \in M, y \in N, x \bot y, 则称 M 与 N 正交, 记作 M \bot N.
  • 记 M^{\bot} = \{ x \in X| x \bot M\}, 称 M^{\bot} 为 M 在 X 中的正交补.

【投影与正交解】设 X 是内积空间, M_1, M_2 是 X 的两个子空间, 而且 M_1 \bot M_2. 若 \forall x \in X, 都有唯一的分解式:
x = x_1 + x_2, \;\; x_1 \in M_1, x_2 \in M_2
则称 X 为 M_1 与 M_2 的正交和, 记作 X = M_1 \oplus M_2.

【投影判别准则】设 M 是内积空间 X 的线性子空间 (x \in X, x_0 \in M), 则有
x-x_0 \in M^{\bot} \Leftrightarrow ||x-x_0|| = d(x, M)
也就是说, x_0 是 x 关于 M 的最佳逼近.

【正交分解定理】设 X 是内积空间, 若 A 是 X 的完备子空间, 则 X 可以分解为 X = A \oplus A^{\bot}.

【最佳逼近问题】设 X 是内积空间, x \in X, \{x_i\}_{i=1}^n \subset X 且线性无关. 对于 \{\alpha_i\}_{i=1}^n \subset \mathcal{K}, 有
||x - \displaystyle\sum_{i=1}^n \alpha_ix_i|| = \inf_{\{\beta_i\}_{i=1}^n \subset \mathcal{K}} ||x - \displaystyle\sum_{i=1}^n \beta_ix_i||

平方逼近与最小二乘均可看作最佳逼近问题的特例.

==============================================================

下面具有说说机器学习中的矩阵.
设 \{x_j\}_{j=1}^m, \{y_j\}_{j=1}^m 为内积空间 M 中的点列. 记 X = [x_1;x_2;\cdots;x_m], Y = [y_1;y_2;\cdots;y_m]

线性模型

模型假设: 点列 X 与 Y 共面, 即 Y = AX

换言之, 损失函数
L = ||AX -Y||_F^2
故而
\arg \min_A \langle AX, AX \rangle - 2 \langle AX, Y \rangle \Leftrightarrow AXX^T = YX^T

  1. https://zh.wikipedia.org/zh-hans/内积空间 ↩

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容