SVD分解和Lipschitz条件2021-03-25

Lipschitz条件

可以用如下的公式来表示Lipschitz条件：
$||f(x)-f(y)||\leq K||x-y||$
这个公式限制了函数的上升的速率不可能太快，在二维笛卡尔坐标上可以表示为函数的斜率不能够超过一个常数 $k$ 。

矩阵的Lipschitz条件

对于一个矩阵A如果想让其满足Lipschitz条件，那么需要满足下面的公式：
$||Ax||\leq ||Kx|| \quad 其中K为一个常数,x为向量，A为一个变换矩阵$
下面我们对这个公式进行分析：
$\begin{align}{} ||Ax||&\leq K||x||\\ (Ax,Ax)&\leq K^2(x,x)\\ 可知:(Ax,Ax)&=x^TA^TAx=(A^TAx,x)\\ 也可知:K^2(x,x)&=(K^2x,x)\\ 那么得到: (A^TAx,x)&\leq (K^2x,x)\\ ((A^TA-K^2)x,x) &\leq 0\\ \end{align}$
可知 $A^TA$ 是一个半正定矩阵。
因为 $x^TA^TAx$ 是一个范数表达式
所以 $x^TA^TAx永远\geq 0$ ,所以半正定
那么可以得到:
$x^T(A^TA-K^2) \leq 0$
即：
$\lambda _{max(A^TA)}<\sqrt {K^2}\\$
也就是:
$谱范数\leq \sqrt{K^2}$

所以如果想要使一个矩阵具有1-Lipschitz 连续性，那么就让 $A /= \lambda_{max}$

SVD分解，奇异值分解

SVD的定义

如果一个矩阵 $A_{m*m}$ 是一个实对称矩阵，那么 $A=Q\Sigma Q^T$ ,其中 $Q$ 为标准正交阵， $\Sigma$ 为对角矩阵。 $\Sigma =\begin{pmatrix}\sigma_1,0,0\\0,\sigma_2,0\\0,0,\sigma_3\end{pmatrix}_{m*n}$

但是如果对一个矩阵 $A_{m*n}$ 那么我们想把它分解为 $A=U_{m*m}\Sigma_{m*n} V^T_{n*n}$
并且 $U,V$ 都是标准真正交阵，即: $U^TU=E,V^TV=E$ ，并且 $U$ 称之为左奇异矩阵， $V^T$ 称之为右奇异矩阵。

SVD的求解

由上面可以知道 $A=U_{m*m}\Sigma_{m*n} V^T_{n*n}$ ，那么我们求 $A^TA$ 可以得到如下:
$\begin{align} A^TA&=(U\Sigma V^T)^T(U\Sigma V^T)\\ &=V\Sigma^TU^TU\Sigma V^T\\ &=V\Sigma \Sigma^TV^T\\ 同理：AA^T&=U\Sigma^T \Sigma U^T \end{align} \tag1$
这首我们把 $A^TA和AA^T$ 分别乘上 $u_i,v_i(这是U和V的分量)$ 那么就可以得到下列的式子：
$\begin{align} (AA^T)u_i&=U\Sigma \Sigma^T U^Tu_i=\sigma_i^2u_i(这里用到了单位正交矩阵和正交向量的知识)\\ (A^TA)v_i&=\sigma_i^2v_i\\ \end{align} \tag2$
由上面的式子(2)可以知道，
$U=(u_1,u_2,u_3)由(AA^T)的特征向量组成\\ V=(v_1,v_2,v_3)由(A^TA)的特征向量组成\\ 到这里我们就知道了如何把U和V求出来$

那么如何求 $\Sigma =\begin{pmatrix}\sigma_1,0,0\\0,\sigma_2,0\\0,0,\sigma_3\end{pmatrix}_{m*n}$ 呢？

我们求 $AV$ 可以表示为如下：
$\begin{align} AV=U\Sigma V^TV&=U\Sigma\\ 由上可以推出:A(v_1,v_2,v_3)&=(u_1,u_2,u_3) \begin{pmatrix} \sigma_1,0,0\\ 0,\sigma_2,0\\ 0,0,\sigma_3 \end{pmatrix}\\ \Rightarrow(Av_1,Av_2,Av_3)&=(\sigma_1u_1,\sigma_2u_2,\sigma_3u_3)_{m*n}\\ \Rightarrow Av_i&=\sigma_iu_i\\ \Rightarrow\sigma_i&=\frac {Av_i}{u_i} \end{align} \tag3$

到此我们已经可以求出SVD分解所需要的全部过程了。根据公式（2）求出 $AA^T和A^TA$ 的 $U,V和\sigma_i^2$ 根据公式（3）求出 $\sigma_i$ 。

注意 $\Sigma\Sigma^T_{m,m}和\Sigma^T\Sigma_{n*n}$ 拥有一样的 $\sigma_i$ ，只是可能一个不满秩，一个满秩罢了。

最后编辑于：2021.03.25 19:18:34

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

SVD分解和Lipschitz条件2021-03-25