矩阵的迹及迹的求导

参考https://www.cnblogs.com/qianxiayi/p/9025400.html

定义

对于一个N x N的矩阵 A，其主对角线元素之和称为迹，即： tr(A) = \sum_i^N a_i

列向量模的平方 与 矩阵的逆

存在N x 1列向量 M，其模的平方记为 ||M||^2 = \sum_i^N m_i
而其模的平方可以转换为 ||M||^2 = tr(M^T M) = \sum_i^N m_i
其中 M^TM 是一个N x N的矩阵，矩阵的对角线恰好是列向量的迹

定理

定理 1 tr(AB) = tr(BA)

tr(AB) = \sum_i^n(AB)_{ii} = \sum_i^n \sum_j^m A_{ij}B_{ji} = \sum_j^m \sum_i^n B_{ji}A_{ij}= \sum_j^m(BA)_{jj} = tr(BA)

推论 tr(ABC) = tr(CAB) = tr(BCA)

BC、AB、CA看作整体，利用定理1，即可推出

定理 2 tr(A+B) = tr(A)+tr(B)

定理3 a \in \mathbb{R^{1x1}}, 则tr(a) = a

定理4 tr(A) = tr(A^T)

定理5 \frac{ \partial (AB)}{ \partial A} = B^T 其中A 是N x M的矩阵，B是M x N的矩阵

tr(AB) = tr( \begin{pmatrix} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} & \cdots & a_{mn} \end{pmatrix}\begin{pmatrix} b_{11} & \cdots & b_{1m} \\ \vdots & \ddots & \vdots \\ b_{n1} & \cdots & b_{nm} \end{pmatrix})
只考虑对角线的元素下，有
tr(AB) = \sum_j^na_{1j}b_{j1} + \cdots + \sum_j^na_{mj}b_{jm} = \sum_i^m \sum_j^na_{ij}b_{ji}
\frac{ \partial (AB)}{ \partial a_{ij}} = b_{ji} \Rightarrow \frac{ \partial (AB)}{ \partial A} = B^T

推论 \frac{ \partial (A^TB)}{ \partial A} = \frac{ \partial (BA^T)}{ \partial A} = B

同理，关于 a_{ji} 求偏导，即可

定理6 \frac{ \partial (ABA^TC)}{ \partial A} = CAB+C^TAB^T

将ABA^TC看作由U(A)和V(A)构成的函数，其中U(A) = A,V(A)=BA^TC
\frac{ \partial (ABA^TC)}{ \partial A} = \frac{ \partial (UV)}{ \partial A} + \frac{ \partial (VU)}{ \partial A}这里由乘法的求导公式得到
\frac{ \partial (ABA^TC)}{ \partial A} = (BA^TC)^T + \frac{ \partial (A^TCBA)}{ \partial A} = C^TAB^T +CBA

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容