本文来自 仙守 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/shouhuxianjian/article/details/46669365?utm_source=copy
本博文来自维基上的矩阵计算：https://en.wikipedia.org/wiki/Matrix_calculus#Denominator-layout_notation
在数学上, 矩阵微积分是用来表示多变量的微积分,当然主要还是在矩阵空间上的。它覆盖了单一函数（单元）关于多变量的偏导，多变量函数（多元函数）关于单一变量、向量和矩阵的偏导（向量、矩阵可以被视为单一实体对待）。这种符号化的数学表示大大的简化了很多操作，例如查找多变量函数的最大值或者最小值，以及微分方程的求解系统等等。值得注意的是：下面使用的符号是在统计和工程领域中常用的，不过张量的指数表示（tensor index notation）是来自物理学。
不过有个我们之前未注意的是，有两派人它们使用着自己的符号约定，从而将矩阵微积分划分成了两个派别。这两个派别很容易区分，只要看它们写一个标量关于一个向量的导数是写成列向量还是行向量。不过这两个约定都是被大家所接受的，就算是在涉及到一般的矩阵计算的时候，将常规的向量默认视为列向量（而不是行向量）的情况下还是成立的。在矩阵微积分中，如果采取了一个约定，那么就使用该约定贯穿整个领域(例如：计量经济学,统计学,评估理论（etimation theory）和机器学习)，不要混用不然会造成混乱。然而，在一个具体的领域中，不同的作者还是会使用不同的约定，因为会有来自不同派别的作者会将他们自己的约定作为标准。所以在没有去仔细的验证不同作者的资料的时候盲目的将他们的结论放在一起会有严重的错误。因而在一个完整的资料上需要确保符号的一致性。在下面的布局约定部分会有两种约定的定义介绍和比较。
一、范围
矩阵微积分指的是使用矩阵和向量来表示因变量每个成分关于自变量每个成分的导数。通常来说，自变量指的是标量、向量或者矩阵，而因变量指的是由自变量得到的结果。每种不同的情况会导致有不同规则集合（或者不同的微积分操作）。我们可以用有组织的矩阵符号来方便的表示不同的导数。
第一个例子，考虑向量微积分中的梯度。对于一个有着三个因变量的标量函数来说，
，可以通过下面的向量方程来表示梯度：
更多复杂的例子，例如标量函数关于矩阵的导数，被称之为梯度矩阵，其中每个对应位置上的元素都是关于原始矩阵每个元素的导数。在这种情况下，一个标量（个人：也就是结果矩阵中的一个元素）就是矩阵中每个因变量的一个函数。另一个例子，如果我们有一个元素为因变量、函数、m个自变量的n维向量，我们就需要考虑因变量向量关于该自变量向量的导数。结果为表示所有可能导数组合的一个m×n 矩阵。当然，最多也就9种形式。如果我们在自变量和因变量中有更多层次的嵌套，那么组合数量就远远不止9种了。
下面表中就是以矩阵形式表示的常见的6种不同的导数形式。
--------------------- 本文来自 仙守 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/shouhuxianjian/article/details/46669365?utm_source=copy
