Author: Pan

Date: 2020/7/15

首先，我们通过随机向量的介绍来引出多元高斯分布，通过多元高斯分布，我们将介绍概率图的条件独立性假设。

先快速过一遍随机向量：

1.随机向量和其基本性质

假设随机向量 $\vec{X}=(X_{1},X_{2},...,X_{p})^{T}$ ,那么假设它有个累积分布(Cumulative Distribution Function;CDF)

$F_{X}(\vec{x})=P(\vec{X}\leq \vec{x})=P(X_{1}\leq {x_{1}},X_{2}\leq {x_{2}},...,X_{p}\leq {x_{p}})$

1. 1 当随机向量的每个元素取值均绝对连续(Absolutely Continuous): 假设存在一个概率密度函数(Probability Density Function;PDF),则有

$F_{X}(\vec{x})=\int_{∞}^{\vec{x}}f_{X}(\vec{u})d\vec{u} ;d\vec{u}=du_{1}du_{2}du_{3}...du_{p}$

$\frac{d F_{X}(\vec{x})}{d\vec{x}}=f_{X}(\vec{u})$

1. 2 当随机向量的每个元素取值均为离散值，构成离散分布(Discrete distributions)：假设存在一个概率质量函数(Probability Mass Function;PMF),则有

$f_{X}(\vec{x_{j}})=P(\vec{X}=\vec{x_{j}})$

1. 3 边界分布和条件分布以及独立性：

假设 $\vec{X}=(\vec{X}_{left},\vec{X}_{right})$

那么其边界分布可以定义为：

$F_{X}(\vec{x_{left}})=P(\vec{X_{left}}\leq \vec{x_{left}})=F_{X}(x_{1},x_{2},...x_{k},∞,∞,...,∞)$

$F_{X}(\vec{x_{right}})=P(\vec{X_{right}}\leq \vec{x_{right}})=F_{X}(∞,∞,...,∞,x_{k+1},x_{k+2},...x_{p})$

其条件分布可定义为：

$f_{\vec{X_{right}}}(\vec{x_{right}}|\vec{X_{left}}=\vec{x_{left}})=\frac{f(\vec{x_{left}},\vec{x_{right}})}{f_{\vec{X_{left}}}(\vec{x_{left}})}$

条件概率的性质： $E(E(Y|X))=E(Y)$

条件方差公式: $D(Y)=D(E(Y|X))+E(D(Y|X))$ $D(Y)=E(Y^{2})-E^{2}(Y)=E(([Y-E(Y|X)]+E(Y|X))^2)-E^{2}(Y)\\=E([Y-E(Y|X)]^2)+E(E^{2}(Y|X))+E(2E(Y|X)(Y-E(Y|X)))-E^{2}(Y)\\=E([Y-E(Y|X)]^2)+E^{2}(Y)-E(E^{2}(Y|X))\\=D(E(Y|X))+E^{2}(E(Y|X))-E(E^{2}(Y|X))\\=D(E(Y|X))+E(D(Y|X))$

重要推论： $D(Y)\geq D(E(Y|X))$

独立性：

$f_{\vec{X_{right}}}(\vec{X_{right}}|\vec{X_{left}})=f_{\vec{X_{right}}}(\vec{X_{right}})$ $\Leftrightarrow$ $\vec{X}_{left},\vec{X}_{right}$ 独立(if $\vec{X}_{right}\neq \vec{0}$ ) $\Rightarrow$ $f(\vec{X_{right}},\vec{X_{left}})=f_{\vec{X_{right}}}(\vec{X_{right}})\cdot f_{\vec{X_{left}}}(\vec{X_{left}})$

2.随机向量的协方差矩阵与相关系数矩阵

在讨论随机变量的协方差和相关系数矩阵之前，我们需要定义一个矩阵值函数，将随机变量中的性质，推广到随机向量中。在定义矩阵值函数之前，我们需要先定义一个从向量到标量的映射函数 $g(\vec{x})$ ;

那么它的期望为：

$E(g(\vec{x}))=\int^{+∞}_{-∞}g(\vec{x})dF(\vec{x})$

只要积分收敛，这个期望就是有限的。

定义矩阵值函数 $G=[g(\vec{x})_{i,j}]_{n\times p};i=1,2,...,n;j=1,2...,p;$

且有： $E(G(\vec{x}))=[E(g(\vec{x})_{i,j})]_{n\times p}$

举个特殊的例子，X有p个特征：

$E(X_{})=\vec{\mu}_{1\times p}=(\mu_{1},\mu_{2},...,\mu_{p})$

其中 $g(X_{[*,i]})=\vec{\mu_{i}}=\int^{+∞}_{-∞}x_{i}f_{i}(x_{i})dx_{i}$ ；

2.1 随机向量的协方差矩阵

$E((X-\vec{\mu})^{T}(X-\vec{\mu}))=\sum=[\sigma _{i,j}]_{p\times p}=V(X)=E(X^{T}X)-\vec{\mu}^{T}\vec{\mu}$

有一点值得注意：

$V(\vec{a}X)=\vec{a}^{T}V(X)\vec{a}=\vec{a}^{T}\sum\vec{a}=\sum^{p}_{i,j=1}a_{i}\cdot a_{j}\cdot \sigma_{i,j}\geq 0$

说明V(X)是对称半正定矩阵

2.2 随机向量的相关系数矩阵

$\Delta =diag(\sigma_{i,i})$

$\rho=\Delta^{-\frac{1}{2}}\sum\Delta^{-\frac{1}{2}}$

3. 样本的协方差矩阵

前面都是快速过，这里有比较好玩的东西。

首先有个样本集： $T=\left\{ \vec{x_{1}},\vec{x_{2}},...,\vec{x_{N}}\right\};\vec{x_{i}}=(x^{(1)},x^{(2)},...x^{(p)})$

样本集的协方差: $S=\frac{1}{N-1}\sum^{N}_{i=1}(\vec{x_{i}}-\vec{\bar{x}} )^{T}(\vec{x_{i}}-\vec{\bar{x}} )$

展开： $S=\frac{1}{N-1}(\vec{x_{1}}-\vec{\bar{x}},\vec{x_{2}}-\vec{\bar{x}} ,...,\vec{x_{N}}-\vec{\bar{x}} )^{T}(\vec{x_{1}}-\vec{\bar{x}},\vec{x_{2}}-\vec{\bar{x}} ,...,\vec{x_{N}}-\vec{\bar{x}} )$

令 $\vec{1}.shape=1 \times N$ ：

继续： $S=\frac{1}{N-1}((\vec{x_{1}},\vec{x_{2}},...,\vec{x_{n}})-\vec{1}^{T}\cdot \vec{\bar{x}})^{T}((\vec{x_{1}},\vec{x_{2}},...,\vec{x_{n}})-\vec{1}^{T}\cdot \vec{\bar{x}})$

因为 $\vec{\bar{x}}=\frac{1}{N}\sum^{N}_{i=1}\vec{x_{i}}=\frac{1}{N}\cdot \vec{1} \cdot X$ ;

将上式代入原式中，可得： $S=\frac{1}{N-1}(X-\frac{1}{N}\vec{1}^{T}\cdot \vec{1}\cdot X)^{T}(X-\frac{1}{N}\vec{1}^{T}\cdot \vec{1}\cdot X)$

$S=\frac{1}{N-1}X^{T}(I_{n}-\frac{1}{N}\vec{1}^{T}\cdot \vec{1}\cdot I_{n})^{T}(I_{n}-\frac{1}{N}\vec{1}^{T}\cdot \vec{1}\cdot I_{n})X$

$(I_{n}-\frac{1}{N}\vec{1}^{T}\cdot \vec{1}\cdot I_{n})$ 实际上是中心矩阵，它实际上把数据X的均值归到0，

且 $(I_{n}-\frac{1}{N}\vec{1}^{T}\cdot \vec{1}\cdot I_{n})\cdot \vec{1}=\vec{0}\cdot \vec{1}$ ,说明0是它的一个特征值，不满秩，是个奇异矩阵。

$S=\frac{1}{N-1}X^{T}(I_{n}-\frac{1}{N}\vec{1}^{T}\cdot \vec{1}\cdot I_{n})X$ 可用来直接算样本协方差。

4. 多元高斯分布

假设m维随机向量 $\vec{X}=(X_{1},X_{2},...,X_{m})$ ；

m维向量 $\vec{\mu}=(\mu_{1},\mu_{2},...,\mu_{m})$ ;

半正定的协方差矩阵 $\Sigma _{p\times p}$ ;

PDF: $N_{m}(\vec{x}|\vec{\mu}; \Sigma)=\frac{1}{(2\pi)^{-\frac{m}{2}}\vert \Sigma \vert}e^{-\frac{1}{2}\cdot (\vec{x}-\vec{\mu})^{T} \Sigma^{-1}(\vec{x}-\vec{\mu})}$

不加以证明的给出两个定理，这个是为了证明第三个定理做铺垫，第三个定理是为了讲解概率图的条件独立性假设做铺垫：

定理1：如果 $X\tilde{}N(\vec{\mu}; \Sigma)$ ,B是个 $k\times m$ 的矩阵， $\vec{b}$ 是个 $k\times 1$ 的向量，

有 $B \Sigma B^{T}$ 是个非奇异的矩阵。那么，对于 $Y=BX+\vec{b}$ ; 有 $Y\tilde{}N(B\vec{\mu}+\vec{b};B \Sigma B^{T})$ 。

多元高斯分布是一个建模能力很强的分布，因为很多情况下，数据在做归一化后，很多都可以依分布收敛于高斯分布。由于 $\Sigma$ 为实对称矩阵，可正交对角化，即总有 $\Sigma=U^{T}\Lambda U$ ;其中正交阵： $U^{T}U=I$ ；令 $B= \Sigma^{-\frac{1}{2}}=U^{T}\Lambda^{-\frac{1}{2}} U$ ，所以可以得出： $\Sigma^{-\frac{1}{2}}(X-\vec{\mu})\tilde{}N(0,I)$

定理2：当 $X\tilde{} N_{m}(\vec{\mu}; \Sigma)$ ,当且仅当 $A\Sigma B^{T}=0$ , $AX$ 和 $BX$ 相互独立；

定理2的证明：

1.根据定理1， $AX\tilde{}N(A\vec{\mu};A \Sigma A^{T})$ ; $BX\tilde{}N(B\vec{\mu};B \Sigma B^{T})$ ;对于高斯分布来说，

独立性与不相关等价，所以要证明AX与BX独立，可以证明两者不相关；即： $D(AX+BX)=D(AX)+D(BX)$

证明如下：

$D(AX+BX)=D((A+B)X)=(A+B) \Sigma (A+B)^{T}=A \Sigma A^{T}+B \Sigma B^{T}+A \Sigma B^{T}+B \Sigma A^{T}$

因为： $D(AX)=A \Sigma A^{T};D(BX)=B \Sigma B^{T}$ ;

所以 $D(AX+BX)=D(AX)+D(BX)+A \Sigma B^{T}+(A \Sigma B^{T})^{T}$

当 $A \Sigma B^{T}=0$ 时：

$D(AX+BX)=D(AX)+D(BX)$ 成立，所以AX与BX不相关，因此，AX与BX独立。

定理3：定义 $X=[\vec{X1},\vec{X2}]^{T};X_{1}是p维向量;X_{2}是q维向量;m=p+q;$

将 $\Sigma$ 表示为分块矩阵： $\Sigma={{ \left( \begin{array}{*{20}{l}}{ \Sigma \mathop{{}}\nolimits_{{11}}, \Sigma \mathop{{}}\nolimits_{{12}}}\\{ \Sigma \mathop{{}}\nolimits_{{21}}, \Sigma \mathop{{}}\nolimits_{{22}}}\end{array} \right) }}\$

如果 $X\tilde{} N_{m}(\vec{\mu}; \Sigma)$ ； $\Sigma >0$ ;

那么： $\vec{X_{1}}和\vec{X_{2-1}}统计独立;其中,\vec{X}_{2-1}=\vec{X_{2}}- \Sigma _{21} \Sigma^{-1}_{11}\vec{X_{1}}$

且: $\vec{X_{1}}\tilde{} N_{p}(\vec{\mu_{1}}; \Sigma_{11}) ; \vec{X_{2-1}}\tilde{} N_{q}(\vec{\mu_{2-1}}; \Sigma_{22-1})$ ;

其中： $\vec{\mu_{2-1}}=\vec{\mu_{2}}- \Sigma _{21} \Sigma^{-1}_{11}\vec{\mu_{1}};$ $\Sigma_{22-1}= \Sigma_{22}- \Sigma _{21} \Sigma^{-1}_{11} \Sigma_{12};$

证明：

根据定理一，我们试图找到某个系数矩阵，将X分别映射为 $\vec{X_{1}}和\vec{X_{2-1}}$ ;通过这样，我们便能确定他们的分布以求得他们的均值和方差。

对于 $\vec{X_{1}}$ ,很明显，

$\vec{X_{1}}=[I_{p},0]\cdot [\vec{X1},\vec{X2}]^{T}=B_{1}X$ ；

$\vec{X}_{2-1}=[- \Sigma _{21} \Sigma^{-1}_{11},I_{q}]\cdot [\vec{X1},\vec{X2}]^{T}=B_{2}X$ ;

那么 $\vec{X_{1}}$ 的方差为：

${B\mathop{{}}\nolimits_{{1}} \Sigma B\mathop{{\mathop{{}}\nolimits_{{1}}}}\nolimits^{{T}}={ \left[ {I\mathop{{}}\nolimits_{{P}},0} \right] }{ \left( \begin{array}{*{20}{l}}{ \Sigma \mathop{{}}\nolimits_{{11}}, \Sigma \mathop{{}}\nolimits_{{12}}}\\{ \Sigma \mathop{{}}\nolimits_{{21}}, \Sigma \mathop{{}}\nolimits_{{22}}}\end{array} \right) }{ \left[ \begin{array}{*{20}{l}}{I\mathop{{}}\nolimits_{{P}}}\\{0}\end{array} \right] }= \Sigma \mathop{{}}\nolimits_{{11}}}$ ；

${\begin{array}{*{20}{l}}{B\mathop{{}}\nolimits_{{2}} \Sigma B\mathop{{\mathop{{}}\nolimits_{{2}}}}\nolimits^{{T}}={ \left[ {- \Sigma \mathop{{}}\nolimits_{{21}} \Sigma \mathop{{}}\nolimits_{{11}}\mathop{{}}\nolimits^{{-1}},I\mathop{{}}\nolimits_{{q}}} \right] }{ \left( \begin{array}{*{20}{l}}{ \Sigma \mathop{{}}\nolimits_{{11}}, \Sigma \mathop{{}}\nolimits_{{12}}}\\{ \Sigma \mathop{{}}\nolimits_{{21}}, \Sigma \mathop{{}}\nolimits_{{22}}}\end{array} \right) }{ \left[ \begin{array}{*{20}{l}}{- \Sigma \mathop{{}}\nolimits_{{21}} \Sigma \mathop{{}}\nolimits_{{11}}\mathop{{}}\nolimits^{{-1}}}\\{I\mathop{{}}\nolimits_{{q}}}\end{array} \right] }}\\{= \left[ - \Sigma \mathop{{}}\nolimits_{{21}}+ \Sigma \mathop{{}}\nolimits_{{21}}, \Sigma \mathop{{}}\nolimits_{{22}}- \Sigma \mathop{{}}\nolimits_{{21}} \Sigma \mathop{{}}\nolimits_{{11}}\mathop{{}}\nolimits^{{-1}} \Sigma \mathop{{}}\nolimits_{{12}} \left] { \left[ \begin{array}{*{20}{l}}{- \Sigma \mathop{{}}\nolimits_{{21}} \Sigma \mathop{{}}\nolimits_{{11}}\mathop{{}}\nolimits^{{-1}}}\\{I\mathop{{}}\nolimits_{{q}}}\end{array} \right] }\right. \right. }\\{= \Sigma \mathop{{}}\nolimits_{{22}}- \Sigma \mathop{{}}\nolimits_{{21}} \Sigma \mathop{{}}\nolimits_{{11}}\mathop{{}}\nolimits^{{-1}} \Sigma \mathop{{}}\nolimits_{{12}}= \Sigma \mathop{{}}\nolimits_{{22-1}}}\end{array}}\$

证明 $\vec{X_{1}}和\vec{X_{2-1}}$ 的独立性，

根据定理2，且 $\Sigma$ 是个实对称矩阵，

可得 ${{B\mathop{{}}\nolimits_{{2}} \Sigma B\mathop{{}}\nolimits_{{2}}\mathop{{}}\nolimits^{{T}}={ \left[ {I\mathop{{}}\nolimits_{{P}},0} \right] }{ \left( \begin{array}{*{20}{l}}{ \Sigma \mathop{{}}\nolimits_{{11}}, \Sigma \mathop{{}}\nolimits_{{12}}}\\{ \Sigma \mathop{{}}\nolimits_{{21}}, \Sigma \mathop{{}}\nolimits_{{22}}}\end{array} \right) }{ \left[ \begin{array}{*{20}{l}}{- \Sigma \mathop{{}}\nolimits_{{21}} \Sigma \mathop{{}}\nolimits_{{11}}\mathop{{}}\nolimits^{{-1}}}\\{I\mathop{{}}\nolimits_{{q}}}\end{array} \right] }=- \Sigma \mathop{{}}\nolimits_{{21}}+ \Sigma \mathop{{}}\nolimits_{{12}}}}=0$ ;

所以证明得 $\vec{X_{1}}和\vec{X_{2-1}}统计独立$ 。

定理3证毕。

既然有了定理3，我们就可以讨论条件分布 $\vec{X_{2}}|\vec{X_{1}}$

该条件分布依然是高斯分布，我们计算其期望和方差：

由于 $\vec{X_{2}}=\vec{X}_{2-1}+ \Sigma _{21} \Sigma^{-1}_{11}\vec{X_{1}}$ ；

所以，在 $\vec{X_{1}}$ 给定的情况下， $\Sigma _{21} \Sigma^{-1}_{11}\vec{X_{1}}$ 是个常0数，所以期望只要算 $\vec{X}_{2-1}$ 的期望就行。

所以整个 $E(\vec{X_{2}}|\vec{X_{1}})=\vec{\mu_{2}}- \Sigma _{21} \Sigma^{-1}_{11}\vec{\mu_{1}}+ \Sigma _{21} \Sigma^{-1}_{11}\vec{X_{1}}=\vec{\mu_{2}}- \Sigma _{21} \Sigma^{-1}_{11}(\vec{X_{1}}- \vec{\mu_{1}});$

$D(\vec{X_{2}}|\vec{X_{1}})=\Sigma \mathop{{}}\nolimits_{{22-1}}$

所以 $\vec{X_{2}}|\vec{X_{1}}\tilde{} N_{q}(\vec{\mu_{2}}- \Sigma _{21} \Sigma^{-1}_{11}(\vec{X_{1}}- \vec{\mu_{1}});\Sigma \mathop{{}}\nolimits_{{22-1}})$

其实证了这么多是要说明一个什么问题呢？

那就是 $P(\vec{X_{2}}|\vec{X_{1}})\neq P(\vec{X_{2}})$

原因是他们的期望和方差都不一样，所以 $\vec{X_{2}}和\vec{X_{1}}$ 之间并不独立。

但是 $\vec{X_{1}},\vec{X_{2-1}}$ 之间却是相互独立的。说明 $(\vec{X_{1}},\vec{X_{2-1}})$ 比 $(\vec{X_{1}},\vec{X_{2}})$ 更能完整表达X的整体信息。更为重要的是：

${{{{ \left[ {\begin{array}{*{20}{l}}{{I\mathop{{}}\nolimits_{{P}}}}&{0}\\{- \Sigma \mathop{{}}\nolimits_{{21}} \Sigma \mathop{{}}\nolimits_{{11}}\mathop{{}}\nolimits^{{-1}}}&{I\mathop{{}}\nolimits_{{q}}}\end{array}} \right] }}{ \left( \begin{array}{*{20}{l}}{ \Sigma \mathop{{}}\nolimits_{{11}}, \Sigma \mathop{{}}\nolimits_{{12}}}\\{ \Sigma \mathop{{}}\nolimits_{{21}}, \Sigma \mathop{{}}\nolimits_{{22}}}\end{array} \right) }{ \left[ {\begin{array}{*{20}{l}}{{I\mathop{{}}\nolimits_{{P}}}}&{- \Sigma \mathop{{}}\nolimits_{{21}} \Sigma \mathop{{}}\nolimits_{{11}}\mathop{{}}\nolimits^{{-1}}}\\{0}&{I\mathop{{}}\nolimits_{{q}}}\end{array}} \right] }={ \left( \begin{array}{*{20}{l}}{ \Sigma \mathop{{}}\nolimits_{{11}}}&{0}\\{0}&{ \Sigma \mathop{{}}\nolimits_{{22-1}}}\end{array} \right) }}}$

原 ${{ \left( \begin{array}{*{20}{l}}{ \Sigma \mathop{{}}\nolimits_{{11}}, \Sigma \mathop{{}}\nolimits_{{12}}}\\{ \Sigma \mathop{{}}\nolimits_{{21}}, \Sigma \mathop{{}}\nolimits_{{22}}}\end{array} \right) }}\$ 矩阵相似于 ${ {{\left( \begin{array}{*{20}{l}}{ \Sigma \mathop{{}}\nolimits_{{11}}}&{0}\\{0}&{ \Sigma \mathop{{}}\nolimits_{{22-1}}}\end{array} \right) }}}$ 。这将在之后的概率图中有重要作用。

5.概率图的条件独立性

高斯无向图的条件独立性假设与计算

假设 $X=[X_{1},X_{2},...,X_{m}]\tilde{}N_{m}(0, \Sigma)$ ;

其中X中的每个元素代表图中的每一个点，两个点之间是否有关系(有连接)取决于两个点之间是否独立，独立就是没关系，否则有关系：

所以我们这么定义：

全局关系：

全局关系指的是任意拿出两点 $X_{i},X_{j}$ ,检验他们是否独立。

局部关系：

局部关系指的是在其他已知点(除了 $X_{i},X_{j}$ 两点的其他点)的情况下，检验 $X_{i},X_{j}$ 是否独立。

对于全局关系，要判断上述两点独立，当且仅当 $\sigma_{i,j}=0$

对于局部关系，要判断上述两点条件独立，要看 $\Sigma^{-1}$ 中的元素，即： $\theta_{i,j}=0$

同样我们将 $\Sigma^{-1}$ 也进行分块化的处理：

即： $\Sigma^{-1}={{ \left( \begin{array}{*{20}{l}}{ \Theta \mathop{{}}\nolimits_{{11}}, \Theta \mathop{{}}\nolimits_{{12}}}\\{ \Theta \mathop{{}}\nolimits_{{21}}, \Theta \mathop{{}}\nolimits_{{22}}}\end{array} \right) }}\$

现将X划分成两部分 $X=[[X_{1},X_{2}],\vec{X}_{rest}]$

所以由 $\vec{X_{2}}|\vec{X_{1}}\tilde{} N_{q}(\vec{\mu_{2}}- \Sigma _{21} \Sigma^{-1}_{11}(\vec{X_{1}}- \vec{\mu_{1}});\Sigma \mathop{{}}\nolimits_{{22-1}})$

$[X_{1},X_{2}]|\vec{X}_{rest}\tilde{} N_{q}(\Sigma _{12} \Sigma^{-1}_{22}\vec{X}_{rest};\Sigma \mathop{{}}\nolimits_{{11-2}})$

因为定理3中给出的是 $\Sigma_{22-1}= \Sigma_{22}- \Sigma _{21} \Sigma^{-1}_{11} \Sigma_{12};$

对应的 $\Sigma_{11-2}= \Sigma_{11}- \Sigma _{12} \Sigma^{-1}_{22} \Sigma_{21};$

由 $\Sigma^{-1} \Sigma=I$ 可以得出：

(1). $\Sigma_{11}\Theta_{11}+\Sigma_{12}\Theta_{21}=I$

(2). $\Sigma_{21}\Theta_{11}+\Sigma_{22}\Theta_{21}=\vec{0}$

(3). $\Sigma_{11}\Theta_{12}+\Sigma_{12}\Theta_{22}=\vec{0}$

(4). $\Sigma_{21}\Theta_{12}+\Sigma_{22}\Theta_{22}=I$

由(2)(3)可得： $\Sigma_{22}^{-1}\Sigma_{21}=-\Theta_{21}\Theta_{11}^{-1}$ ; $\Sigma_{11}^{-1}\Sigma_{12}=-\Theta_{12}\Theta_{22}^{-1}$ ;

又 $\Sigma_{11-2}= \Sigma_{11}- \Sigma _{12} \Sigma^{-1}_{22} \Sigma_{21}=\Sigma_{11}( \Sigma_{11}^{-1}\Sigma_{11}- \Sigma_{11}^{-1}\Sigma _{12} \Sigma^{-1}_{22} \Sigma_{21});$

将(1)中两边同左乘一个 $\Sigma_{11}^{-1}$ 得： $\Sigma_{11}^{-1}\Sigma_{11}\Theta_{11}+\Sigma_{11}^{-1}\Sigma_{12}\Theta_{21}=\Sigma_{11}^{-1}$ ;

带入后得 $\Theta_{11}-\Theta_{12}\Theta_{22}^{-1}\Theta_{21}=\Sigma_{11}^{-1}$ ;

所以 $\Sigma_{11-2}=\Sigma_{11}( \Sigma_{11}^{-1}\Sigma_{11}- \Sigma_{11}^{-1}\Sigma _{12} \Sigma^{-1}_{22} \Sigma_{21})=\Sigma_{11}( I-\Theta_{12}\Theta_{22}^{-1} \Theta_{21}\Theta_{11}^{-1})=\Sigma_{11}( \Theta_{11}\Theta_{11}^{-1}-\Theta_{12}\Theta_{22}^{-1} \Theta_{21}\Theta_{11}^{-1})$

所以结合上述二式有 $\Sigma_{11-2}=\Theta_{11}^{-1}$

因为 $\Theta_{11}$ 是一个 $2\times 2$ 的矩阵(这里都是数值矩阵，没有分块)

对 $\Theta_{11}={{ \left( \begin{array}{*{20}{l}}{ \theta \mathop{{}}\nolimits_{{11}}, \theta \mathop{{}}\nolimits_{{12}}}\\{ \theta \mathop{{}}\nolimits_{{21}}, \theta \mathop{{}}\nolimits_{{22}}}\end{array} \right) }}\$ 求逆即可。