高斯过程的分析（一）

《随机过程》这门课真是受益颇多，老师手推公式也是真的厉害，但其实自己在学习的过程中还是有许多的不懂。但老师的名言就是：你不懂的就把他抄一遍，在付出了辛苦之后，就算不懂也会使劲将它搞懂。所以，我决定还是将它继续写下来，付出劳动之后，印象总是特别深刻。继上回理解了学习高斯过程的动机之后，这一次要开始对高斯过程有个更深入的了解，话说，高斯过程真是一个完美的存在啊。不多说，就开始记录吧。

高斯过程的基本定义

一元的高斯分布( $E(X)=\mu,Var(X)=\sigma^2$ )：

$f_X(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(x-\mu)^2}{2\sigma^2} )$

二元的高斯分布的联合概率密度函数（PDF）( $E(X_1)=\mu_1,E(X_2)=\mu_2,Var(X_1)=\sigma_1,Var(X_2)=\sigma_2,\rho=\frac{E(X_1X_2)}{\sigma_1 \sigma_2}$ ）

$f_{X_1X_2}=\frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1-\rho ^2}} \exp(-\frac{1}{2(1-\rho^2)}((\frac{x_1-\mu_1}{\sigma_1} )^2+(\frac{x_2-\mu_2}{\sigma_2} )^2-2\rho \frac{x_1-\mu_1}{\sigma_1} \frac{x_2-\mu_2}{\sigma_2} )$

多元的高斯分布

$f_{X}(x)=\frac{1}{(2\pi)^{\frac{n}{2} }\sqrt{det(\Sigma )}}\exp(-\frac{1}{2} (X-\mu)^T\Sigma ^{-1}(X-\mu))$

设 $X=(X_1,X_2...X_n)^T$ 是n元实随机变量， $\mu\in \mathbb{R}^n,E(X)=\mu$ ， $\Sigma$ 为协方差矩阵 $\Sigma =E[(X-\mu)^T(X-\mu)]$

Gauss过程：设有随机过程 $X(t),t\in T$ ，如果对于任意的时间t，随机向量 $\mathbf{X}=(X(t_1),X(t_2)...X(t_n))^T$ 都服从n元高斯分布，则称 $X(t)$ 为高斯过程。

高阶矩

服从多元高斯分布的随机向量的分布函数仅依赖于一阶矩和二阶矩。可以从一元高斯进行证明，如下所示：

假设 $X\sim N(0,\sigma^2)$ ，那么它的高阶矩为： $E(X^n)=\frac{1}{\sqrt{2\pi }\sigma} \int_{-\infty}^{\infty} x^n \exp(-\frac{x^2}{\sigma^2} )dx$ ，看到这个式子要想求积分就得使用分部积分，通过分部积分找到递推公式，让 $I_n=E(X^n)$ ，那么

$I_n = (-\sigma^2)\int_{-\infty}^{\infty} x^{n-1}d\exp(-\frac{x^2}{2\sigma^2})\\=(-\sigma^2)x^{n-1}\exp(-\frac{x^2}{2\sigma^2})|^{\infty}_{-\infty}+(n-1)(\sigma^2)\int_{-\infty}^{\infty} x^{n-2}\exp(-\frac{x^2}{2\sigma^2})dx\\=(n-1)(\sigma^2)\int_{-\infty}^{\infty} x^{n-2}\exp(-\frac{x^2}{2\sigma^2})dx$

可以进行多次的分部积分，最后可以推导出以下结果：

$I_n = \begin{cases}(n-1)(n-3)...1 \sigma^{2k} &\quad n=2k\\0 &\quad n=2k+1\end{cases}$

由于一阶矩为0，所以他的奇数项为0，二阶矩为方差，所以偶数项与方差有关，由此可以看到，高斯过程的高阶矩只与一阶矩和二阶矩有关。

多元高斯分布的特征函数

前面已经说明了特征函数是解决高斯分布的有效手段之一，但只是推导了一元高斯分布的特征函数是怎样的，现在就来推导一下多元的高斯分布函数。

假设有 $\mathbf{ \omega }=(\omega_1, \omega_2,...,\omega_n)^T$ ，n元随机向量 $\mathbf{X} = (x_1, x_2,...,x_n)$ ，则它的特征函数为;

$\phi _X(\mathbf{\omega }) = E(\exp(j \mathbf{\omega }^TX))\\=E(exp(j\omega_1x_1+j\omega_2x_2+...+j\omega_nx_n))$

将上式进行展开，有

$\phi _X(\mathbf{\omega })=\int_{-\infty}^{\infty}...\int_{-\infty}^{\infty}f(x_1,...,x_n) exp(j\omega_1x_1+j\omega_2x_2+...+j\omega_nx_n)dx_1dx_2...dx_n\\=\int_{-\infty}^{\infty}...\int_{-\infty}^{\infty}\frac{1}{(2\pi)^{\frac{n}{2} }\sqrt{det(\Sigma )}}\exp(-\frac{1}{2} (X-\mu)^T\Sigma ^{-1}(X-\mu)+j\omega ^TX)dx_1...dx_n$

对指数次幂中的协方差矩阵进行分解，由于 $\Sigma$ 是协方差帧，所以它是对称正定的，对它进行SVD分解， $\Sigma =U\Sigma _1V^T=U\Sigma _1U^T$ ，得到：

$\Sigma ^{-1} =U\sqrt{\Lambda _1}\sqrt{\Lambda_1}U^T\\=U\sqrt{\Lambda_1}U^TU\sqrt{\Lambda_1}U^T\\=A^TA$

因此 $(X-\mu)^T\Sigma ^{-1}(X-\mu)=(A(X-\mu))^T(A(X-\mu))$ ，设 $X=A^{-1}y+\mu$ ，进行积分换元，得到

$\phi _X(\mathbf{\omega })=\frac{\sqrt{det(\Sigma )}}{\sqrt{det(\Sigma )}(2\pi)^{n/2}}\int_{\mathbb{R}^n}\exp(j\omega ^T(A^{-1}y+\mu)-\frac{1}{2}y^Ty)dy \\=\frac{\exp(j\omega ^T\mu)}{(2\pi)^{n/2}}\int_{\mathbb{R}^n}\exp(j\omega ^T(A^{-1}y)-\frac{1}{2}y^Ty)dy$

对幂指数上进行配方，配方成只包括y的二次项和不包括y的一项，这里就不细写了，对包含y的那一项进行积分就是和前面的分母约掉了，最后得到:

$\phi _X(\mathbf{\omega })=\exp(j\omega ^T\mu-\frac{1}{2}\omega ^T\Sigma \omega )$

这就是多元高斯的特征函数的表达。

参考资料

《随机过程及其应用》（第二版）陆大絟张颢

高斯过程的分析（一）

高斯过程的基本定义

高阶矩

多元高斯分布的特征函数

参考资料

推荐阅读更多精彩内容