系列19 变分推断2-Algorithm

我们将$X$：Observed data；$Z$：Latent Variable + Parameters。那么$(X,Z)$为complete data。根据我们的贝叶斯分布公式，我们所要求的后验分布为： $$ \begin{equation} p(Z|X) = \frac{p(X,Z)}{p(X|Z)} \end{equation} $$ 进行一些简单变换，我们可以得到： $$ \begin{equation} p(X) = \frac{p(X,Z)}{p(Z|X)} \end{equation} $$ 在两边同时取对数我们可以得到： $$ \begin{equation} \begin{split} \log p(X) = & \log \frac{p(X,Z)}{p(Z|X)} \\ = & \log p(X,Z) - \log p(Z|X) \\ = & \log\frac{p(X,Z)}{q(Z)} - \log \frac{p(Z|X)}{q(Z)} \\ \end{split} \end{equation} $$ # 公式化简左边 = $p(X)$ = $\int_{Z}log\ p(X)q(Z)dZ$。右边 = $$ \begin{equation} \int_Z q(Z)\log\ \frac{p(X,Z)}{q(Z)}dZ - \int_Z q(Z)\log\ \frac{p(Z|X)}{q(Z)}dZ \end{equation} $$ 其中，$\int_Z q(Z)\log\ \frac{p(X,Z)}{q(Z)}dZ$被称为Evidence Lower Bound (ELBO)，被我们记为$\mathcal{L}(q)$，也就是变分。 $- \int_Z q(Z)\log\ \frac{p(Z|X)}{q(Z)}dZ$被称为$KL(q||p)$。这里的$KL(q||p) \geq 0$。由于我们求不出$p(Z|X)$，我们的目的是寻找一个$q(Z)$，使得$p(Z|X)$近似于$q(Z)$，也就是$KL(q||p)$越小越好。并且，$p(X)$是个定值，那么我们的目标变成了$argmax_{q(z)}\mathcal{L}(q)$。那么，我们理一下思路，我们想要求得一个$\widetilde{q}(Z) \approx p(Z|X)$。也就是 $$ \begin{equation} \widetilde{q}(Z) = argmax_{q(z)} \mathcal{L}(q) \Rightarrow \widetilde{q}(Z) \approx p(Z|X) \end{equation} $$ # 模型求解那么我们如何来求解这个问题呢？我们使用到统计物理中的一种方法，就是平均场理论(mean field theory)。也就是假设变分后验分式是一种完全可分解的分布： $$ \begin{equation} q(z) = \prod_{i=1}^M q_i(z_i) \end{equation} $$ 在这种分解的思想中，我们每次只考虑第j个分布，那么令$q_i(1,2,\cdots,j-1,j+1,\cdots,M)$个分布fixed。那么很显然： $$ \begin{equation} \mathcal{L}(q) = \int_Zq(Z)\log p(X,Z)dz - \int_Zq(Z)\log q(Z)dZ \end{equation} $$ 我们先来分析第一项$ \int_Zq(Z)\log p(X,Z)dZ$。 $$ \begin{equation} \begin{split} \int_Zq(Z)\log p(X,Z)dZ = & \int_Z\prod_{i=1}^M q_i(z_i)\log p(X,Z)dZ \\ = & \int_{z_j}q_j(z_j) \left[\int_{z_1}\int_{z_2}\cdots\int_{z_M} \prod_{i=1}^M q_i(z_i)\log p(X,Z)dz_1dz_2\cdots dz_M \right] dz_j \\ = & \int_{z_j}q_j(z_j) \mathbf{E}_{\prod_{i \neq j}^Mq_i(x_i)}\left[ \log p(X,Z) \right] dz_j \end{split} \end{equation} $$ 然后我们来分析第二项$\int_Zq(Z)\log q(Z)dZ$， $$ \begin{equation} \begin{split} \int_Zq(Z)\log q(Z)dZ = & \int_Z \prod_{i=1}^M q_i(z_i) \sum_{i=1}^M \log q_i(z_i)dZ \\ = & \int_Z \prod_{i=1}^M q_i(z_i) \left[ \log q_1(z_1) + q_2(z_2) + \cdots + q_M(z_M)\right] dZ \\ \end{split} \end{equation} $$ 这个公式的计算如何进行呢？我们抽出一项来看，就会变得非常的清晰： $$ \begin{equation} \begin{split} \int_Z \prod_{i=1}^M q_i(z_i) \log q_1(z_1) dZ = & \int_{z_1z_2\cdots z_M} q_1q_2\cdots q_M \log q_1 dz_1dz_2 \cdots z_M \\ = & \int_{z_1}q_1\log q_1 dz_1 \cdot \int_{z_2}q_2dz_2 \cdot \int_{z_3}q_3dz_3 \cdots \int_{z_M}q_Mdz_M \\ = & \int_{z_1}q_1\log q_1 dz_1 \end{split} \end{equation} $$ 因为，$\int_{z_2}q_2dz_2$每一项的值都是1。所以第二项可以写为： $$ \begin{equation} \sum_{i=1}^M \int_{z_i} q_i(z_i)\log q_i(z_i) dz_i = \int_{z_j} q_j(z_j)\log q_i(z_i) dz_j + C \end{equation} $$ 因为我们仅仅只关注第$j$项，其他的项都不关注。为了进一步表达计算，我们将： $$ \begin{equation} \mathbf{E}_{\prod_{i \neq j}^Mq_i(z_i)}\left[ \log p(X,Z) \right] = \log \hat{p}(X,z_j) \end{equation} $$ 那么(8)式可以写作： $$ \begin{equation} \int_{z_j}q_j(z_j) \log \hat{p}(X,z_j) dz_j \end{equation} $$ 这里的$\hat{p}(X,z_j)$表示为一个相关的函数形式，假设具体参数未知。那么(7)式将等于(13)式减(11)式： $$ \begin{equation} \int_{z_j} q_j(z_j)\log q_i(z_i) dz_j - \int_{z_j}q_j(z_j) \log \hat{p}(X,z_j) dz_j + C = -KL(q_j || \hat{p}(x,z_j)) \leq 0 \end{equation} $$ $argmax_{q_j(z_j)}-KL(q_j || \hat{p}(x,z_j))$等价于$argmin_{q_j(z_j)}KL(q_j || \hat{p}(x,z_j))$。那么这个$KL(q_j || \hat{p}(x,z_j))$要如何进行优化呢？我们下一节将回归EM算法，并给出求解的过程。本文由[mdnice](https://mdnice.com/?platform=6)多平台发布

系列19 变分推断2-Algorithm

推荐阅读更多精彩内容