一.原理推导
变分推断（VI）要做的事情很朴素，那就是有一个复杂的难以求解的分布，比如后验概率分布：)
，这里
表示观测数据，
表示参数或隐变量，VI就是利用一个简单可控的近似分布)
去逼近目标，即：
%5Crightarrow%20p(Z%5Cmid%20X))
比如下图，黄色区域便是我们的目标分布，红线和绿线是我们构建的高斯分布，去近似目标分布
那么，自然地有个问题就产生了，红线近似的更好还是绿线近似的更好？显然，上面的图我们很难肉眼区分的开，所以我们需要找到一个量化的指标来评估两个分布的近似程度，我们可以使用KL距离，它的定义如下：
%3D%5Cint%20q(Z)ln%5C%7B%5Cfrac%7Bq(Z)%7D%7Bp(Z%5Cmid%20X)%7D%5C%7DdZ)
显然，当%3Dp(Z%5Cmid%20X))
时，)
取得最小值0，所以我们接下来求解下面优化问题就可以得到最优的近似分布)
了：
%3Darg%5Cmin_%7Bq(Z)%7DKL(q%5Cmid%5Cmid%20p))
但是
公式中同样还包含有)
，这样我们在求解时依然会很困难，接下来我们推到一种等价的方式，我们首先可以将)
拆解为如下的等式：
%3D%5Cfrac%7Bp(X%2CZ)%7D%7Bp(Z%5Cmid%20X)%7D)
显然，上面的等式恒成立，然后对两边取对数，有：
%3Dln%5C%20p(X%2CZ)-ln%5C%20p(Z%5Cmid%20X))
继续加入我们的,有：
%3Dln%5C%20p(X%2CZ)-ln%5C%20p(Z%5Cmid%20X)%5C%5C%20%3Dln%5C%20%5Cfrac%7Bp(X%2CZ)%7D%7Bq(Z)%7D-ln%5C%20%5Cfrac%7Bp(Z%5Cmid%20X)%7D%7Bq(Z)%7D)
接下里，对两边求在近似分布上的期望，由于左边与无关，求期望后还是其自身，所以：
%3D%5Cint%20q(Z)ln%5C%7B%5Cfrac%7Bp(X%2CZ)%7D%7Bq(Z)%7D%5C%7DdZ-%5Cint%20q(Z)ln%5C%7B%5Cfrac%7Bp(Z%5Cmid%20X)%7D%7Bq(Z)%7D%5C%7DdZ%5C%5C%20%3D%5Cint%20q(Z)ln%5C%7B%5Cfrac%7Bp(X%2CZ)%7D%7Bq(Z)%7D%5C%7DdZ%2B%5Cint%20q(Z)ln%5C%7B%5Cfrac%7Bp(q(Z)%7D%7BZ%5Cmid%20X)%7D%5C%7DdZ%5C%5C%20%3D%5Cmathcal%7BL%7D(q)%2BKL(q%5Cmid%5Cmid%20p))
这里，
被称为证据下界（evidence lower bound,ELBO），这时，对数似然，ELBO以及KL距离三者之间具有如下的关系：
所以，对的极小化等价于对)
做极大化，而ELBO函数中包含的联合概率分布)
往往易于求解，所以，我们的最终计算目标便是：
%3Darg%5Cmax_%7Bq(Z)%7D%5Cint%20q(Z)ln%5C%7B%5Cfrac%7Bp(X%2CZ)%7D%7Bq(Z)%7D%5C%7DdZ)
二.对进行简化
有时候，我们为了方便计算会将划分为若干个互不相交的组，每组记作
（注意，每个
可能包含多个变量），同时假设这些分组变量是相互独立的，那么有：
%3D%5Cprod_%7Bi%3D1%7D%5EMq_i(Z_i))
注意，这里每个)
可以有不同的函数形式。接下来，我们考虑该形式下的最优解，由于上面的独立假设，我们对于的优化问题，可以转换为依次对不同的优化问题（其余的可以看做常数项，不会影响最优解），我们将上面的等式带入ELBO函数)
中，并分离出仅依赖于某一组因子的形式，比如)
：
![\mathcal{L}(q)=\int\prod_i q_i(Z_i)[ln\ p(X,Z)-\sum_i ln\ q_i(Z_i)]dZ\\ =\int q_j(Z_j)[\int ln\ p(X,Z)\prod_{i\neq j}q_i(Z_i)dZ_i]dZ_j-\int q_j(Z_j)ln\ q_j(Z_j)dZ_j+const\\ =\int q_j(Z_j)ln\ \tilde{p}(X,Z_j)dZ_j-\int q_j(Z_j)ln\ q_j(Z_j)dZ_j\\ =-KL(q_j(Z_j)\mid\mid\tilde{p}(X,Z_j))](https://math.jianshu.com/math?formula=%5Cmathcal%7BL%7D(q)%3D%5Cint%5Cprod_i%20q_i(Z_i)%5Bln%5C%20p(X%2CZ)-%5Csum_i%20ln%5C%20q_i(Z_i)%5DdZ%5C%5C%20%3D%5Cint%20q_j(Z_j)%5B%5Cint%20ln%5C%20p(X%2CZ)%5Cprod_%7Bi%5Cneq%20j%7Dq_i(Z_i)dZ_i%5DdZ_j-%5Cint%20q_j(Z_j)ln%5C%20q_j(Z_j)dZ_j%2Bconst%5C%5C%20%3D%5Cint%20q_j(Z_j)ln%5C%20%5Ctilde%7Bp%7D(X%2CZ_j)dZ_j-%5Cint%20q_j(Z_j)ln%5C%20q_j(Z_j)dZ_j%5C%5C%20%3D-KL(q_j(Z_j)%5Cmid%5Cmid%5Ctilde%7Bp%7D(X%2CZ_j)))
这里，我们定义：
![ln\ \tilde{p}(X,Z_j)=\int ln\ p(X,Z)\prod_{i\neq j}q_i(Z_i)dZ_i+const=E_{i\neq j}[ln\ p(X,Z)]+const](https://math.jianshu.com/math?formula=ln%5C%20%5Ctilde%7Bp%7D(X%2CZ_j)%3D%5Cint%20ln%5C%20p(X%2CZ)%5Cprod_%7Bi%5Cneq%20j%7Dq_i(Z_i)dZ_i%2Bconst%3DE_%7Bi%5Cneq%20j%7D%5Bln%5C%20p(X%2CZ)%5D%2Bconst)
这里
为常数项，最优解可以直接观测出来了，那就是使得%5Cmid%5Cmid%5Ctilde%7Bp%7D(X%2CZ_j)))
为0的解，那就只有两个分布相等情况下成立，即：
%3D%5Ctilde%7Bp%7D(X%2CZ_j)%5C%5C)
消去，可以写作如下：
![\tilde{p}(X,Z_j)=\frac{exp(E_{i\neq j}[ln\ p(X,Z)])}{\int exp(E_{i\neq j}[ln\ p(X,Z)])dZ_j}（const即是分母部分取负对数）](https://math.jianshu.com/math?formula=%5Ctilde%7Bp%7D(X%2CZ_j)%3D%5Cfrac%7Bexp(E_%7Bi%5Cneq%20j%7D%5Bln%5C%20p(X%2CZ)%5D)%7D%7B%5Cint%20exp(E_%7Bi%5Cneq%20j%7D%5Bln%5C%20p(X%2CZ)%5D)dZ_j%7D%EF%BC%88const%E5%8D%B3%E6%98%AF%E5%88%86%E6%AF%8D%E9%83%A8%E5%88%86%E5%8F%96%E8%B4%9F%E5%AF%B9%E6%95%B0%EF%BC%89)
通常，为了方便计算，用的更多的还是下面的表达式（下面的表达式后续会反复用到）：
![ln\ q_j^*(Z_j)=E_{i\neq j}[ln\ p(X,Z)]+const](https://math.jianshu.com/math?formula=ln%5C%20q_j%5E*(Z_j)%3DE_%7Bi%5Cneq%20j%7D%5Bln%5C%20p(X%2CZ)%5D%2Bconst)
因为对于复杂的计算，最后将多项的合并在一起处理更为方便，因为它主要起着归一化系数的作用，而这个系数可以通过观测得出（比如上面等式中的分母项），不必刻意去计算。
