Zhang C, Bütepage J, Kjellström H, et al. Advances in variational inference[J]. IEEE transactions on pattern analysis and machine intelligence, 2018, 41(8): 2008-2026.
--
该论文为综述性论文，所以笔者打算分几部分来完成论文的阅读。（都是因为太菜了
本部分为Scalable Variational Inference

大数据集对贝叶斯算法的计算可行性提出了新的挑战，使得可扩展的推断技术变得必不可少。主要包含（1）随机变分推理 (SVI)，它使用随机梯度下降 (SGD) 将 VI 扩展到大型数据集；（2） SVI 的实际方面，例如自适应学习率和方差减少；（3）讨论了改进 VI 可扩展性的方法；包括稀疏推断、折叠推断和分布式推断。

Stochastic Variational Inference

变分推断(VI)将贝叶斯推断转化为一个优化问题。对于许多模型而言，变分目标具有特殊的结构，即它是来自所有 个单独数据点的贡献的总和。这种类型的问题可以使用随机优化有效地解决。随机变分推断（Stochastic Variational Inference）相当于将随机优化应用于 VI 的目标函数中，从而将 VI 扩展到非常大的数据集。
由上图给出的通用图模型的ELBO的形式如下：

Tricks of the Trade for SVI

作为 SVI 基础的 SGD 的收敛速度取决于梯度估计的方差。较小的梯度噪声允许较大的学习率并会加速收敛。本节介绍 SVI 中的trade-off技巧，例如自适应学习率和方差减少。其中一些方法也常适用于 SGD。

Adaptive Learning Rate and Mini-batch Size.

众所周知，算法的收敛速度取决于学习率和mini-batch的大小。

有人指出可以在保持学习率固定的同时调整小批量大小，而不需要调整学习率，并实现了类似的效果。为了减少 SGD 方差，【Coupling adaptive batch sizes with learning rate】 建议选择与目标函数相对于其最优值的值成比例的小批量大小。在实践中，估计的梯度噪声协方差和梯度的大小被用来估计最优的mini-batch size。

Variance Reduction

除了通过学习率和小批量大小控制优化路径外，还可以减少方差，从而实现更大的梯度步长。 SVI 中经常使用方差减少来实现更快的收敛。如下，作者总结了关于如何通过控制变量、非均匀抽样来实现这一目标。

• Control Variates
  控制变量是一个随机项，可以添加到随机梯度中，使其期望保持不变，但其方差会降低。控制变量需要与随机梯度相关，并且易于计算。在蒙特卡罗模拟和随机优化中使用控制变量来减少方差较为少见。
  在SVRG中，利用之前所有样本数据的梯度构造了一个控制变量，可以充分利用所有相关的优化路径上的梯度。传统梯度的更新为：
  添加控制变量之后，梯度的更新变为：
  SVRG 需要在每 次迭代中完全通过数据集来计算完整梯度，即使对于大型数据集，可以通过放宽到非常大的 mini-batch以达到效果。
• Non-Uniform Sampling
  不同于以相等概率对数据点进行二次采样，可以使用非均匀采样来选择具有较低梯度方差的小批量。但因为采样机制的计算复杂性与模型参数的维度有关 ，实际中这些方法并不总是实用的。其替代方法旨在对相似点进行去相关并采样多样化的小批量。这些方法包括分层抽样，其中一个基于元数据或标签从预先定义的子组中抽样数据；基于聚类的抽样，这相当于使用k-means对数据进行聚类，然后从每个具有调整概率的类簇中采样；以及多样化的小批量采样，使用排斥点过程来抑制同一小批量中具有相似特征的数据点的概率。所有这些方法都已被证明可以减少方差，也可以用于学习不平衡数据。

使用模型结构来实现快速收敛

• Collapsed Inference
  Collapsed Variational Inference (CVI) 依赖于分析整合某些模型参数的想法。由于要估计的参数数量减少，推理通常更快。
• Sparse inference
  Sparse inference在变分方法中引入了额外的低秩近似，从而实现了更具可扩展性的推断。Sparse inference既可以解释为建模选择，也可以解释为推断方法。
• Parallel and Distributed Inference
  变分推断可以适用于分布式计算场景，其中数据或参数的子集分布在多台机器上。在大规模场景中通常需要分布式推断方法，其中数据和计算分布在多台机器上。独立的潜在变量模型可以简单地进行并行计算。但是，需要模型特定的设计（例如重参数化）来实现高效的分布式推理。

菜狗本菜