Screenshot 2023-01-31 at 11.19.52.png
- 推断是数学领域一个非常重要的概念。简单来说, Inference指的是根据已经有的有限的知识，去推测未知的知识。而使用贝叶斯概率论的方法进行推断，就被成为Bayesian Inference贝叶斯推断。
- 贝叶斯推断主要包括两种：Estimation-based和Sampling-based。共同的目标都是为了能够求出后验概率分布
。
- Sampling-based method顾名思义，就是利用采样的方法来求后验概率分布。
- Monte Carlo方法是用模拟采样代替计算。经典的例子是求正方形中的圆形的面积，我就不赘述了。这种方法可以用在离散的情况，只需要均匀采样
然后去计算它统计量的情况就行了。连续的情况就是借助概率分布函数，找到概率分布函数对应的统计量。
- MCMC其实可以看做是Monte Carlo的升级版。MC是随机的给
然后，根据
去采样下一次的
- 注意，我们要接受一件事，就是markov chain一直乘下去一定可以收敛到某一个状态不动了。而且我们这种accept/reject的方式收敛到的状态恰好是我们想要的后验概率。
- MCMC启动阶段采样出来的样本是不能用的。
- MCMC是个父类，有很多实现包括metroplis-hastings, gibbs, rejection sampling
- Monte Carlo方法是用模拟采样代替计算。经典的例子是求正方形中的圆形的面积，我就不赘述了。这种方法可以用在离散的情况，只需要均匀采样
- Estimation-based method就是通过建模一个函数，去估计出后验概率，利用数据去优化这个函数的参数，从而越来越接近真实分布，有点机器学习的意思了。
- Variational inference. VI其实就是直接对后验概率
。然后通过计算这两个分布之间的KL散度作为优化目标，通过不断地优化这个目标可以缩小估计误差最终得到一个合理的后验分布，有了后验分布我们也能去采样得到新的
- VAE其实和VI关系没那么大，但是也是构造了一个q去估计
，但是呢，这里降维了。另外呢，还建模了一个decoder
，把这个隐变量再还原成
- Variational inference. VI其实就是直接对后验概率
