Monte Carlo方法也称为统计模型方法，是以概率统计理论为指导的一类数值计算方法。
但是在加上Markov chain 会变成MCMC算法，也是贝叶斯统计推断中的一个非常重要的算法
贝叶斯
贝叶斯推断（Bayesian inference）是对给定的样本数据加统计模型，并由模型参数或不可观察的随机变量的后验分布来进行统计推断的过程。
所有未知量都是随机变量。先产生未知变量的先验分布，结合给出样本的信息，从而得出未知变量的后验概率分布，再由后验概率分布，用标准的概率计算对未知变量进行统计推断。
最简单的贝叶斯定理： p(β|y) = [p(y|β) * p(β)]/p(y)
贝叶斯假设检验：设H0为原假设，H1为备选假设。其中我们可能犯的错误有：H0是正确的，但是我们拒绝了H0，称为I型错误；H1正确，我们接受了H0，称为II型错误。
2 Markov chain
Markov chain是一种最简单，应有最多的随机过程。即每个时间点上的随机变量的概率分布在变。但是其在t时刻的随机变量概率分布， 在与t之前的随机变量或状态有关。即随机过程中在下一刻随机变量的概率分布取值只与系统当前的概率分布有关，与之前的状态无关。
Markov chain是不可约和非周期的。
针对离散随机过程：
若知道Markov chain中的转移概率矩阵P
则由状态i转为j的概率可以写出： Pij^(m+n) = sum(Pik^m * Pkj^n)
矩阵形式为P^(m+n) = P^m * P^n
Markov chain的平稳分布：P^t不再随n的变化而变化，其中的每一行都相等，我们称Markov chain收敛，收敛时系统状态空间的概率分布称为平稳分布（stationary
distribution）. 但是不是所有的都会收敛
一个可收敛的Markov chain 满足πi* Pij = πj* Pji
则称其可逆。
对于连续的随机过程，则需要使用转移核（Kernel）。
3 MCMC
其目的是通过monte carlo方法产生具有平稳分布的Markov chain。
基本思想通过迭代的Monte Carlo模拟来产生Markov chain，该链在达到平稳时就具有我们希望的后验分布。
基本原理：通过建立一个以后验分布为平稳分布的Markov chain来产生后验分布的样本，基于这些样本就可以对后验分布进行各种统计推断。
对于MCMC的抽样方法有：Gibbs抽样（动物育种使用最多） 和 Metropolis-Hasting抽样.
Gibbs抽样是用完全条件后验分布作为建议分布，并且接受概率为1，即所有的抽样结果都是被接受的。
Gibbs抽样法，首先要找到变量的条件密度函数，根据条件密度函数迭代抽样，就可获得一个Gibbs随机数列，从而获得f(x)的抽样值。f(x)为X的边缘分布。
Gibbs抽样时：一是要找到有关的完全条件分布（条件密度函数）；二是：有从这个条件分布抽样（产生随机数）的算法。
4 MCMC应用问题
应用中需要解决以下问题：Markov chain要收敛，MCMC的样本的获取，样本的统计推断。
4.1 Markov chain在没有收敛时，其产生的样本要舍去，称为burn-in期。在 THRGIBBSF90软件中，第二个问题就是这个。这个很难判断其是否收敛，在POSTGIBBSF90软件中，最后一个问题，可以将所有的抽样轨迹画出，如果不剧烈波动，就认为收敛。这里可以设置不同的参数初始值，其他相同，画几个独立的链，如果都不再距离变动，则更为合理。初始值会影响MCMC链的收敛速度
4.2 由于收敛后，产出的样本，相邻之间仍有自相关。THRGIBBSF90软件中第三个问题，就是需要解决这个问题。间隔选取，间隔足够大时，就可以认为这是一个独立的随机样本了。另一中，也是产生多条链，每条链选择一个数，组合起来，也是一个所需分别分布的独立样本。
4.3 MCMC样本最主要的用途是对所考察的后验分布的某些参数（均值，方差，协方差）进行估计。POSTGIBBSF90软件做此步骤更好。
MCMC抽样会有方差，对其估计，可直接产生多个MCMC样本，进行计算。也可以借助一个样本的自协方差进行估计。
