简介：
用Python框架实现产生式模型，最基本要实现的，就是概率函数。这类函数的实现，包含两个要素
- 确定性的Python代码
- 随机数产生器
具体来说，随机函数可以是任何具备__call__（）方法的Python对象，或者Pytorch框架里的nn.Module方法。
在本教程里，所有的随机函数被叫做模型，表达模型的方法，和正常的Python方法没有区别。
安装：
pip install pyro-ppl
或者：
git clone https://github.com/uber/pyro.git
cd pyro
python setup.py install
注意：Pyro只支持python3.*,不支持Python 2.*!
最基础的随机函数模型
Pyro利用了Pytorch的distribution libraray。举个例子，我们想采样x服从标准正态分布，我们这样做：
import torch
import pyro
pyro.set_rng_seed(101)
loc = 0. # 均值为0
scale = 1. #标准差为1
normal = torch.distributions.Normal(loc, scale) #构造一个正态分布的对象
x = normal.rsample() #从N(0,1)采样
print("sample", x)
print("log prob", normal.log_prob(x)) # 采样分数
##结果：
##sample tensor(-1.3905)
##log prob tensor(-1.8857)
normal = pyro.distributions.Normal(loc, scale) #构造一个正态分布的对象
x = normal.rsample() #从N(0,1)采样
print("sample", x)
print("log prob", normal.log_prob(x)) # 采样分数
##结果：
##sample tensor(1.3834)
##log prob tensor(-1.8759)
这里torch.distributions.Normal是Distribution类的子类，它已经实现了采样和打分功能。Pyro的库pyro.distributions打包了torch.distributions的方法，这样做科研利用Pytorch的数学方法和自动求导功能。
一个简单的例子
假设我们手里有一批数据，记录了日常气温和阴晴。我们希望研究气温和阴晴的关系。于是我们首先用Pytorch构造如下函数，来描述数据的生成过程：
def weather():
cloudy_ = torch.distributions.Bernoulli(0.3).sample()
cloudy = 'cloudy' if cloudy_.item() == 1. else 'sunny'
mean_temp = {'cloudy': 55., 'sunny': 75.}[cloudy] # 注意，温度是华氏单位
scale_temp = {'cloudy': 10., 'sunny': 15.}[cloudy]
temp = torch.distributions.Normal(mean_temp, scale_temp).rsample()
return cloudy, temp.item()
我们逐行解释这个函数。在第二行，我们定义一个二值变量cloudy_，其伯努利参数0.3表示其值为1的概率。第三行cloudy为字符串变量，取值为‘cloudy’（阴天）或者‘sunny’（晴天）。模型规定，30%的可能性是阴天，70%的可能性是晴天。第四行规定，阴天的平均温度为华氏55度（约12.78°C），晴天为华氏75度（约23.89°C）。第五行规定了标准差。
下面我们使用Pyro重写上面的函数。
def weather():
cloudy_ = pyro.sample('cloudy', pyro.distributions.Bernoulli(0.3))
cloudy = 'cloudy' if cloudy_.item() == 1.0 else 'sunny'
mean_temp = {'cloudy': 55.0, 'sunny': 75.0}[cloudy]
scale_temp = {'cloudy': 10.0, 'sunny': 15.0}[cloudy]
temp = pyro.sample('temp', pyro.distributions.Normal(mean_temp, scale_temp))
return cloudy, temp.item()
for _ in range(3):
print(weather())
###结果：
#('cloudy', 64.5440444946289)
#('sunny', 94.37557983398438)
#('sunny', 72.5186767578125)
从表面来看，我们仅仅利用了pyro.sample，然而并非如此。假如我们想问，得到采样为70度，有多大概率是阴天？利用Pyro回答这个问题的方法，为了不破坏教程的连续性，我们将在下个教程中讲解。
框架的通用性：递归随机函数、高阶随机函数、随机数控制流
我们定义下面的简单模型：
def ice_cream_scales():
cloudy, temp = weather()
expected_sales = 200. if cloudy == 'sunny' and temp > 80. else 50.
ice_cream = pyro.sample('ice_cream', pyro.distributions.Normal(expected_sales, 10.))
return ice_cream
到此为止都是令人满意的。我们要问，Pyro能否涵盖更加复杂的模型？答案是肯定的。
由于Pyro是基于Python代码的，它可以定义任意复杂的控制流，哪怕其中包含了随机数，也没有问题。例如，我们可以定义递归的随机函数，每次我们输入给pyro.sample确定性的采样。再如，我们定义几何分布，即计数实验失败的次数，直到实验成功为止：
def geometric(p, t=None):
if t is None:
t = 0
x = pyro.sample('x_{}'.format(t), pyro.distributions.Bernoulli(p))
if x.item() == 1.:
return 0
else:
return 1 + geometric(p, t + 1)
print(geometric(0.5))
# 结果，注意该结果每次采样不一定相同
# 3
注意，在上面的geometric()函数里，系统将动态生成诸如x_0、x_1这样的变量。
我们还可以把别的随机函数的结果作为新定义函数的变量，或者创造一个新函数。请看下面的例子：
def normal_product(loc, scale):
z1 = pyro.sample('z1', pyro.distributions.Normal(loc, scale))
z2 = pyro.sample('z2', pyro.distributions.Normal(loc, scale))
y = z1 * z2
return y
def make_normal_normal():
mu_latent = pyro.sample('mu_latent'', pyro.distributions.Normal(0., 1.))
fn = lambda scale: normal_product(mu_latent, scale)
return fn
在make_normal_normal()中，其中一个输入是随机函数，该随机函数包含3个随机变量。
Pyro支持Python代码的各种形式：循环，递归，高阶函数，等等。这意味着Pyro具有通用性，更由于Pyro基于Pytorch而可以灵活地使用GPU加速。我们将在后面的教程中，逐渐介绍Pyro的强大用法。
