探索与利用（EE）常用策略

强化学习

表格型求解

按direclet分布随机

direclet分布式高维情况的beta分布。

下面介绍beta分布。

beta分布：以击棒球为例，根据某人的击球数据，估计其命中率 $\theta$ ，取值范围[0,1]，此时可以将这个人的命中率的概率分布视为beta分布，该分布的特性是，当击球次数较少时， $\theta$ 的分布受其先验分布影响较大，随着击球次数的增加，方差减少（置信区间收窄），均值趋向于该人n次击球的准确率（后验概率）。

$p(\theta | data ) = \frac{p(data|\theta)\cdot p(\theta)}{p(data)}$
对上面公式的各个部分进行解释。

$p(data|\theta)$ ：给定 $\theta$ ，进行n次Bernoulli实验，产生数据data的概率分布，为二项分布。假设data为总共击球N词，命中Z次。
$p(data|\theta) = C^N_Z\theta^Z(1-\theta)^{N-Z} = \frac{beta(Z, N-Z)}{C_1}$
$p(\theta)$ ： $\theta$ 的先验分布
$p(\theta) = beta(\alpha,\beta) = \frac{\theta^\alpha(1-\theta)^\beta}{C_2}$
$C_2$ 为归一化因子，即对分子按 $\theta$ 从0到1进行积分。 $\alpha,\beta$ 的比例按统计的先验分布的均值来定，数值大小根据经验或者效果需要而定，理论上可以根据方差（置信区间）来确定
$k = \frac{E(\theta)\cdot(1-E(\theta))}{S^2} - 1, S为方差$

$\alpha = E(\theta)\cdot k, \beta = (1-E(\theta))\cdot k$
$p(data)$ : 为归一化因子，即对分子按 $\theta$ 从0到1进行积分，在给定data时为常数，所以以下推导只考虑正比关系。

推导：
$p(\theta | data ) = \frac{p(data|\theta) \cdot p(\theta)}{p(data)} = \frac{beta(Z, N-Z) \cdot beta(\alpha, \beta)}{C} = \frac{beta(\alpha+Z, \beta+N-Z)}{C}$
结论：后验分布 $p(\theta | data )$ 与其先验分布 $p(\theta)$ 具有相同的形式，称之为共轭先验。