强化学习
表格型求解
按direclet分布随机
direclet分布式高维情况的beta分布。
下面介绍beta分布。
beta分布：以击棒球为例，根据某人的击球数据，估计其命中率，取值范围[0,1]，此时可以将这个人的命中率的概率分布视为beta分布，该分布的特性是，当击球次数较少时，
的分布受其先验分布影响较大，随着击球次数的增加，方差减少（置信区间收窄），均值趋向于该人n次击球的准确率（后验概率）。
对上面公式的各个部分进行解释。
：给定
，进行n次Bernoulli实验，产生数据data的概率分布，为二项分布。假设data为总共击球N词，命中Z次。
-
：
为归一化因子，即对分子按
的比例按统计的先验分布的均值来定，数值大小根据经验或者效果需要而定，理论上可以根据方差（置信区间）来确定
: 为归一化因子，即对分子按
推导：
结论：后验分布 与其先验分布
具有相同的形式，称之为共轭先验。
UCB（置信区间上界Upper Confidence Bound)
示例：
相比于贝叶斯平均/dirichlet随机，UCB方法是更乐观的估计。在CTR 预估的场景中，UCB方法会让新的item获得足够的曝光机会，直到置信区间收窄，UCB取值趋向到某个值。
以某广告的点击率为例。假设某广告点击率x为一个beta分布，假设取95%置信区间，则该广告的UCB得分为a，a为 的解。（画一张图更直观）
求解：
高斯分布的置信区间比较好求，beta分布的置信区间怎么求解？
基于Q学习
基于policy
参考
https://www.cs.bham.ac.uk/internal/courses/robotics/lectures/ucb1.pdf
https://blog.csdn.net/songyunli1111/article/details/83384738
李宏毅 强化学习
github
