阅读论文：Large-scale Interactive Recommendation with Tree-structured Policy Gradient
论文内容：
模型：用Kmeans / PCA-based聚类方法构建平衡树，每个叶节点是item，非叶节点是policy network，分别由FC网络层和softmax激活函数组成，softmax输出的是该节点之后走向下一层每个节点的概率。学习方式用的是REINFORCE.参数更新公式如下：
参数更新公式
状态S的设计：
state representation
将用户的打分信息作为当前状态的一部分，如：the number of positive rewards, negative rewards, consecutive positive and negative rewards before timestep t。
itemID 到item embedding的对应关系可以由以下说的3个方法得到，也可以直接端到端训练。（文中并未说明如何进行端到端训练。）
reward设置：reward function 公式如下：
reward function
embedding的3种选择方法：
- rating-based：直接把用户的打分表达成一个向量，每一维就对应一部电影。
- VAE-based：learned by utilizing a variational auto-encoder (VAE) (Kingma and
Welling 2013)。用VAE进行降维。 - MF-based：用矩阵分解学习embedding。
