深度推荐模型

深度学习CTR模型演化图谱

目前的主流思路：
（1）加层数，加结构复杂度：AutoRec->Deep Crossing
（2）改变特征交叉方式：NeruralCF（神经网络协同过滤），PNN（基于积操作的神经网络）
（3）组合模型：Wide&Deep及其变种DeepFM等，两种不同且优势互补的深度学习网络的组合。
（4）FM深度升级版
（5）注意力机制
（6）序列模型
（7）强化学习结合

AutoRec（自编码器）：类PCA，输入≈输出

自编码器能够存储所有数据向量的编码信息，使得 $\min_{\theta}\sum_{r \in S}||r-h(r;\theta)||^2$ ，但是因为重建函数的参数比输入向量的维度（参数个数）远远地少，所以间接实现了数据压缩和降维的工作。输出向量并不完全等于输入向量，某种程度上实现了泛化，甚至可以填补一定的缺失维度值。

物品评分向量r做输入 $h(r;\theta)=f(W*g(Vr+u)+b)$ ，f 和 g 是输出和隐藏层的激活函数

$\min_{\theta}\sum_{i=1}^{n}||r_i-h(r_i,\theta)||^2+\frac{\lambda}{2}(||w||^2+||V||^2)$ ，前面是残差平方和，后面是正则

ri的第u维就是用户u对物品i的评价

优势：一次性输入就可以，劣势：向量稀疏可能影响效果。

为什么可以预测缺失维度？

在Rating Matrix中，没有打分的部分不参与计算，encode decode的过程中只让模型去拟合已有的打分部分，让这一部分充分拟合好，然后对于没有数据的部分，训练好的权重会给出一个非零值，这就是模型预测的结果。最终，原来Rating Matrix中为零的部分在模型训练完后也变也有了数值，可以根据此来做推荐。(对于缺失值，用默认值或者平均值代替可以重建恢复（基于平方残差和最小）)

可以认为是借鉴了其他用户对该商品的打分（该商品的各隐特征权重），以及该用户对其他商品的打分（对各个隐特征的权重）

为什么可以压缩/降维？

假如我们通过一组数据训练出了我们的自编码器，然后我们拆掉自编码器的解码器（decoder），就可以用剩下的编码器（encoder）来表征我们的数据了。隐藏层的神经元数目远低于输入层[0,1,0,1]，那么就相当于我们用更少的特征（神经元）[0,1,0]去表征我们的输入数据，从而达到降维压缩的功能。

为什么可以去噪？

上图第一行就是加噪后的手写体数据集，第二行则是原本的手写体数据集。我们把加噪后的数据集当成输入，原本的数据集当做输出，训练一个自编码器，让它在训练过程中学习数据的规律，从而把噪声去掉

加入L1稀疏，可以得到少且有用的特征项。

Deep Crossing模型（残差，embedding）

离散特征：搜索词，广告关键词，落地页（具体页面）
连续特征：点击率

（1）onehot离散特征编码过于稀疏，使用embedding技术（word2vec）来解决稠密化+降维的问题。
（2）如何解决特征交叉自动化的问题，Stacking层负责拼接数值型特征和离散型特征组成新的特征向量，Multiple Residual Units（使用残差网络Resnet）对这些新的特征向量进行交叉组合，使得模型能抓取到更多非线性特征和组合特征的信息。