摘要
- 线性回归可用非线性的特征值转换做预测和分类问题，且具有较好的记忆性：利用对数据集进行点乘，但是需要大量特征值。
- 神经网络可以在较少特征值情况下作出好的预测，因为它可以忽视特征值组合通过从系数特征中学习低维的密集embedding（embedding就是把字词用向量表示出来，相当于是对字词做encoding）
然而深度学习会造成过拟合，甚至推一些没关联的商品，当两个商品相互作用强且稀疏时
本文结合两种模型，同时具有记忆性和广泛率的优点
介绍
推荐系统其实可以看做一个排序系统。
记忆性：定义 获取商品或者是特征间共同发生的频率 利用历史数据中的相关性
特点 更大的局部性，对用户已有的购买行为有直接的关联
应用 一般用logistic回归，使用带有one-hot encodin的二分稀疏特征值（独热码，在英文文献中称做 one-hot code, 直观来说就是有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制）
优点 直接展示了共同发生的特征对和目标标签的关系，通过点积得到记忆性用很少的参数
缺点 不会推广到没有出现在训练集中的数据
广泛性：定义 根据传递相关性和探索没有出现的或者是很少出现的新特征值组合
特点：趋向于提高推荐商品的多样性，加入粒度更粗的特征
应用 嵌入式模型factorization machines or deep neural networks（分解机和神经网络），可以拓展以前没有过的特征对通过学习低维的密集embedding
缺点 当用户有特别偏好时（两商品矩阵稀疏且相关性强）很难得到一个有效的低维模型，通过稠密的embedding得到的可能过拟合没有什么相关性
改进 这时用线性就能很好的记住这些异常规则用很少的参数
概述推荐系统
- 一个带有用户多样性特征值的查询会在用户访问app的时候产生，推荐系统会给用户推荐一系列的app列表
这些用户的行为，伴随着查询和展示的app列表都会被记录在logs日志里用来训练模型 - 但是在成千上万app的数据库中以低服务器延迟查询所有数据是很困难的
因此，我们的第一步是对查询语句检索(提取关键信息)
这个检索系统会返回一小部分匹配度很高的app，这部分操作是结合了通过机器学习模型和人为规则筛选出来的
最后聚合到一个候选池中，排序系统会根据得分(得分：p(y|x),各种特征为x时用户标签为y的概率)高低进行排序
宽度与广度的学习
宽度
-对于普通线性方程y=wTx+b(T是w的T次),y是预测值、x是特征值、b是偏差、w是模型参数
-特征值集包括了输入的特征值和转化而来的特征值，这里使用了二值化利用公式将特征值化为了0和1,当且仅当所有特征值符合才为1，否则就为0.
-捕获两个二值化特征值的关系后，把这个非线性的因素加入到线性模型中
深度
-深度使用的是基于前反馈的神经网络。
-由于确切的特征值是以字符串输入，我们需要把每个特征值从高维、字符串 转化为 低维、密集的实数
我们将转化得到的向量成为嵌入向量(embedding vecto) 这个转化是一个重点->从字符串到实数，用到的方法可能有one-hot(二值且互斥特征)
将这个嵌入向量随机初始化中后，训练出使随时函数最小化的模型
-最后将这个低维的向量投入神经网络的隐藏层进行向前传递
-每层的神经元都满足一个计算，a(l+1)神经元的激活(将最为该元的输出),a(l)上一层的激活(输出)，w层间神经元间权重，b偏移
联合训练
深度和广度相结合并使用一个log odds(可能性取对数)作出预测，投入到logistic损失函数。
联合训练和整体训练
-整体训练：单个模型的独立性太强，预测整合在结果阶段，需要很大单个模型来使精度达标
-联合训练：同时优化宽度和广度的参数及他们的权重，广度部分只需要利用少量数据的点乘进行特征值转换来弥补部分深度缺陷，而不用使用整个广度部分
模型的建立通过向后传播梯度(深度广度都同时会向后传播修正参数)
使用FTRL回归和L1范数优化器，用Adagrad解决深度中不同参数应该使用不同的更新速率的问题
系统实现
-数据生成：使用分类映射表，将string->integer，当一个特征值字符串出现超过一定次数，会被记录在表中
把所有真实值都归一到[0,1]中，通过分位来映射
-模型训练：输入层接受训练集、词汇以及生成稀疏矩阵和详细的特征值带有的标签
广度组件包括了user installed apps and impression apps的点乘转换
部分的深度模型，将32维嵌入向量输入，我们将串联所有的嵌入向量变为了1200
因为每次有新的训练数据到达都重新训练的话会造成很大的开销和延迟，所以实现了一个热启动系统：初始化一个带权重的新的嵌入模型、线性模型从先前的模型中
-模型服务：每个请求到达，计算候选app的评分。加入并行多线程加快速度
