Zhou G, Wu K, Bian W, et al. Res-embedding for deep learning based click-through rate prediction modeling[C]//Proceedings of the 1st International Workshop on Deep Learning Practice for High-Dimensional Sparse Data. 2019: 1-9.
摘要导读：
近年来，点击率(CTR)预测模型已经从浅层方法发展为深度神经网络。大多数深度CTR模型都遵循Embedding&MLP范式，即首先将离散的id特征，如用户访问的项目，通过嵌入模块将其映射为低维向量，然后学习多层感知(MLP)来拟合目标。嵌入模块作为具有代表性的学习方式，在模型性能中起着关键作用。然而，在许多实际应用中，深度CTR模型的泛化性能往往较差，这主要是由于嵌入参数的学习。本文利用兴趣延迟模型对用户行为进行建模，仔细研究了嵌入机制，得到了两个重要的结果：(i)从理论上证明了属于同一用户兴趣领域的项目嵌入向量的聚合半径较小，可以使深度CTR模型具有良好的泛化性能。(ii)根据理论分析，设计了一种新的嵌入结构res-embedding。在res-embedding模块中，每项的嵌入向量为两个分量之和：(i)从一个基于项目的兴趣图中计算出的一个中心嵌入向量(central embedding vector)。(ii)一个规模相对较小的残差嵌入向量。对多个公共数据集的经验评价证明了所提出的res-embedding结构的有效性，从而显著提高了模型的性能。
Intro结构记录
- 在推荐系统中，CTR预测的重要性。并说明了CTR模型的定义。
-
随着深度学习的发展，深度CTR模型取得了很好的效果。并交代其常用做法。给出图示：The illustration of the Embedding&MLP structure
(i)embedding module，将离散id特征，如用户历史点击项映射到低维向量，然后通过池转换为固定长度向量。
(ii)MLP module，旨在学习特征之间的非线性关系，并通过全连接网络拟合目标。 - 指出现有模型的通用做法，给出需要弥补的地方。提出自己的改进。
- 改进的原因。或者说需改进的模块存在的问题说明。需进行举例。
- 鉴于以上问题，提出改进的方向及目标。
- 问题的明确和模型具体的做法。
做法总结：
为了实现这一目标，作者基于用户历史行为序列中项目的共现频率，构建了一个基于项目的兴趣图。将每个项的中心嵌入向量计算为兴趣图中相邻项的中心嵌入基向量的线性组合，通过平均、GCN（图卷积网络）和注意三种实际实现计算的线性组合系数。此外，通过对深度CTR模型的最终目标函数添加惩罚残差嵌入向量参数的l2范数，迫使残差嵌入向量small-scale。
模型浅析
Res-embedding包含central embedding部分和residual embedding部分。在central embedding部分，通过兴趣图中的相邻项计算每个项的中心嵌入向量。在residual embedding部分中，每个项都有一个独立的嵌入向量。
我们假设共有项。Res-embedding结构由两个可训练的参数矩阵参数化，central embedding基础矩阵
和residual embedding矩阵
。
的每行向量都是对应项的central embedding的基向量，
的行向量都是对应项的残差嵌入向量。一个item的最终嵌入向量二者之和。一个item的residual embedding向量可以直接从
矩阵中读取，central embedding向量则是由其他item的中心嵌入基向量的线性组合推导出的。
作者定义了residual embedding矩阵，
中的第
行向量表示所有item中心嵌入基的线性组合系数。最后的嵌入输出为：
作者指出一个合理的线性组合矩阵应该使具有相同兴趣域的item的中心嵌入更接近。item的中心嵌入应该是兴趣图中与之相关的item的中心嵌入基础的线性组合。对于推荐系统，作者基于所有用户在历史点击行为序列上的item共现频率，构造了一个具有相邻矩阵
的兴趣图。
图的构造过程由算法1给出：
前面提到的线性组合矩阵
一个item的最终中心嵌入是由兴趣图中相邻项的中心嵌入基的线性组合组成的。线性组合系数
由图的连接权值决定。作者以一个例子说明该问题。
我的理解是作者将给定item的表示final embedding拆分为两个部分central embedding 和 residual embedding。central embedding是来自周围相关联节点的加权表示，而自己的原始表示则被当成residual embedding。
关于函数的选择，作者给出了三种不同的方式：
-
平均函数，这意味着所有的线性组合系数都是相同的。
也就是有贡献的权重都置为1，其余为0。使得各贡献之间是无差别的。
-
借鉴gcn的思想，对相邻矩阵进行行归一化和列归一化，线性组合权值为连接权值。
- 注意力机制，这部分引入了
来计算attention 得分。
函数可以由给定的参数进行定义为
：
如果说平均是对不同的相关item给予相同的权重，注意力机制则是通过计算向量之间的相似性而使得每个向量对应的权重得分不一样。
对于推荐任务而言，作者自然的有交叉熵的优化目标函数：
是除embedding层外的深度CTR预测模型的参数集。目标函数的前半部分为交叉熵损失，并且作者将系数为
的l2正则化项
加到约束残差嵌入向量的尺度上。
作者以回归的方式，其中
是指兴趣域内节点信息所计算的中心信息，而
为该推荐系统中的目标输出项。对于回归任务，在给定
和
的情况下，估计权重矩阵
和偏置项
，作者将
看做是res-embedding，并且使用
方式约束偏置项尽可能小。保证中心向量发挥出较大的作用。对于有目标的监督任务而言，这样的做法从理论和实际两个部分证明了可行性。
