写在前面:
读到论文DSIN,有文章写到这是阿里CTR预估的三部曲(3),刚开始还好奇前两部曲是啥,突然想到前几天看到的LTR模型演化路径的最后两个阿里的论文DIN和DIEN,想到它们都是基于兴趣的,于是搜了下果然没错,哈哈😄,今天着重写下预估三部曲(3)的新的了解和认识。
who are they? 阿里深度学习CTR预估三部曲
(1)DIN: Deep Interest Network for Click-Through Rate Prediction
(2)DIEN: Deep Interest Evolution Network for Click-Through Rate Prediction
(3)DSIN: Deep Session Interest Network for Click-Through Rate Prediction
1、论文特点
将用户行为序列根据时间间隔划分为session,源于在淘宝电商场景中,不同session的商品品类大多不同,同一个session下的商品比较同质。
2、论文框架
DSIN在全连接层之前,分成了两部分,左边的那一部分,将用户特征和物品特征转换对应的向量表示,这部分主要是一个embedding层,右边的那一部分主要是对用户行为序列进行处理,从下到上分为四层[1]:
1)序列切分层session division layer
2)会话兴趣抽取层session interest extractor layer
3)会话间兴趣交互层session interest interacting layer
4)会话兴趣激活层session interest activating layer
接下来,我们主要介绍这4层。
Session Division Layer
为了准确地抽取用户的兴趣,作者将用户表现序列切分成多个sessions,切分规则是是否前后时间间隔超过30分钟。
Session Interest Extractor Layer
因为同个session中的行为是高度相关的,并且用户在当前session下的随意的一些行为会使得session的兴趣表示变得不准确。为了建模在同一session中多个行为的关系和减轻那些不大相关行为的影响。DSIN对每个session都使用Transformer中的multi-head self-attention模块来抽取用户session的兴趣特征。具体过程是:对用户行为序列中的每个session添加一个Positional Encoding,该模块被称为Bias Encoding。
参考资料/转载内容来自:
1、推荐系统---深度兴趣网络DIN&DIEN(包括DIN&DIEN论文原文和代码)
https://juejin.im/post/5c45ab6df265da6167209ade
2、阿里Deep Session Interest Network解读
https://zhuanlan.zhihu.com/p/71695849
3、Deep Session Interest Network for Click-Through Rate Prediction 论文原文