今天这篇论文是阿里妈妈盖坤团队发表在SIGIR 18上赫赫有名的“双塔”模型，主要解决转化率预估中样本有偏和数据稀疏的问题。论文的全名是：Entire Space Multi-Task Model : An Effective Approach for Estimating Post-Click Conversion Rate
背景
推荐系统中用户的行为路径一般是：曝光-点击-转化，比如在电商推荐场景下，转化就是购买。排序算法需要对曝光点击率（CTR）和点击转化率（CVR）进行预估，作为排序的依据。
pCTR=p(点击|曝光)
pCVR=p(转化|曝光, 点击)
CVR预估现有问题
但一般的CVR预估算法存在如下两个问题：
1、训练样本选择有偏（Sample Selection Bias, SSB）
选择点击的样本作为训练集，点击后转化的为正样本，点击后未转化的为负样本，但在预测时，样本空间变成了全部的曝光样本。
image.png
2、数据稀疏（Data Sparsity, DS）
点击样本相比曝光很少，在作者举例的样本集中，CVR训练可用样本数只有CTR训练可用样本数的4%，这会导致模型很难达到拟合的状态。
CVR预估范式
基于深度学习的CVR预估范式一般采用 Embedding+MLP 的结构：
- 特征（包括user和item）输入 embedding layer
- 经过pooling后，拼接成一个向量
- 输入MLP
image.png
目前的解决方法
- hierarchical estimator: 在不同特征上构建分层的估计器，再通过LR组合，依赖先验知识，并且大规模的推荐系统很难使用
- 正样本升采样
- 用未点击样本作为负样本
- unbiased method：通过 rejection sampling 拟合真正的分布（解决SSB问题）
方法
一个公式
先定义一个曝转率，CTCVR，计算公式如下：
pCTCVR=pCTR * pCVR
稍微拆解一下
p(点击, 转化|曝光)=p(点击|曝光) * p(转化|曝光, 点击)
网络结构
ESMM的主要想法就是把CVR预估问题，转成CTR预估和CTCVR预估问题。
image.png
image.png
- 将CVR预估问题转成CTR和CTCVR预估问题，就可以使用整个曝光空间的样本了，解决了SSB和DS问题
- 损失函数的两项分别是CTR和CTCVR预估的损失项
- feature embedding layer 可以共享，达到迁移学习的目的
实验结果
实验对比了如下几种模型：
- BASE：使用单塔模型
- AMAN（All Missing As Negative）：采样未点击的样本作为负样本
- OVERSAMPLING：正样本升采样
- UNBIAS：无偏估计方法
image.png
