问题:
深度模型相比LR模型,离线auc高于基线,线上ctr也高于,但是线上深度模型AUC低于基线。
一般,线上样本存在bias,新模型去测试基线流量和实验流量,实验流量auc会高。
分析:
1 可能是auc失真,不同用户排序结果不可比
使用gauc衡量
2 用户auc分布
实验曝光未点击较多
分析2 去掉只曝光行为用户
结论:auc在高分段实验更有优势
3 浏览长度和双用户样本分布差异
结论
1 深度模型分布更均匀,召回差异小,auc不可比,gauc只能参考。
2 模型分布发生变化,深度模型召回后排序难度更高。线上AB实验样本不一致,auc无可比性。
3 新模型展示商品质量上升,用户点击数有限,导致分数高的样本加入负样本,auc降低。