1、对比学习、度量学习、bert
自监督的度量学习
simclr moco swav
2、基于对比学习的推荐模型
微博：
粗粒度:娱乐
细粒度:刘德华
中间粒度：刘德华北京开演唱会（话题）
实践：
（1）提取中间粒度数据，如话题
（2）
推荐系统：
双塔实际上是对比学习的变体。
self-supervised learning for large-scale item recommendations
contrastive self-supervised sequential recommendation with robust augmentation
multi-sample based contrastive loss for top-k recommendation
方向：
一、超长用户兴趣建模-sim模型，ubr4ctr，eta模型
张俊林最看好的方向，魔改，如何从超长兴趣中找出和target最像的k个来
nlp走在最前面，已经证明了自监督能走通，bert。
何凯明 mae 最近很热
二、链路一致性 知识蒸馏
end to end user behavior retreval in click-through rate prediction model
知识蒸馏在推荐系统的应用
阿里妈妈ldm
三、特征embedding自适应 nis模型
谷歌nis：
1、强化学习进行资源分配
2、决策点：哪些特征值的分配空间，以及最优的embeddingsize是多大
neural input search for large scale recommendation models
3、amtl
最近效果的进展来自于两个方面：
a、模型容量、参数越来越大
b、预训练给了更多的数据
现在nlp最前沿，图像次之，推荐最垃圾
推荐的特性走预训练不好走通。
