SERank: Optimize Sequencewise Learning to Rank Using Squeeze-and-Excitation Network
1. Movivation
在learning to rank中,作者使用Squeeze and Excitation Network来捕捉query与待排序的item list之间的关系。
2. SERank
SENet[2]是来自于CV中的模型,用于捕捉CNN不同channel之间的关联关系。分成两个步骤:
(1) Squeeze
将多个channel压缩,汇聚来自不同channel的信息。
(2) Excitation
将图片按照还原到相同数量的channel,相当于对原始输入数据做了一次channel层面的reweight。
作者将SENet的思想用于排序模型,将不同item当成类似不同channel来压缩、还原,从而捕捉不同item之间的关联关系。
3. Experiment
优点:
(1)借鉴CV中的SENet,直接捕捉待排序的item list的关联关系,想法直接,从线上实验来看也有正向收益。
思考:
(1)只有一层SEBlock能不能有效地计算特征重要度?
(2)能不能在计算重要度的时候做特征筛选,甚至选出有负向作用的特征?
4. References
[1] Wang, RuiXing, et al. "SERank: Optimize Sequencewise Learning to Rank Using Squeeze-and-Excitation Network." arXiv preprint arXiv:2006.04084 (2020).
[2] JieHu,LiShen,andGangSun.2018.Squeeze-and-excitationnetworks.InProceed- ings of the IEEE conference on computer vision and pattern recognition. 7132–7141.