SERank: Optimize Sequencewise Learning to Rank Using Squeeze-and-Excitation Network

1. Movivation

在learning to rank中，作者使用Squeeze and Excitation Network来捕捉query与待排序的item list之间的关系。

2. SERank

SENet[2]是来自于CV中的模型，用于捕捉CNN不同channel之间的关联关系。分成两个步骤：

serank_senet.jpg

(1) Squeeze
将多个channel压缩，汇聚来自不同channel的信息。

(2) Excitation
将图片按照还原到相同数量的channel，相当于对原始输入数据做了一次channel层面的reweight。

serank_seblock.jpg

作者将SENet的思想用于排序模型，将不同item当成类似不同channel来压缩、还原，从而捕捉不同item之间的关联关系。

3. Experiment

serank_online_result.jpg

优点：
（1）借鉴CV中的SENet，直接捕捉待排序的item list的关联关系，想法直接，从线上实验来看也有正向收益。

思考：
（1）只有一层SEBlock能不能有效地计算特征重要度？
（2）能不能在计算重要度的时候做特征筛选，甚至选出有负向作用的特征？

4. References

[1] Wang, RuiXing, et al. "SERank: Optimize Sequencewise Learning to Rank Using Squeeze-and-Excitation Network." arXiv preprint arXiv:2006.04084 (2020).

[2] JieHu,LiShen,andGangSun.2018.Squeeze-and-excitationnetworks.InProceed- ings of the IEEE conference on computer vision and pattern recognition. 7132–7141.