一、这篇文论解决什么问题
推荐领域的经典模型:MF
之前的研究中应用的深度学习:对辅助信息进行建模(例如商品描述等)
本文的不同:对CF本身进行建模
二、这篇论文的三个核心点
GMF :通用的MF框架
如何兼容经典MF模型:当激活函数为identity function,权重向量元素为1时,这就是一个经典的MF模型
本文:激活函数:sigmoid;权重:from log loss
MLP:增加非线性
一般怎么做:简单的向量拼接
本文:拼接向量 + hidden layers(3层)
network:tower pattern
激活函数:ReLU
Fusion of GMF and MLP:混合增强
简单做法:共用一个embedding层
不足:针对一些数据集,两种模型的最优embedding size相差较多,这样混合模型的效果就会受影响
本文:GMF和MLP使用不同的embedding
输出层:
如何训练:
1. 预训练(GMF、MLP):随机初始化,优化算法是Adam
2. 训练混合模型:利用预训练的模型初始化,优化算法是SGD
三、本文实验的几个点
1. 本文模型 vs 其他模型:本文模型效果好
2. 预训练 vs 未预训练:预训练效果好
3. 不同负采样率对比:采样率3-6效果好
4. 不同隐藏层的层数对比:层数多效果好
四、初次接触推荐系统的感受
需要接触一些概念:
CF、MF、leave-one-out、HR、NDCG(CG -> DCG -> NDCG)
模型上的思考,很多领域差不多,但对什么信息建模,这个是解决问题的关键
PS:本文的所有公式都来自于论文:Neural Collaborative Filtering,有理解不对的地方,欢迎指正