推荐系统与深度学习(9): [IJCAI'19] IFM: 输入感知的FM模型

以下仅仅为个人对文章的阅读记录,如有错误,欢迎指正。如需转载注明来源即可~~

Yu Y, Wang Z, Yuan B. An Input-aware Factorization Machine for Sparse Prediction[C]//IJCAI. 2019: 1466-1472.
原文链接:http://www.global-optimization.com/boyuan/Mypaper/IJCAI-2019.pdf
原文Github源码:https://github.com/gulyfish/Input-aware-Factorization-Machine

一、简介

修改FM的模型,以往的FM模型例如FFM、FwFM、FMFM、FEFM等模型主要还是修改模型的二阶交互,前两篇文章刚好做了一个比较详细的介绍:

  • 推荐系统与深度学习(8): [Adobe] FEFM和DeepFEFM模型
  • 推荐系统与深度学习(7): [Yahoo] FMFM模型: FM|FwFM|FvFM的统一框架
    而且相对FM模型也是一个简单高效易学的模型。
    本文提出以下不足:
  • 1)目前很多模型主要关注改进特征交互来提高模型的准确率;
  • 2)每个特征只有一个表示;
  • 3)AFM模型虽然也通过学习特征的重要性,但是还是因为每个特征只有一个固定的表示限制了。因此,本文提出根据不同的输入实例对特征的表示进行精练。
    为了便于理解,给出了解释,有两个输入实例:{young,female,student,pink,skirt};{young,female,student,blue,notebook}。前一个实例中,“female”属性很重要,因为“pink skirt”共同出现了。而在第二个实例中,“female”属性相对而言不是那么重要,因为“student” 和 “notebook”的关系更强。因此在不同的输入中,应该对此加以区分,学到不同实例中不同特征的不同表达。

二、IFM 模型

模型一共分为四层:Embedding Layer,Factor Estimating Net(FEN),Reweighting Layer 和 FM Prediction Layer。

结合给出的公式,主要是通过FEN层学习一组权重,然后每个原始的embedding乘以权重得到精练后的特征表达,在LR部分也乘以权重。
IFM公式
接下来主要关注FEN,。在FEN中利用端到端的记忆网络,根据输入学习不同特征的权重。通过以下的结构图可以进行理解。主要是n层的全连接,而全连接的最后一层要等于输入中Field的数量,然后通过Softmax获得权重。
相关公式:

公式(5)的第一个在文中虽然说得比较复杂,本质上还是一层全连接。然后通过公式(6) 得到新的表示。

三、结果分析

使用的数据集是Frappe和Movielens、Avazu。前两者的指标RMSE和MAE
(一)、超参数分析

1、网络深度

2、Dropout ratio
3、激活函数

(二)、FEN网络的影响
1、训练速度
(我对这里的图是有疑问的,这里的RMSE应该是MAE。1)RMSE不可能这么低,在他之后表格的结果中和AFM论文中给出的FM训练过程;2)通过运行源码,这里应该是MAE才符合。虽然不影响结果。)



2、案例分析

3、模型不同部分的分析

(三)、整体效果分析
1、Frappe和Movielens
源码中给出了数据集划分,可以复现。

2、Avazu

论文中没有给出具体数据处理方式,不好复现。从其他CTR论文中的结果看FM的效果比其他低了2%,其实有点低。
image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容