文章名称
【CIKM-2021】【Rutgers University】Counterfactual Explainable Recommendation
核心要点
文章旨在对推荐模型的结果进行解释。作者构建了一个因果推断的框架,对每一个用户-物品元组求解一个优化问题,识别出在原物品的特性方面最小的改变,以至于生成的反事实物品可以反转推荐模型的结果。这些最小的特性改变被成为counterfactual explanation。此外,作者定义了两个衡量指标来量化explanation的质量。
方法细节
问题引入
可解释推荐模型,不仅可以帮助用户更好的理解推荐理由,增加对推荐系统的信任,也可以帮助开发人员debugging。原有的方法,利用物品的属性(例如,颜色等)作为推荐理由,虽然能给出可靠的解释,但是存在如下3个问题,
- 与模型和物品特征强耦合,不能用来解释其他模型
- 推荐理由单一,只能从一个角度进行解释,但一般推荐结果是受多个理由共同影响的
- 对推荐理由的量化方式并无法反映,该理由对推荐决策的真实影响(作者解释是没有考虑如果改变了某些特征值推荐结果会怎么变化。其实,就是考虑某个特征的改变对推荐结果的因果效应是多少,即做了多少贡献。当然shap也许可以计算这个,不过是从相关的角度,没有考虑偏差,也不是最小改动)。
反事实解释的案例如下图所示,上半部分是原有方法对推荐结果给出的解释,用户对各个物品特性的偏好权重如图所示(例如,屏幕4.0),则对手机A的评分总和为42(屏幕4x4.5+电池3x3+价格3x3),由于用户重视screen的权重高一些,则屏幕被认为是推荐模型决策的理由,然而,手机A的屏幕得分在所有物品里(包括未展示的物品)的得分并不高(甚至是最差的)。显然屏幕并不是左右模型推荐结果的关键因素(如果不对比所有物品的各项得分,很难发现这个解释原因的问题以及合理的解释)。
而反事实解释的角度是,最小的改变手机A(事实样本)的特征(例如,电池),直到模型的决策反转。发现电池是对模型决策影响最大的因素,作为模型决策的解释是合理的。
这个案例表明,原有的方法主要是利用匹配的方式来进行样本解释,而反事实解释则通过寻找改变预测结果的最小特征改动,来说明决策的原因。
具体做法
首先,我们看一下问题的形式化定义,
- 用户集合记作
,物品集合记作
;
- 交互矩阵记作
;
- 推荐模型为用户
返回的
推荐结果为
,如果
,则表示模型把
纳入了
的结果中;
- 物品的
个方向特征记作
,
矩阵表示用户有多看重
个方向的特征,
矩阵表示物品在
个特征方向表现出多强的竞争力;
作者借鉴[1,2]中的方法,从用户的评论数据中,提取X和Y。简言之,作者将评论中提到的某个方面特性的次数,分别在用户和物品维度聚合,得到这个特征被提到的频次,再经过变换和归一化,得到X和Y中的元素,(当然也可以采用其他方法得到)由于不是重点,具体提取方法可以参见原论文和引文。
Counterfactual Explainable Recommendation
定义在物品的特性上做的微小改变为
,如果这种微小的改变,被应用到物品上(
),使得原来被推荐给用户的物品
,从
结果列表
中被移除,则可以认为这种改变是推荐模型的一种有意义的解释(因为,这种改变影响了模型的决策,必然是决策过程中的重要因素)。这种微小的改变中,最小的被称为反事实解释。
值得注意的是,作者表示微小的改动应该是0或者负值,因为只有在某些特性上表现不好,才会被从推荐列表中移除。
Explanation Complexity and Strength
Explanation Complexity (EC)表示给出的解释的复杂程度,包括1)有多少方面的特性被引入来解释模型决策,可以表示为中非零元素的个数
;2)多大的改动需要被应用在物品特性上,可以用
表示。
Explanation Strength (ES)表示应用微小的改变后,多大程度上改变了模型的决策,可以用排序得分的变化表示,即,其中
分别表示应用微小改动前后的排序得分。
值得注意的是,可以采用其他的计算方式来量化EC和ES,但是作者表示整体框架是不变的。并且,ES和EC是两个正交的维度,简单的解释不一定低效,复杂的解释也可能不高效。因此,反事实解释寻找的是最简单,最有效的改动作为解释。
Evaluation Methods
作者提出两种评估解释结果的量化指标,
- 面向用户的评价指标,利用用户的评论信息,定义解释中的特性与评论中提到的物品特性的重合度,并基于此计算准确率、召回率,F1得分等等。
- 面向模型的评价指标,定义了Probability of Necessity(PN)和Probability of Sufficiency (PS),以及他们的平均值,来衡量解释的必要性与充分性。
本节介绍了在实际应用中matching-based可解释性方法的弊端,以及其与counterfactual-based方法区别。并介绍了如何反事实解释的概念以及其两个重要的量化指标。下一节将继续介绍作者提出的反事实推理框架,以及如何产出反事实解释。
心得体会
最小特征改动
反事实解释不定义为最小特征改动行不行?
作者从奥卡姆提到的原则给出解释说,解释应该具有简单和有效(低复杂度和高解释能力)的特性。因此,最小改动能够保证具有最小的复杂度,且清晰、有效的解释模型的决策原因。
个人认为,必须取最小还因为,可能存在多种组合导致模型决策反转。例如,文章最开始讲解反事实解释的案例描述的,推荐结果是靠综合各个特征的评分得来的,因此必然存在屏幕减一点,电池减的少一点,同样可以反转模型决策的情况。此时,可能无法清晰地指出那个因素是最主要的。即不好确定唯一性,解释可能模棱两可。
文章引用
[1] Yongfeng Zhang, Guokun Lai, Min Zhang, Yi Zhang, Yiqun Liu, and Shaoping Ma. 2014. Explicit factor models for explainable recommendation based on phrase-level sentiment analysis. In Proceedings of the 37th international ACM SIGIR conference on Research & development in information retrieval. 83–92.
[2] Yongfeng Zhang, Haochen Zhang, Min Zhang, Yiqun Liu, and Shaoping Ma. 2014. Do Users Rate or Review? Boost Phrase-Level Sentiment Labeling with Review-Level Sentiment Classification. In SIGIR. 1027–1030.