论文信息

论文标题：Towards Explanation for Unsupervised Graph-Level Representation Learning

论文作者：Qinghua Zheng, Jihong Wang, Minnan Luo, Yaoliang Yu, Jundong Li, Lina Yao, Xiaojun Chang

论文来源：2022, arXiv

论文地址：download 

论文代码：download

详细内容参考本人博客  论文解读（USIB）《Towards Explanation for Unsupervised Graph-Level Representation Learning》

1 Introduction

　　使用信息瓶颈的图级表示可解释性。

2 Notations and preliminaries

2.1 Information Bottleneck

给定输入数据 $X$ 及其标签 $Y$，Information Bottleneck 的目的是发现一个压缩的潜在表示 $Z$，它以 $Y$ 提供最大的信息。在形式上，我们可以通过优化以下优化问题来学习潜在的表示 $Z$：

　　　　$\underset{Z}{max } \;\mathcal{L}_{I B}=I(Z ; Y)-\beta I(X ; Z)\quad\quad\quad(1)$

　　其中，$\beta$ 表示对信息量和压缩量的超参数权衡。

　　互信息(MI)I（X；Z）度量两个随机变量的相关性，表述为

　　　　$I(X ; Z)= \int_{x} \int_{z} p(x, z) \log \frac{p(x, z)}{p(x) p(z)} d x d z $

2.2 GNN explanation

　　GNN的解释旨在理解对GNN的计算过程至关重要的图的内在信息，从而提供人类可理解的解释。具体来说，给定一个图 $G$ 和一个学习条件分布 $P_{\psi}(\hat{Z} \mid G), \mathrm{GNN}$ 的GNN模型 $\psi$)，GNN解释的目的是学习与GNN的计算结果最相关的解释子图 $S$，即：

　　　　$\underset{S \in \mathcal{S}}{\text{arg max }}  \operatorname{Score}(S, \hat{Z})\quad\quad\quad(2)$

　　其中，$\mathcal{S}$ 表示由图 $G$ 的所有可能的子图组成的集合；$\operatorname{Score}(S, \hat{Z})$ 测量了子图 $\mathcal{S}$ 和 GNN 的计算结果 $\hat{Z}$ 之间的相关性。

　　例如，GNNExcraner[9]关注于对监督 GNN 的解释，并将相关评分 $\operatorname{Score}(S, \hat{Z})$ 形式化为互信息，即

　　　　$S=\arg \max _{S \in \mathcal{S}} I(S ; \hat{Y})$

　　其中，随机变量 $\hat{Y}=\hat{Z}$ 表示分类概率。