AOPC
[TOC]
Reference：
Samek W , Binder A , Montavon, Grégoire, et al. Evaluating the visualization of what a Deep Neural Network has learned[J]. IEEE Transactions on Neural Networks & Learning Systems, 2015, 28(11):2660-2673.
1 论文解读
1.1 问题及思路
现在已经有不少可供使用的解释模型，但是评价解释模型的效果的研究还是比较少的。一个好的解释（热力图）应该具有什么样的特征：
- 解释应该可以标注出最重要的信息。
- 解释应该是高度可辨别的。
- 一个可以让人足够信服的解释应该更加直观，符合人的直觉。
- 解释应该足够简单，不能够太复杂，只应该突出图像中最重要的一小部分，而不是更多。
因此，在文章中提供了一些思路，比如通过扰动进行定量评价模型是否标注出了最重要的信息，同时提出了衡量解释（热力图）信息是否简单的方法。
1.2 核心算法：Heatmap Evaluation Framework
1、首先，文章中定义了一个有序集，
其中 是位置信息，比如图像上的坐标，排序可以手动引入，也可以根据heatmapping function:
，
表示输入信息，
表示分类器（可以理解为一个模型，该模型的输出信息应该是
的类别信息，如识别为一个类的概率是多少），
表示在
位置的表示类别的重要程度（即热力图中像素的权重）。
2、该有序集应该遵从下面的属性：
简单而言，就是说在有序集中，排在前面的 应该更大，即热力图中像素位置在
的权重更大。
3、接下来就可以定义一个迭代的扰动过程，这个过程称之为most relevant first, 简写为MoRF：
初始时为原始输入信息， 函数表示在信息
的
位置上进行扰动，文章中扰动的办法是在
位置的周围进行随机采样值替换掉该区域的所有信息。经过
轮，每一轮扰动一个位置的信息。因为扰动的位置是根据前面有序集的顺序，权重越大的信息越先扰动，因此叫做最相关优先。
4、最后，就可以根据扰动信息确定热力图的AOPC（area over the MoRF perturbation curve）值：
每一轮扰动后，跟初始图像相比，最后进行平均。根据上述公式，可以看出，如果越有效的位置信息排在前面，那么AOPC值就越大。（根据文章中的定义，是数据集中所有的图像）
1.3 论文实验结果
在文章中一共提出了三种不同的评价指标，一个是本文提出的AOPC指标，一个是压缩后的热力图大小，最后是热力图的图像熵。
1.3.1 AOPC
在该论文中一共使用了三个数据集：SUN397，ILSVRC2012，MIT Places；三种模型：SA，LRP，反卷积进行对比。
实验中使用了一种随机过程作为基准值，即扰动的顺序随机选取。从图像中可以看出，LRP解释的热图更好一些，SA甚至在有些测试的时候会比随机过程更差。
1.3.2 热力图大小：压缩后size
作为一个合理的有效的热力图，应该是简单的，突出显示出最重要的少部分区域，因此实验也对比了三种方法产生的热力图的大小，主要是经过压缩之后产生的图像大小，一个简单的图像应该更容易压缩：
1.3.3 图像熵
基于1.3.2同样的理由，热力图应该包含更少的一些信息，下图也展示了LRP拥有更小的图像熵。
1.2.4 【*】热图质量和神经网络性能
在这一部分，文章中做了一个不同迭代过程中AOPC和神经网络性能的图，可以看出热图质量可能与神经网络性能有着密切关联，因此热图中可能包含着有关判断神经网络性能的信息。可以深入思考一下。
2 模型评价与思考
该模型提供一个通过扰动输入信息然后放进原始模型中进行判断的方法评估热图的质量，但是这种评价方式与模型高度相关，因为可能只是在这个单独的实验中模型和解释都提供了比较好的结果。
但是对于一些解释的不够清楚的模型，要怎么知道是模型出了问题还是解释除了问题，可能需要一个基准的评价方法，不依赖于热图与模型的高度相关。
但是文章中提到的很多概念很不错，比如通过压缩热力图和评估图像熵来评价热力图是否够简单。最后提到了热力图信息和模型性能有着密切的联系，或者可以在另一方便评估模型性能或者展示热力图。
