一、Grad-CAM / Guided Propagation 类方法 （local explainable）
1. 原始方法
对图像进行遮挡，查看该图像的输出，输出变化程度很大，说明该遮挡区域对最终结果的影响比较大。
以上是较原始的方法，可以将以上方法改进为输出对像素的求导，及guided propagation类的方法。
2. 缺点
在根据yk值对每个像素进行求导的过程中，如果该像素的变化(一阶导数)对yk值影响不大，但是该像素的数值很重要，会导致求出的导数很小，saliency map上不会突出该像素。
如下图所示。
二. 生成式方法（Global explainable）
目标是获得对于某一类别最符合的图像，即期望找到一张图像，使y最大。但由于不加限制，可能会导致图像的全局表示并不符合对应的类别。所以应对其进行限制。
方法实现可以通过GAN或者VAE的模型，利用genetor生成图像，discriminator判别图像。
三、利用一个可解释模型区模拟不可解释的模型
1. 采用Linear Model模拟神经网络
LIME，将一张图片分为n份，随机采样m次，采样到取值1，未采样到取值0，将m张采样后的图像输入神经网络得到预测值。之后对m个采样记录（m*n的规模，one-hot的形式），利用线性拟合神经网络的预测值，最后可以得到n份图片区域的权重，权重越大，代表对该类别的影响越大。
2.如采用决策树模拟神经网络，使决策树的输出尽可能与神经网络的模型近似。
问题：此时需要决策树的复杂度尽可能的低
解决方式：在训练阶段对神经网络添加惩罚项，该惩罚项表示了神经网络对应的决策树的复杂度。该惩罚项在某论文中用神经网络进行预测。
