Interpretability of Deep Learning Models: A Survey of Results
介绍
整理了几个不同层面的可理解性
模型透明度
可模拟性： 一个人能否用输入和模型来复现每一步操作，做出正确结论。以及人能否理解模型参数的变化逻辑。
可分解性：模型的每一个参数是否都能够有一个只管的解释。
算法透明度： 解释学习算法的工作原因。（SVM中超平面的选择可以用边缘点和决策边界来解释。（DNN中每层特征中的非线性难以解释用于输出的特征
模型功能性
文本描述：模型语义上能够理解的解释。（模型划分为用于预测的和用于生成文本解释的两部分）
可视化：可视化高维分布表达的一种流行方法时tSNE
局部解释：计算给定输出类的特定输入带来的局部变化。（NN中，输梯度可以用来识别特定的权重和受输入向量影响的局部变化。
现有技术
模型透明性
透明度主要关注可分解性以及算法透明度。
Erhan：可视化(无监督deep belief networks)内部单元
-
Zeiler & Fergus：用逆卷积把特征映射回输入空间，把上面的内容拓展到CNN。
- 模型透明度不仅有助于理解，还能够帮助提高模型表现
Karpathy：针对LSTM RNN，一些细胞学习长持续的容易理解特征，另一些则难理解（变化快）
关于CNN：
Mahendran&Vedaldi：观察CNN不同层级的图片表示，模型较深层学习图像更抽象的表示，并认为这体现了模型的抽象表现
Yosinski：将其完善成工具
Nguyen：显示CNN学习图片的哪些信息（结构，细节，结构等等
Simonyan：生成CNN每一类最喜欢图片——输入中的最重要特征
Nguyen：利用Deep Generator Network，生成针对特定神经层的最优图片。
-
Li：收敛学习（不同网络是否学习相似特征）
先训练好多个网络
然后比较每个特征在上一层or上一组层的状况
结论：DN表现相同的时候，可能学习到的是训练数据的不同特征
-
Koh & Liang：从训练数据集的视角观察模型
对训练集添加某个固定位置的扰动，以观察扰动对结果的影响
一定程度上说明了“对抗样本”的意义
-
Shwartz-Ziv & Tishby：利用信息论分析DN
利用信息瓶颈工作考察每层的输入输出
早期（drift）阶段，权重的方差<<梯度的均值，说明高信噪比
-
之后（diffusion）阶段，权重方差>>梯度均值，说明低信噪比
随机梯度下降通过diffusion阶段产生有效的内部表示
简单随机扩散算法能够再训练的扩散过程使用，以降低训练时间。
多种权重，都能训练出最优表现的网络。
模型功能性
四种事后解释：文本（文字or口述）、视觉、局部（输入周围局部特征空间上下文中证明决策合理性）、例子
-
tSNE
可视化方法，（降维，跨尺度固有结构信息）
——理解数据，帮助理解怎么学习
但没有解释算法
-
Terrapattern
基于卫星图像可视化探索相似城市区域
用一个CNN通过打标签卫星图像来训练
然后移除顶层分类层，用剩余卷积层为卫星图像生成特征，再用k临近算法为特征寻找最接近特定特征
——本意不是解释CNN但实际上起到了后验理解效果
-
Hendricks
他们的工作旨在提供一个图像分类器+图像准确描述
但并没有给出描述与图片特征的对应关系
-
Xu等人字幕生成方法
不分类，只描述每个单词的注意力集中在图像哪里
-
Ribeiro LIME
为任何机器学习模型提供决策解释。
输出：二进制向量
每位表示一个输入特征
方法：生成一些输入附近的扰动样本，来学习模型的局部近似
-
Elenberg
高效流算法产生相似的输出，10倍提高LIME效率
-
Ross：RRR（right for the right reasons
利用二进制确定一个输入特征是否导致示例的正确分类
利用不同的掩码建立不同的决策边界
对于高可解释性模型建立：
-
LRP：
与泰勒展开相关
输出一个关于输入特征的热图，显示与模型输出的相关性大小
最适用于图片分类
Samek：类似LRP
-
Kumar：
- 显示模型最关注的图片区域
-
Lei：
局部解释方法，针对文本
一个生成器+一个解码器
学习预测文本中最体现情感的成分，满足小但完整（eg短语），预测情感与整段文本相同。
联盟视角（为什么可解释性重要
作者提出了一种视角：
假设联盟中的每一个个体拥有一部分数据，一个成功的联盟决策，也就需要建立再最大化利用所有数据的信息的情况下来建模。
因此任何决策都需要建立在所有联盟成员接受的前提下，而能够被接受的模型的重要特性就是：无偏（公平），可度量，透明。这些也就是构成一个可解释模型的基本特性。
挑战与解决
针对上面提出的模型需求，进行讨论
公平和可度量
主要对于模型可能从数据中学到的对于特定种群，性别，等敏感问题。
有必要通过避免数据的偏差性，以避免模型产生对群体不利的判断。
- Yang 提出了一个公平性度量
可度量是一种事后验证模型的视角，以帮助人&算法衡量模型。
不过当前对于代码（算法）的透明性其实并不太重要，因为基本显然这属于一种商业机密，不太可能完全透明。在这种条件下，度量就相对应的变得更有意义。
- Adler 提出了一个黑盒模型，以判断模型对数据集哪部分特定特征感兴趣。
面向政策公平性的机器学习检验算法是一个未来发展的方向。
另一方面，模型应该能够有明确的目标，以帮助使用者明确的检测其是否达到。
可理解性（Interpretability）V.S. 可解释性（Explainability）
（面向模型本身）模型的可解释性（explain），作者认为这指的是模型基于数据所作出决策的推理完整性。同类型模型可以用同一个度量框架，不同类型不可互通。
（面向使用者）模型的可理解性（interpret），则指模型解释被用户所理解的这个过程。因此，可理解性必须基于多项因素，模型任务，用户经验，特定解释项等。针对可理解性的度量在大框架上也就是可比较的。
可理解性贝叶斯方法
贝叶斯模型在可解释性和透明度方面都相对较好，因此考虑将两者结合。
-
BDL：
- 将DL与贝叶斯模型结合
