论文笔记：EXPLAINABLE ARTIFICIAL INTELLIGENCE

EXPLAINABLE ARTIFICIAL INTELLIGENCE

[TOC]

摘要

现在的人工智能非常成功，但是通常都是黑匣子的方式运用的，由于nested non-linear structure（嵌套的非线性结构），中间的过程具体起到了什么样的作用无法解释清楚。提出了两种方法解释深度学习模型：一种方法计算预测对输入变化的敏感性，另一种方法根据输入变量有意义地分解决策。（one method which computes the sensitivity of the prediction with respect to changes in the input and one approach which meaningfully decomposes the decision in terms of the input variables）

1 Introduction

介绍了可解释AI的重要性，特别对于医疗和自动驾驶领域。第三节介绍了两个模型：敏感性分析（sensitivity analysis）和层相关传播（layer-wise relevance propagation）。

2

介绍了可解释性的重要性。

系统验证：
系统改进：改进系统的第一步是了解模型的弱点，但是对黑匣子模型进行分析要困难的多。越了解一个模型正在干什么以及为什么会失败有助于改进它们。
从系统中学习：从训练的模型中提取出人类发现不了的模式。
遵守法律：制定更适合于人类社会的模型。

3 Methods

3.1 SA

灵敏度分析（SA）量化了每个输入变量的重要性，但是这种方法有缺点。

$R_{i} = \Vert \frac{\vartheta}{\vartheta x_{i}} f(x) \Vert$

3.2 LRP

一个分解现代人工智能系统预测的通用框架，feedforwards neural networks and bag-of-words models , long-short term memory (LSTM) networks and Fisher Vector classifiers 。识别出有关预测的最重要的要素，显示了与泰勒分解（Taylor Decomposition）的密切联系。
Layer-wise relevance propagation：
$\sum_{i}R_{i}=\sum_{j}R_{j}=\cdots=f(x)$
it redistributes the prediction f(x) backwards using local redistribution rules until it assigns arelevance score Ri to each input variable (e.g., image pixel).这种特性可以称为相关性保持。这个性质表明，在分配的每一步，相关性的总量是保持不变的，在再分配的过程中，每个输入变量的相关性评分Ri决定了该变量的对结果的重要性。

$R_{j}=\sum_{k}\frac{x_{j}w_{jk}}{\sum_{j}x_{j}w_{jk}+\epsilon}R_{k}$

$x_{j}$ 为 $l$ 层的激活函数， $R_{k}$ 是 $l+1$ 层神经元的联系分， $w_{jk}$ 是神经元 $j$ 和 $k$ 的连接权重。 $\epsilon$ 是保证除数非0。
直观上这样的定义有两个标准：

越活跃的神经元会获得很多的得分
更强的连接 $w_{jk}$ 会获得更高的分

另一种“alpha-beta”规则， $()^{+}$ 和 $()^{-}$ 分别表示正和负的部分：
$R_{j}=\sum_{k}(\alpha \cdot \frac{(x_{j}w_{jk})^{+}}{\sum_{j}(x_{j}w_{jk})^{+}}-\beta \cdot \frac{(x_{j}w_{jk})^{-}}{\sum_{j}(x_{j}w_{jk})^{-}})R_{k}$
为了保证相关性的守恒，强制使得 $\alpha - \beta = 1$ ，当 $\alpha = 1$ 时，证明该式子符合深度Taylor Decomposition。

3.3 Software

LRP 的一个工具箱toolbox

4 Evaluating

评估模型：一种基于扰动分析的方法（Perturbation Analysis），使用均匀分布的随机样本进行扰动，避免误差。

输入变量的扰动对于预测具有重要意义，与输入维数的扰动相比，变量的扰动对预测分数下降的幅度更大。
解释模型对输入变量提供了一个Score，因此，可以根据这些分数对输入变量排序。
我们可以迭代扰动输入变量，从最重要的开始，并在每个扰动之后记录预测分数。预测得分的一个平均下降可以判断模型的一个客观指标。因为一个大的下降表明该模型正确识别出最重要的输入变量。

Reference

W. Samek, T. Wiegand, and K.-R. Müller, “Explainable Artificial Intelligence: Understanding, Visualizing and Interpreting Deep Learning Models,”arXiv:1708.08296 [cs, stat], Aug. 2017.