“Why Should I Trust You?”
Explaining the Predictions of Any Classifier
LIME: 可解释任意机器学习模型预测结果的通用方法
https://arxiv.org/pdf/1602.04938.pdf
通过可视化来判断模型是不是符合人理解的
LIME
Local: 只能拟合出待测样本的局部模型的行为
Interpretable：它的结果是人类可以理解的
Model-agnostic：通用的，与模型无关的
Explanation：可解释的
LIME可解释性分析——表格数据
对特征进行随机扰动，再把扰动样本输入到模型中，得到预测结果，扰动的样本作为特征，训练一个可解释性模型，就可以分析出每一个特征在这个模型中的重要度
LIME可解释性分析——图像数据
把原图做聚类，分成n个超像素的图块，每个图块都可以存在或者不存在，不存在抹成灰色，会生成2的M次方领域的样本
LIME可解释性分析——文本数据
实验
- 不同模型中挑出更好的模型
准确率高的模型不一定真的靠谱 - 根据解释做特征工程，进一步改进模型
- 根据解释发现模型异常，特征不一定是科学的
LIME的优点
- 兼容任意一种机器学习算法
- 特征重要性：解释、理解、信赖、改进（特征工程）
- what- if场景：如果每个月多挣500元，额度是多少
- 可解释单个样本预测结果、选取代表性样本
- 可人工设计、构造可解释特征
LIME的缺点
- 人工设计、构造的可解释性特征，不一定是科学的
- “局部线性”可能无法拟合原模型
- 不同样本，如何计算领域样本权重(覆盖是多大？)LIME的改进：自适应距离
- 每个待测样本都需要训练对应可解释模型、耗时长
问题：
如何构建可解释性特征？
