一、可解释性的难度
深度学习模型 > 传统的机器学习模型
部分传统机器学习模型天然的可解释性强：KNN、LR、线性回归、决策树、朴素贝叶斯
本质：看模型关注什么或者什么特征对模型影响大
二、传统机器学习模型的可解释性分析方法
1. 自带可视化：如决策树
2. 算法自带的特征权重：看哪些特征更重要
3. Permutation Importance（置换重要度）：也是看哪些特征更重要
4. PDP图（多个数据的PDP图就是ICE图）：特征值的大小对预测结果的影响
5. Shapley值：特征的贡献
6. LIME
三、CNN的可解释性分析方法
1. 可视化卷积核、特征图
浅层：底层像素特征；中层：中层纹理特征；高层：高层语义特征
2. 遮挡、缩放、平移、旋转：例如遮挡某个图片的某个部分，看对预测结果的影响，从而分析哪些特征对模型影响更大
3. 找到能使某个神经元激活的原图像素或者小图：例如反卷积
4. 基于类激活热力图（CAM）的可视化：找模型的关注点
5. 语义编码降维可视化：降维到二维、三维这样人类可以理解的维度
6. 生成满足某些要求的图像：生成让某个类别预测概率最大的图像
ps：这是学习可解释机器学习公开课的一些笔记
