很早的文章 2015 http://yosinski.com/deepvis
提出两种工具：（1）可视化激活值（2）第二种方法通过一种正则化的方法，在像素层面优化
这篇文章的贡献 第一：开源了一款软件，集成了当前所有的可视化的方法，包括，1.展示激活值2.通过梯度上升找到偏好的刺激3.对每个unit，训练集中响应最大的top 图片4.把这些top 图片根据反卷积生成的视图;第二：为了产生我们更容易理解的图片，给先前那些可视化偏好激活模式的方法一些正则项，以产生更为人所理解的图片
一个发现是 （1）一个神经元可能感兴趣区域是非常局部的（深层次神经元理论上应该有很大区域的感受野，但是还是感兴趣一个局部区域？？，卷积层4，5） （2）感兴趣往往是比较确定的，比如就是脸
第二个贡献是
明面上公式
实际用的是
实验了几种正则方式：L2衰减，高斯模糊，小范数的被裁减，小贡献的被裁减
