：仅用一个像素就能让神经网络蒙圈，产生对图片错误的判断。
One Pixel Attack
如果我们只改变一个像素点，能否让深度神经网络把图片错误分类？
相信我们，用一个像素点，足以实现对神经网络攻陷。
在很多情况下，我们甚至可以让神经网络给出我们想要的任何答案。
以下项目是 Keras 重现和教程：One pixel attack for fooling deep neural networks
它是如何工作的？
在这套攻击中，我们使用了 Cifar10 dataset。数据集的任务是将 32X32 像素的图片进行正确分类，分类池有十个选项（如鸟、鹿、卡车等）。这个黑盒（black-box）攻击仅需要由神经网络输出的概率标签（每个分类的概率值）即可。我们通过选择一个像素并且将其修改为某种颜色来生成伪分类。
通过使用被称为差分进化（Differential Evolution，DE）的进化算法，迭代出对抗图像以试图最小化神经网络分类的置信度。
首先，生成几个对抗样本，随机修改一个像素点，用神经网络运行图像。
接下来，将改变后的图像和先前的像素位置和颜色结合在一起，从产生更多的对抗样本，然后继续通过神经网络运行这些样本。如果上一步，有像素降低了神经网络的置信度，那就将它们替换为当前的 best know 解决方案。
重复上述的步骤并进行几次迭代；在最后一步返回对抗图像，最大程度的降低神经网络的置信度。如果成功了，置信度会大大降低，以至于新的（不正确的）类别现在具有最大概率的可信度。
可以参考以下攻击成功的示例：
示例攻击过程详解：Hyperparticle/one-pixel-attack-keras
Getting Started
如果你想要阅读项目和代码，可以看：View the tutorial notebook on GitHub.
要运行教程中的代码，推荐使用适合运行 keras 专用 GPU（TensorFlow - GPU）。
需要 python 3.5+。
1.克隆仓库（repository）
gitclonehttps://github.com/Hyperparticle/one-pixel-attack-kerascd./one-pixel-attack-keras
2.如果你还没有安装过 requirement.txt 中的 python 包，那就先安装它
pip install -r ./requirements.txt
3.用 Jupyter 运行 iPython tutoriol notebook
jupyter notebook ./one-pixel-attack.ipynb
训练和测试
运行train.py来训练模型，在运行模型后，会自动将检查点保存在 networks/models 目录下。
举个例子，用 200 个检查点和 128 字节的批处理来训练 ResNet：
pythontrain.py--modelresnet--epochs200--batch_size128
目前可用的模型：
lecun_net
pure_cnn
net_in_net
resnet
densenet
wide_resnet
capsnet
结果
运行几次试验后的初步结果：
对每个 100 个样本的 1、2、3 个像素无差别攻击
看起来攻击成功率和本文阐述的还有一些差距，但是这主要是由于差异演化实施的低效率，这也是下一步我们要尽快解决的问题。
图表中可以看出，CapsNet 对比其他神经网络，能更好的抵御一个像素的攻击，但是仍然也是很脆弱的。
里程碑
Cifar10 dataset（√）
Tutorial notebook（√）
Lecun Network, Network in Network, Residual Network, DenseNet models（√）
CapsNet (capsule network) model（√）
Configurable command-line interface（√）
Efficient differential evolution implementation
MNIST dataset
ImageNet dataset
译者@孙生光注：对抗图像随机改变一个像素点，用神经网络运行；然后这个点和对抗图样再结合结合继续用神经网络运行；如果有像素点让神经网络的置信度降低，就将这个替换为当前最佳解决方案；重复迭代上述步骤，将使神经网络产生误判。
英文原文：Hyperparticle/one-pixel-attack-keras
推荐阅读：深度学习的局限性
作者：极小光
链接：https://www.jianshu.com/p/c46ce558ee47
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。
