2019-01-25 探索攻击逻辑回归图像多分类

盘一下多分类逻辑回归的攻击方案。

#修改label分布，对于non-target

$D(t|y(w,x)) = \prod_{n=1}^{N} \prod_{k=1}^{K} y_{n,k}^{1-t_{n,k}}$

#还是梯度下降那一套

$\nabla_{x} \hat{D} = \nabla_{x} log D = \nabla_{x} \sum_{n=1}^{N} \sum_{k=1}^{K} (1-t_{k}) \log y_{k}$

$\hat{D} = \sum_{n=1}^{N} \sum_{k=1}^{K} (1-t_{n,k}) \log y_{n,k}$

$\partial_{x} \hat{D} = \sum_{n=1}^{N} \sum_{k=1}^{K} \frac {\partial \hat{D}}{\partial y_{k}} \frac {\partial y_{k}}{\partial x}$

#求偏导数

$\frac {\partial \hat{D}}{\partial y_{k}} = \frac {1-t_{k}} {y_{k}}$

$\frac {\partial y_{k}}{\partial x} = \frac{\Sigma \cdot \partial_{x} \exp(a_{k}) - \exp(a_{k}) \partial_{x} \Sigma}{\Sigma^{2}} = \frac {\sum_{c=1}^{K} \exp(a_{c}) \cdot \vec{w}_{k} \exp(a_{k}) - \exp(a_{k}) \sum_{c=1}^{K} \vec{w}_{c} \exp(a_{c})} {\sum_{c=1}^{K}\exp(a_{c}) \cdot \sum_{c=1}^{K}\exp(a_{c})}$

$\frac {\partial y_{k}}{\partial x} = y_{k} \vec{w}_{k} - y_{k} \cdot \sum_{c=1}^{K} y_{c} \vec{w}_{c}$

结果为

$\nabla_{x} \log D = \sum_{k=1}^{K} (1-t_{k}) \cdot (\vec{w}_{k} - \sum_{c=1}^{K} y_{c} \vec{w}_{c})$

上式展开

$x_{p, m} = x_{m} + \delta x_{m} = x_{m} + \eta \cdot \nabla_{x_{m,c}} D_{m,c}$

$x_{p, m} = x_{m} + \eta \sum_{k=1}^{K} (1-t_{m,k}) \cdot (\vec{w}_{k} - \sum_{c=1}^{K} y_{m,c} \vec{w}_{c})$

#攻击经验总结

在不定向攻击里，得到fooltaget存在着随着攻击参数变化的分布。可以用混淆矩阵描述这种攻击分布地图，在大部分的攻击里，尽量给图片造成微小的扰动，同时保证安全的区域。

攻击完后的fooledtaget样本，自然可以进行更强防御性模型的训练，有可能需要整整一层来进行防止。

#攻击的通用化，思考向GAN演化可能性

2019-01-25 探索攻击逻辑回归图像多分类

盘一下多分类逻辑回归的攻击方案。

推荐阅读更多精彩内容