GAN可解释性:Closed-Form Factorization of latent Semantics in GANs2021-03-14

论文名：Closed-Form Factorization of Latent Semantics in GANs

从作者提出的方法中发现的语义信息

摘要

GAN的 $latent\,sapce$ 中存在很多丰富的语义信息，这在之前的很多研究中就已经做了介绍，而以往的很多研究往往是训练很多个属性分类器，并且使用一些机器学习算法，比如SVM找到不同的属性在 $latent\,space$ 中的超平面分界面，从而发现语义信息，但是这需要很多对目标属性的提前假设和定义，并且需要花费大量的时间来训练分类器。
本文中提出了一种通过直接分解预训练的 $weight$ 的闭试解答算法来做潜在语义的发现。通过这种速度很快的实现，方法不仅仅能堪比监督学习算法可以找到了很多和语义有关联的 $latent\,space$ 中的向量并且可以可以找到更多丰富的概念是一些属性分类器所不能够具有的。

原理介绍

对于当前的先进的主流的GAN生成模型来说，对于用于生成图像的随机向量 $input$ ，都会进行一次放射变换( $affine\,transform$ )，将用于输入的 $lanent\,sapce$ 变换到一个中间空间(一般是使用MLP进行变换，让其具有自由学习的能力)，然后使用变换过向量输入到生成模型，其原理大概是能够让这个新空间的流形更好的符合图像的分布规律，并且拥有更好的 $disentangle$ (即更容易分解出输入的变量和最后生成图像的语义信息的关系)，性质。
如在Nvidia提出的StyleGAN中，有八层用于把输入随即向量
对于一个输入 $z$ 定义仿射变换如下:
$G_1(z)=y=Az+b \tag{1}\\ \text{这里}\,y\in R^m,A\in R^{m*d},b\in R^m$
&emsp；如果我们直接对输入随即向量 $z$ 进行操作比方说加上一个单位向量 $n$ 即加上 $\alpha n$ (其中 $n$ 是一个单位向量，那么）:
$edit(G(z))=G(z')=G(z+\alpha n)\tag2$
那么就很容易得到如下的公式:
$y'=G(z')=G_1(z+\alpha n)=Az+b+\alpha n=y+\alpha An \tag3$
从公式3可以看出来对 $latent\, space$ 进行操作就是对变换后的空间进行一个加操作 $\alpha An$ ,那么作者假想，如果一个方向有着十分丰富的语义信息，那么其对图像的变化的影响一定是比较大的，又因为整个变换过程中的 $latent\,vector$ 是可以 $interploation$ (插值)从而能够保证图像过渡相对平滑，对图像变化最大的 $n$ 一定是能够让 $||An||$ 最大的 $n$ ,那么作者提出了一个最优化的问题，通过解决这个问题就能够在 $latent\,space$ 找到对图像影响最大的一个方向单位向量 $n$ 。这个优化问题可以用如下的公式来进行表示:
$n^*=argmax||An||_2^2\\ 其中n\in R^d,n^Tn=1\tag4$
为了获取到更为丰富的语义，作者又将这个问题变成如下的优化问题:
$N^*=argmax\sum_{i=1}^k||An||_2^2\\ 其中N\in R^{d*k},n_i^Tn=1\tag5$
为了方便解决(5)这个最优化的式样，对其进行进一步的变形(过程中使用了Lagrange方法)如下:
$\begin{array}{} N^*&=&argmax\sum_{i=1}^k||An_i||_2^2-\sum_{i=1}^k\lambda_i(n_i^Tn_i-1)\\ &=&argmax\sum_{i=1}^k(n_i^TA^TAn_i-\lambda_in_i^Tn_i+\lambda_i) \end{array} \tag6$
对每一个 $n_i$ 求偏导数可以得到如下:
$2A^TAn_i-2\lambda_in_i=0\tag7$
有上述公式7可以看出，所有可能的n_i就是A^TA这个矩阵的特征向量。我们要找到的所有可能的使得其变化最大的 $n_i$ 存在与这个矩阵的所有偏导数中，问题得以解决。