在生成对抗网络GAN提出之后，又出现了一种条件对抗网络CGAN。CGAN能够通过简单地提供数据来构造，希望对生成器和判别器都进行条件化。通过实验验证了给模型可以生成以类标签为条件的MNIST数字。文章还进一步说明了如何使用该模型来学习多模态模型，并提供图像标记应用程序的初步示例，其演示了此方法如何生成不属于训练标签的描述性标记。
引言
生成对抗网络作为训练生成模型的替代框架，避免了近似许多难以处理的概率计算遇到的困难。
生成对抗网络不需要满足马尔可夫链条件，可以直接采用反向传播网络来获得梯度，在学习期间不需要推理，并且可以容易地将各种因素和相互作用结合到模型中。
并且已经证明了生产对抗网络能够产生最好的对数似然估计和真实样本。
在一个没有加条件的生成模型，无法控制生成数据的模型。然而，通过给模型添加一些附加的信息则有可能指导数据生成的进程。这样的条件可以基于类标签，在某些为了图像修补的数据中，甚至来自不同形式的数据。
这篇文章构建了条件对抗网络。对于实验结果，我们展示了2组实验。一个是在MNIST手写数字建立类标签条件，另一个在MIR数据集为了多模态学习。
相关工作
图像标签的多模态学习
尽管监督神经网络（特别是卷积网络）取得了许多成功，但仍然难以扩展此类模型以适应具有巨大数量的预测输出类别的问题。另一个问题是过去关注的都是学习一对一的映射从输入到输出。但是，许多问题更自然地被认为是一种基于概率的一对多的映射。例如，在图像标注中，可能有很多不同的标签适应于给出的图像，并且不同的标注者可能会使用不同的术语（但语义相似）去描述同一幅图象。
解决第一个问题的一种方式是从其它方法中获取额外信息：例如，采用自然语言的全集去学习几何关系在语义上有意义的标签的向量表示。当在这种空间中做预测时，我们受益于这样一个事实，即当预测错误时，我们仍然“接近”真相（例如，预测“桌子”而不是“椅子”），并且从那样的事实中，我们可以自然地对训练期间未出现的标签做出预测概括。诸如一些文献表明，即使从图像特征空间到字表示空间的简单线性映射也可以产生改进的分类性能。
解决第二个问题的一种方式是采用条件概率生成模型，输入被视为条件变量，并且一对多映射被实例化为条件预测分布。
条件对抗网络
生成对抗网络
生成对抗模型作为一种新的方法来训练生成模型。它由两个对抗模型组成：生成模型G捕获数据分布，判别模型D估计输入样本来自训练样本的概率。G和D都是非线性映射函数，例如多层感知机。
为了学习生成分布来近似样本数据
，生成模型建立一种从定义的噪声分布
到数据空间
的映射函数。判别模型
输出当个标量判断数据
来自训练数据还是
。
G和D同时训练：我们为G调整参数使得最小化，调整参数D使得
最小化，如果把他们视为二人最小-最大游戏，其值函数表示为：
条件对抗网络
如果生成模型和判别模型同时以额外信息为条件时，生成对抗网络可以扩展为条件模型。
可以是任何类型的辅助信息，例如：标签或从其它方式获取的数据。我们可以通过将
作为附加输入层馈入判别模型和生成模型来进行调节。
在生成模型中，定义的输入噪声和
在联合隐藏表示中组合，并且对抗训练框架在如何组合该隐藏表示方面具有相当大的灵活性。
在判别模型中，和
作为输入到判别函数（在这个案例中再次通过MLP呈现）。
二人极小极大游戏可以有如下表示：
图1给出了简单的条件对抗网络的结构。
