一、交叉熵理解：
交叉熵，其用来衡量在给定的真实分布P(x)下，使用非真实分布Q(x)所指定的策略消除系统的不确定性所需要付出的努力的大小。其公式为：
KL散度用来衡量两个分布的距离，也称为相对熵:
，由于 代表数据真实分布，是固定的量，所以优化交叉熵等同于优化KL散度。
二、GAN loss理解
从这个角度理解GAN loss：假如判别器为D，真实数据为x，生成数据为。则经过判别器后真实数据和生成数据的概率分布分别为
和
。为了简洁起见，省略了sigmoid函数σ(x)
对于Dloss：生成数据的真实分布为，真实数据的真实分布为
。故生成数据和真实数据的损失分别为：
对于Gloss：认为生成数据如果离真实数据很远就要给与更大惩罚，故此时生成数据的目标分布可以看做 。则生成器的对抗损失为：
三、GAN loss与softplus关系
进一步简化——使用softplus
俗称log_sum_exp函数。
同理
这就解释了一些GAN loss代码里面的写法：
另外，有些图像修补论文中会对mask内、外区域设置不同的判别器目标，如下面这段代码，对于fake样本，mask内部区域的label设置为False，外部设置为True。
