姓名：雷含笑；学号：21021210745；学院：电子工程学院
参考：https://zhuanlan.zhihu.com/p/467039982
【嵌牛导读】图像融合作为信息融合的一个分支，是当前信息融合研究中的一个热点。图而图像融合是将2张或2张以上的图像信息的融合到1张图像上，使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。图像融合的目标是在实际应用目标下将相关信息最大合并的基础上减少输出的不确定度和冗余度。图像融合的优点很明显，它能扩大图像所含有的时间空间信息，减少不确定性，增加可靠性，改进系统的鲁棒性能。图像融合是提取多幅针对同一场景且内容互补的图像中的信息并将其合并到幅图像的技术。随着计算机视觉和人工智能的飞速发展，图像融合技术逐渐发展成熟，并被应用到目标跟踪、医学影像和视频监控等领域中。
【嵌牛鼻子】图像融合 信息融合
【嵌牛提问】图像融合作为一个图像处理的底层任务，与现今的深度学习结合有什么方法
【嵌牛正文】
与现今的深度学习结合，图像融合任务有了很多新的方法，上次介绍了基于CNN的多种方法，本章将介绍其他类的方法。生成对抗网络(Generative Adversarial Networks)是一种无监督深度学习模型，用来通过计算机生成数据，由Ian J. Goodfellow等人于2014年提出。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。生成对抗网络被认为是当前最具前景、最具活跃度的模型之一，目前主要应用于样本数据生成、图像生成、图像修复、图像转换、文本生成等方向。GAN这种全新的技术在生成方向上带给了人工智能领域全新的突破。在之后的几年中GAN成为深度学习领域中的研究热点，近几年与GAN有关的论文数量也急速上升，目前数量仍然在持续增加中。图像融合也出现了基于GAN的多种方法。
GAN由两个重要的部分构成：生成器(Generator，简写作G)和判别器(Discriminator，简写作D)。
生成器：通过机器生成数据，目的是尽可能“骗过”判别器，生成的数据记做G(z)；
判别器：判断数据是真实数据还是「生成器」生成的数据，目的是尽可能找出「生成器」造的“假数据”。它的输入参数是x，x代表数据，输出D(x)代表x为真实数据的概率，如果为1，就代表100%是真实的数据，而输出为0，就代表不可能是真实的数据。
这样，G和D构成了一个动态对抗(或博弈过程)，随着训练(对抗)的进行，G生成的数据越来越接近真实数据，D鉴别数据的水平越来越高。在理想的状态下，G可以生成足以“以假乱真”的数据；而对于D来说，它难以判定生成器生成的数据究竟是不是真实的，因此D(G(z)) = 0.5。训练完成后，我们得到了一个生成模型G，它可以用来生成以假乱真的数据。
1.FusionGAN
这是首个使用GAN来融合红外与可见光图像的模型，通过生成器和判别器之间的对抗学习避免人工设计activity level和融合规则。其中生成器同时将红外图像与可见光图像作为输入，输出融合图像；由于可见光图像的纹理细节不能全部都用梯度表示，所以需要用判别器单独调整融合图像中的可见光信息，判别器将融合图像与可见光图像作为输入，得到一个分类结果，用于区分融合图像与可见光图像。在生成器和判别器的对抗学习过程中，融合图像中保留的可见光信息将逐渐增多。训练完成后，只保留生成器进行图像融合即可。生成器和判别器的网络模型如下图。
2.DDcGAN
也是2020年的GAN模型之一，融合效果来看细节和对比度要优于FusionGAN，并且是针对红外图像分辨率低于可见光图像分辨率的情况。模型首先需要通过训练过的卷积层对分辨率低的红外图像进行上采样到可见光图像的分辨率（也可以将融合与超分一起做，具体的模型看下面21年的模型CF-Net），然后生成器对这两张图像进行融合，两个判别器分别针对红外与可见光图像进行判断。损失函数方面和先前模型类似，都是基于保留红外图像像素幅度、可见光图像细节信息的基础上设计的。模型结构如下图。
生成器的结构如下图，首先通过反卷积层将红外图像上采样到和可见光图像一样的尺寸（红外图像训练集手动下采样到原图的1/4大小），两张图像在通道维度拼接后送入5个加入dense connection的编码层，再经过5个常规卷积层就能得到融合图像了。
解码器的结构如下图，红外图像和可见光图像各一个解码器。红外图像对应的解码器是从融合图像或红外原输入图像中随机选出一张作为输入，可见光图像对应的解码器是从融合图像或可见光原输入图像中随机选出一张作为输入，它们的输出都是一个代表概率的标量，表示输入图像是真实的原图像的概率。
3.MEF-GAN
MEF-GAN是专门为多曝光图像融合设计的模型，加入了目前比较热门的self-attention机制，文章中阐述了多曝光融合中需要用到长程信息，以下图为例，过曝图像的清晰区域集中在左边的窗户和走廊，欠曝图像的清晰区域集中在右边的窗户，所以作者认为特征提取和融合需要长程信息，也就是self-attention中的全局信息捕获能力。
判别器只有五层，前三个卷积层都是步长为2的卷积核，采用了spectral normalization，第四个卷积层步长为1，最后一个全连接层使用tanh激活函数生成一个范围从0到1的概率值标量，代表输入图像是groundtruth的概率，结构如下图。
