姓名：雷含笑；学号：21021210745；学院：电子工程学院
【嵌牛导读】图像融合作为信息融合的一个分支，是当前信息融合研究中的一个热点。图而图像融合是将2张或2张以上的图像信息的融合到1张图像上，使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。图像融合的目标是在实际应用目标下将相关信息最大合并的基础上减少输出的不确定度和冗余度。图像融合的优点很明显，它能扩大图像所含有的时间空间信息，减少不确定性，增加可靠性，改进系统的鲁棒性能。图像融合是提取多幅针对同一场景且内容互补的图像中的信息并将其合并到幅图像的技术。随着计算机视觉和人工智能的飞速发展，图像融合技术逐渐发展成熟，并被应用到目标跟踪、医学影像和视频监控等领域中。
【嵌牛鼻子】图像融合 信息融合
【嵌牛提问】图像融合作为一个图像处理的底层任务，有什么基本方法
【嵌牛正文】
1.传统图像融合方法分类
根据不同的标准,图像融合算法可以划分为不同的类别，常用的标准包括:应用场合,图像数据类型，图像维度，融合层次等。本文选取融合层次作为分类标准，将图像融合算法分为三类:像素级(PixelLevel)、特征级(FeatureLevel)和决策级(Decision Level)。在实际应用中，选择融合层次的依据包括两个方面：
(1)传感器的类型。如果传感器的物理特性基本相同，则可选用像素级图像融合算法,这样所有数据都可以得到有效利用。如多焦距图像融合, CT-MRI图像融合,红外可见光图像融合等都可以选择像素级融合法；如果传感器间的物理特性差异较大，如在地雷探测中，红外照相机可以获取物体表面的影响，地面穿透雷达可以沿直线捕捉深度剖面扫描图，金属探测器可以沿着一条线扫描标量测量，三者之间反映的信息完全不同，所以适合采用决策级图像融合算法；特征级图像融合类介于前两者之间，适用于传感器获取的图像有所不同，但是特征具有相称性的情况。(2)融合目的。特征级和决策级融合多用于目标检测，无法形成融合图像。因此，若要求输出形式为融合图像，则需要选择像素级图像融合算法。像素级算法的融合规则运行在像素级别，直接根据像素选取融合规则。特征级算法需首先对图像进行分割，特征提取，最后对特征向量进行融合。决策级算法是最高层次上的融合过程，每个传感器图像都形成目标检测或决策结果之后，再进行决策结果的融合。像素级图像融合由于融合精度高，图像信息更丰富，所以得到了广泛的应用。
红外光图像和可见光图像的融合主要可分为空间域和变换域两种融合方式。按方法可分为：基于多尺度分解的方法、基于稀疏表示的方法、基于神经网络的方法、基于子空间的方法、基于显著性的方法和混合方法等模型。
空间域融合技术直接对输入图像的像素值进行处理,以达到所需的融合结果。空间域融合技术包括基于灰度加权的图像融合、基于PCA的图像融合和基于IHS的图像融合。变换域融合技术包括基于多尺度变换图像融合和基于稀疏表示的图像融合方法。
除空间域和变换域两种融合方式以外，还有许多基于深度学习的融合方法[3]。在过去的几年里，出现了许多基于深度学习的图像融合方法。深度学习可以帮助解决图像融合中的几个重要问题。例如，与手工制作的方法相比，深度学习可以提供更好的功能。此外，深度学习可以在图像融合中学习自适应权重，这在许多融合规则中都是至关重要的。在方法上，卷积神经网络(CNN)，生成对抗网络(GAN)， Siamese网络，自编码器已经被应用于图像融合工作中。可以预见，图像融合技术将朝着机器学习的方向发展，未来几年将出现越来越多的研究成果。刘羽于2017年第一次将CNN引入图像融合领域,采用孪生网络对多聚焦图像进行融合。受聚焦与离焦分类思想的影响,通过孪生网络对图像像素点进行分类,其网络模型如图所示。
2.图像融合方法按领域分类
图形融合的应用领域：数码摄影影像融合主要包括多曝光图像融合和多焦点图像融合。方法：CNN和GAN；
由于多焦点图像融合可以看作是对清晰像素的选择，因此这些深度学习方法可以分为基于决策图的方法和基于整体重建的方法。
多模态图像融合 如：红外和可见光图像的融合；医学图像的融合；锐化融合（多光谱锐化、高光谱锐化）；人工智能的方法：AE（自动编码器），CNN，GAN
医学图像的融合：医学图像融合将两种不同类型的医学图像结合起来，生成信息更丰富的单一图像，有利于对疾病进行更准确的诊断 方法：CNN 和 GAN。
锐化融合：克服光谱分辨率与空间分辨率矛盾的有效技术。在空间图像的引导下，致力于在保持光谱分辨率的同时，在空间维度上实现超分辨率。两个典型的锐化融合任务是多光谱图像锐化和高光谱图像锐化。
多光谱锐化是将低空间分辨率（LRMS）的多光谱图像与全色（PAN）图像融合，生成高空间分辨率（HRMS）的多光谱图像。方法：CNN 和 GAN。
高光谱图像具有更高的光谱分辨率和更低的空间分辨率。因此，可以通过将低空间分辨率（LRHS）的高光谱图像与多光谱图像或全色图像融合来实现高光谱锐化，从而产生高空间分辨率（HRHS）的高光谱图像。方法：CNN 和 GAN。
统一（普适性）图像融合方法
一些方法具有很好的通用性，可以使用统一的框架实现各种图像融合任务。虽然这些方法的思路往往大相径庭，但它们的特点是可以找到不同融合任务的共性。
U2Fusion, PMGI、IFCNN、类似统一方法包括SGRFR CU-Net，DIF-Net，SDNet。
在此之后，出现很多基于深度学习的图像融合模型，可以分类为基于编解码器结构的模型、基于CNN的图像融合模型、基于GAN的图像融合模型。在本系列的下一个专题将对各类模型进行简单的介绍。
