姓名：任俊颖
学号：22011211086
学院：通信工程学院
【嵌牛导读】本文介绍了一种端到端的超像素增强遥感图像变化检测方法的结果与分析
【嵌牛鼻子】遥感图像 变化检测 超像素 度量学习
【嵌牛提问】变化检测的研究现状和待解决问题是什么？该如何解决这些问题？
研究现状与存在问题
在遥感变化检测的早期阶段，大量的研究是基于像素的变化检测方法。这些方法以像素为基本处理单元，被广泛应用在了中低分辨率的遥感图像上。最直接的基于像素的变化检测方法有：影像代数法，如图像做差、图像相比、回归分析；基于数学和统计的方法，如PCA、慢特征分析。更加精确的方法是基于植被指数、纹理分析、监督或无监督的机器学习。基于像素的变化检测方法另一大类为分类后比较方法，这些方法分别对多时相图像分类，通过比较分类结果来标记改变的像素。这种方法将检测灰度值的改变转换为检测标签的改变。
但是随着地球观测技术的发展，大规模超高分辨率多光谱图像的出现给传统的基于像素的变化检测方法提出了挑战。具体来说，随着空间分辨率的增加，PBCD策略的两大主要障碍是地物可变性的增加以及地物边界变得更加复杂。由于基于像素的分析没有考虑地物之间的空间关系及排列，因此它通常会导致噪声输出，比如孤立的变化像素、变化区域中间的空洞以及锯齿状边界。为了克服基于像素方法的缺陷，基于对象的变化检测方法，其基本处理单元为多个像素的集合，称为图像对象。方法中考虑的空间和光谱属性都是基于这些对象得到的，从而可以捕获和利用空间上下文以及光谱特征来揭示对象级别的变化信息。
OBCD方法的一大优势是识别地物的边界。但是仍有一些缺陷。如，OBCD方法的结果依赖于所采用的对象分割算法。可以在图像中生成均匀区域的超像素分割技术可以作为生成对象的方案。第二，OBCD方法通常不考虑语义信息，因此难以应对季节变化等导致的伪变化。近年来，深度学习被用于变化检测中，这些方法大致可分为：基于特征的方法、基于patch的方法、基于图像的方法。基于特征的方法比较在不同特征空间中双时相图像之间的差异，最后通过阈值得到变化检测图；基于patch的方法首先将图像分为重叠或非重叠的patch，将patch输入网络得到每个patch中心像素的类别。与基于特征和patch的方法相比，基于图像的方法在鲁棒性和有效性方面都有所提升。如基于UNet的孪生网络、伪孪生网络、自注意力机制都被用于变化检测。
虽然深度学习主要关注高级语义信息的提取，但它们是基于像素的，因此不知道图像对象几何结构。相反，从本质上来说，OBCD方法在识别地物边界方面表现出色。因此，已经提出了混合方法，以充分利用这两个方案的优点。这些方法通常遵循多步骤方案，其中框架的各个部分被单独训练以获得局部最优，难以获得全局最优解。
研究目标与内容
基于上述问题，本文针对超高分辨率图像提出了一种端到端的超像素增强变化检测方案，即ESCNet。将超像素分割技术与深度卷积神经网络结合形成了端到端的可训练框架。利用超像素采样网络(SSN)来划分超像素，通过基于UNet的孪生网络来提取多级变化信息，计算多时相图像特征之间的差异。为了充分利用超像素，提出了超像素化模块，该模块减少了由SSN网络划分的超像素中地物的可变性。此外，提出一种自适应超像素合并(ASM)模块，根据相似度矩阵更新超像素特征来确定最佳的超像素数量。ASM模块具备可微的性质，可以很容易的合并到神经网络方法中。最后，使用像素级优化模块来校正未对齐的超像素边界并发现微小的变化对象。
通过将超像素分割与端到端框架中的深度神经网络结合，来促进基于对象的变化检测方法和深度学习方法的协同集成。据我们所知，ESCNet是第一种端到端可训练RSCD方法，它结合了基于像素的卷积网络和基于超像素的操作。
