姓名:任俊颖
学号:22011211086
学院:通信工程学院
【嵌牛导读】本文介绍了基于时空注意力的一种遥感图像变化检测方法的结果与分析
【嵌牛鼻子】遥感图像 变化检测 自注意力 度量学习
【嵌牛提问】基于时空注意力的变化检测的用到了什么数据集及特点?在这些数据集上的表现如何?
实验结果及讨论
1、数据集介绍与实验设置
在三个公共数据集上进行了比较实验。如图3所示,每个数据集有三幅图像,其中包含一幅地面实况图和两幅在同一区域但在不同时间拍摄的HSI。前两个是由地球观测1号(EO-1)Hyperion捕获的全标记数据集,分别是农田和河流数据集。地面实况图是二进制图像。黑色区域表示未更改的像素,而白色区域表示已更改的像素。另一个是湾区,这是由机载可见/红外成像光谱仪(AVIRIS)传感器获得的不完整标记数据集。图像中有一些未标记的区域。ground true地图是一张三色地图,其中青色表示已更改,黄色表示未更改,紫色表示未确定。
图3
2、评价指标
使用准确度、召回率、F1得分和总体准确度(OA)作为评估指标。
3、实验结果
1) 农田数据集的实验:不同方法在农田数据集上生成的可视化结果如图4第一列所示。在此数据集上生成的更改区域相对集中,形状相对规则。两种基于深度学习的BCNN、ReCNN方法的检测性能得到了极大的改善,但检测结果的边界相对粗糙。可视化比较结果表明,STANet方法的检测结果更精确。农田数据集实验结果的定量评估如表1所示。STANet的实验结果优于其他比较方法,其OA分别为0.9786和KC为0.8626。
2) 河流数据集的实验:不同方法在河流数据集上的变化图如图4第二列所示。由于河流数据集上变化区域的分散和不规则形状,变化检测的难度将增加。由于STANet解决了HSI中未配准及对光照变化导致的伪变化的问题,并充分利用了双时间图像之间的相关信息,因此STANet在所有比较方法中都获得了最佳结果。
3) 湾区数据集上的实验:从图4第三列可以看出,湾区数据集中变化区域的形状相对规则,但由于地面覆盖物体的复杂性,变化区域是碎片化的。由于STANet结合了双时图像之间的相关性,并针对不同尺度的地物变化提出金字塔时空注意力机制,因此检测结果的OA和KC值分别高达0.9959和0.9917。
表1 定量评估结果
五、结论
STANet提出了一种空间-时间注意力神经网络,用于比现有数据集更大的遥感图像量。空间-时间注意力模块(BAM和PAM)捕捉了长时间的空间-空间依赖性,以学习更好的表征。实验结果表明,通过注意力模块可以很好地减轻由双时相图像中的误配准引起的误检测。此外,注意力模块对双时相图像中的颜色和比例变化更为鲁棒。通过提取多尺度注意力特征,PAM可以获得比BAM更精细的细节。还将注意力图可视化,以便更好地理解我们的注意力模块。STANet方法在三种数据集上优于其他几种的遥感图像变化检测方法。