光谱超分辨率方法归纳
- 基于高分辨率高光谱影像建立稀疏字典，然后利用正交匹配（Orthogonal Matching Pursuit，OMP）来进行稀疏光谱重建。
- 基于Tiramisu网络（常用于语义分割）的变种。
- A+超分辨率算法。
- 利用已知光谱响应函数的数码相机来提升超分的效果。
本文方法
1. RGB图像构建（重采样）
利用高光谱图像和敏感性函数（实际上就是遥感中的光谱响应函数）得到RGB图像。
2. 利用RGB图像估算敏感性函数
利用一个全卷积网络（12卷积层+4池化层）进行敏感性函数的估算。
输出为一个的矩阵，表示R、G、B三个通道在
个高光谱通道处的敏感性（也即R、G、B三个通道的光谱响应函数）。
损失函数分为三项：
- 第一项为重构误差
，表示原始高光谱影像重采样得到的RGB与利用预测得到的敏感性函数进行重采样得到的RGB之间的Frobenius距离，其表达式为
。
- 第二项为敏感性函数的预测误差
。
- 第三项为正则项，通过对敏感性函数曲线求二阶导的方式来计算
，这里的
为二阶导算子。
- 总的损失函数为三项的加权值：
3. 基于RGB图像对敏感性函数分类
利用不同的敏感性函数分别生成不同的RGB图像，然后训练一个全卷积+softmax分类器网络来对这些RGB图像进行分类。
4. 高光谱图像重构
根据输入的不同，分为三种网络：
- 通用网络，输入为RGB图像，适用于敏感性函数未知的情形
- 条件网络，输入为RGB图像+敏感性函数
- 专用网络，输入为具有特定一种或几种敏感性函数的RGB图像
三种情形的网络结构基本一致，为带残差块的UNet结构。
结果评价
使用了ICVL、CAVE、NUS、NTIRE四个高光谱数据集，覆盖400到700nm之间的31个波段。
在光谱响应函数方面，分为连续谱和离散谱两类，连续谱基于高斯混合模型，在一定的限制条件下生成；离散谱基于现实中的光谱响应函数，重采样到31个波段，共40组。
评价指标：均方根误差RMSE、峰值信噪比PSNR、平均相对绝对误差MRAE、结构相似性SSIM。
