Comparison of Several Hyperspecral Image Fusion Methods of Superresolution 笔记

摘要

  • 高光谱图像经常受到粗糙的空间分辨率的影响；
  • 合并多光谱的或者全色光谱的高光谱融合方法被提出，为了提高高光谱图像的分辨率；
  • 对比四种高光谱融合方法，分别是coupled nonnegative matrix factorization method（CNMF）（耦合非负矩阵分解方法），sparse matrix factorization method （SPMF）（稀疏矩阵分解方法），hyperspectral Image superresolution method（HySure）（高光谱超分辨率方法），sparse representation method（SPRM）（稀疏表示方法）；
  • 五个统计评估参数：cross correlation（CC）（互相关），root-mean-square error（RMSE）（根均方误差），spectral angle mapper（SAM）（光谱角度映射器），universal image quality index（UIQI）（通用图像质量指数），relative dimensionless global error in synthesis（ERGAS）（合成中相对无量纲的全局误差），对结果进行判定；
  • SPMF实验结果最好。

引言

有关HSI方面研究兴趣越来越大是因为它的高的光谱分辨率（第一次见到高的光谱分辨率这种说法，之前都是叫做光谱信息）。因为传感器在空间和光谱之间的权衡，高光谱具有粗糙的空间分辨率（也是第一次见这种说法）。
最近，提出了把多光谱融合成一个光谱的融合方法，为了增强空间分辨率，但是经常受到光谱失真或者边缘模糊的影响。这种方法是从锐化图片方法从改编过来，本来只用于全色图像。
有一些为HSI提出的融合方法，例如：基于光谱分离的方法，基于贝叶斯框架的方法。

HSI融合方法

HSI 有L_h个光谱，几何分辨率分别是w\times h（w，h分别是每一个光谱的图像宽和高），HSI 能够被表示成Y_{h}\in R^{L_{h}\times n_{h}},n_{h} = w\times h。
观察到的多光谱数据有L_m个光谱，几何分辨率分别是w\times h（w，h分别是每一个光谱的图像宽和高），它能够被表示成Y_{m}\in R^{L_{m}\times n_{m}},n_{m} = w\times h。
Z\in R^{L_{h}\times n_{m}}代表着被估计的高的空间和光谱分辨率。

基于光谱分离的方法

这一类方法是基于HSI的低空间分辨率的事实，它能够被分解为端元矩阵和丰度矩阵，分别表示每个像素的组成成分和每个像素的比例成分。

CNMF

基于以下假设对传感器观察模型进行建模：观察到的HS数据和（多光谱）MS数据是空间劣化，并且光谱劣化的，分别来自待估计的高空间和光谱分辨率数据。
因此，Y_h,Y_m的模型是：
\begin{equation} \begin{split} Y_{h} &= ZS + E_{s}\\ Y_{m} &= RZ +E_{r} \end{split} \end{equation}
其中，S\in R^{n_{m}\times n_{h}}是空间扩散变换矩阵，R\in R^{L_{m}\times L_{m}}是光谱响应变换矩阵，都是由非负数组成的稀疏矩阵，E_{s},E_{r}是残差（残差在数理统计中是指实际观察值与估计值（拟合值）之间的差）。
假设每个像素处的光谱是线性的并且是几个端元光谱的组合，因此
Z = WH + N
其中，W\in R^{L_{h}\times D}是光谱特征矩阵，每个列向量w_{j}代表端元谱，D是端元谱的数目。H\in R^{D\times n_{m}}是丰度矩阵，N\in R^{L_{h}\times n_{m}}是残差，并且W>=0，H>=0。
\begin{equation} \begin{split} Y_{h} &= ZS + E_{s}\approx WHS = WH_{h}\\ Y_{m} &= RZ +E_{r}\approx RWH= W_{h}H \end{split} \end{equation}
其中H_{h}\in R^{D\times n_{h}}是空间退化丰度矩阵，W_{h}\in R^{L_{m}\times D}是光谱退化丰度矩阵。
\begin{equation} \begin{split} H_{h} &= HS\\ W_{h} &= WH \end{split} \end{equation}
（？？？？？？？？？？？？？？？）
W，H能够通过交替使用Y_{h}，Y_{m}得到，损失函数是分别是||Y_{h} - WH_{h}||_{F}^2，||Y_{m} - W_{h}H||_{F}^2。
高的空间分辨率的高光谱图像能够通过将W乘以H得到。

SPMF

假设：

  • HIS图像的像素可以以训练字典中的少量纯光谱特征的线性组合的形式表示。
    则期望的高分辨率图像就是
    Z=D\Lambda
    其中，D\in R^{L_{m}\times D}是在场景中第i个的纯光谱特征，\Lambda是关于字典D中的所有光谱特征的第i个光谱矢量的稀疏分数丰度。D是场景总数。
    Z(i,j) = D\alpha_{hh}，\alpha_{hh}是关于光谱字典D的像素矢量z(i,j)的分数丰度矢量。
  • 把希望得到的高空间和光谱分辨率的图像投影到输出的HSI和MS都是线性的。
    Y_{m} =\Phi Z
    其中，\Phi \in R^{L_{m}\times L_{h}}是投影矩阵，把高空间和光谱分辨率的希望得到的图片投影为低光谱分辨率的MS。
    \Phi = Y_{dm}Y_{h}^{+} = Y_{dm}Y_{h}^{T}(Y_{h}Y_{h}^{T})^{-1}
    其中Y_{dm}是Y_{m}的下采样。
    图片的下采样（缩小图像/降采样）是指对一幅为M*N的图像，对其进行s倍下采样，即得到(M/S)*(N/S)的图像，s是M，N的公约数。也就是把图片中s\times s大小的像素缩小为一个像素，这个像素的值是窗口类所有像素的均值。
    根据假设2，Y_{h}的像素向量y_{h}(i，j)\in R^{L_{h}}能够通过局部窗口的空间聚合获得：
    y_{h}(i,j) = \sum_{(r,c)\in W_{i,j}} \theta_{rc}z(r,c)
    其中W_{i,j}是适当的窗口，\theta _{rc}是加权系数。
    因此，y_{h}(i，j)能够被记为：
    y_{h}(i,j) = D\sum _{(r,c)\in W_{i,j}} \theta_{rc}\alpha_{hh}(r,c)= D\psi(i,j)
    因此，D通过K-SVD算法解决下面优化问题得到：
    \begin{equation} \begin{split} \min_{D,\Gamma} &\{||Y_{h}-D\Gamma||\}\\ s.t.& \forall i,||\psi _{i}||_{0} <=M_{0} \end{split} \end{equation}

基于贝叶斯的方法

HySure

把HIS和MS图像联系起来的模型可以写为：
\begin{equation} \begin{split} Y_{h} &= ZBM + N_{h}\\ Y_{m} &= RZ+N_{m} \end{split} \end{equation}
其中,B\in R^{n_{m}\times n_{m}}是空间模糊矩阵，代表了在Z的空间分辨率上的高光谱信号点扩散函数；M\in R^{n_{m}\times n_{h}}，它的列是单位矩阵列的子集，考虑到图片的均匀子采样，为了产生HSI的更低的空间分辨率。（指的是M的列数小于Z的列数，所以会有更低的分辨率吗？）
R\in R^{L_{m}\times L_{m}}每个多光谱带一个，在其行中保持多光谱仪器的光谱响应。
N_{h}，N_{m}是独立同分布噪声。（噪声是干嘛使的？）
通过制定二次优化问题，可以从数据中算出B，R。
为了更好地计算效率和更好的测量准确率，对Z进行降维处理：
Z = EX
其中E\in R^{L_{h}\times L_{s}}，L_{s}的列数是Z列数的跨越同样的子集，X\in R^{L_{s}\times n_{m}}是表示系数，L_{s}<<L_{h}。
因此，
\begin{equation} \begin{split} Y_{h} &= EXBM + N_{h}\\ Y_{m} &= REX +N_{m} \end{split} \end{equation}
为了解决这个不适定问题（？），适当正则化是必要地。
向量总变差（VTV）正则化的形式被使用。（公式敲累了0.0）

VTV.png

和的乘积分别用周期边界条件来计算图像的水平和垂直离散差。
优化问题如下：
优化问题.png

前两项是数据拟合项目，最后一项是正则项目。
参数和控制各种项的相对重要性。
这个优化算法能够通过分裂增广拉格朗日收缩算法解决。

SPMF

和HySure一样，只是把噪声矩阵N_{h}=[n_{h,1},...,n_{h,n_{h}}],N_{m}=[n_{m,1},...,n_{m,n_{m}}]的每一列看成是光谱独立的高斯噪声向量。

噪声.png

image.png

这里，同样利用。
根据贝叶斯理论和噪声N_{h},N_{m}是独立的，的后验分布能够被写成：
后验分布.png

取后验分布的负对数，最大化后验分布的问题等同于下面的最小化问题：
最小化问题.png

image.png

©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 216,324评论 6赞 498
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,356评论 3赞 392
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 162,328评论 0赞 353
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,147评论 1赞 292
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,160评论 6赞 388
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,115评论 1赞 296
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,025评论 3赞 417
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,867评论 0赞 274
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,307评论 1赞 310
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,528评论 2赞 332
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,688评论 1赞 348
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,409评论 5赞 343
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,001评论 3赞 325
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,657评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,811评论 1赞 268
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,685评论 2赞 368
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,573评论 2赞 353

推荐阅读更多精彩内容