GAN+压缩感知【论文理解】

论文地址:http://eprints.lincoln.ac.uk/31056/1/Deep_CS_MRI_Paper.pdf

最近在学习GAN与压缩感知(Compressed Sensing,CS)相结合的论文,将这篇《DAGAN: Deep De-Aliasing Generative Adversarial Networks for Fast Compressed Sensing MRI Reconstruction》的理解记录下来。


摘要:相比于传统的基于多线圈的快速磁共振成像技术,基于压缩感知的MRI技术打破了信号处理领域的金科玉律——奈奎斯特采样定律,使用更少的原始数据重建MRI图像,从而加快了整个成像过程。该论文提出一种基于深度学习的CS-MRI重建策略,提出新的网络模型(DAGAN)来减少重建过程带来的混叠伪影(aliasing artefacts),又结合Perceptual Loss来生成与目标图像更接近的纹理和细节,提出频域损失来增强相似性。重建速度大约为5ms/张。

由于压缩感知技术需要满足两个前提:稀疏性不相关性,所以目前CS-MRI的研究需要满足以下三点:

\bullet 尽可能随机欠采样,达到抑制噪声又不会降低重建的图像质量,目前大多数采用遵循1D高斯分布的采样模式,为了去除含有更多噪声的高频信息,而保留更多的低频信息。

\bullet MRI图像一定要是可压缩的,也就是具有稀疏性,在这里引用这篇文章形象易懂讲解算法II——压缩感知的说明:“关于稀疏性可以这样简单直观地理解:若信号在某个域中只有少量非零值,那么它在该域稀疏,该域也被称为信号的稀疏域。”

\bullet 该算法一定要高效、稳定、精准的重建。(感觉这句很没用?)


目前CS-MRI的主要挑战

要满足不相关性准则,也就是随机欠采样;

现在应用广泛的稀疏变换过于简单,无法捕获复杂图像的轻微细节变化;

现有算法重建时间过长;

可能产生过渡平滑或不自然的重建图像;


本文亮点

G网络使用U-NET+Skip connection;

优化学习过程以提高GAN的稳定性。达到快速收敛;

MSE与Perceptual Loss相结合,获得更好的重建细节;

将频域信息添加到Loss函数,以保持数据一致性;

与其他的CS-MRI算法相比,该算法可以应用在更高的加速倍数、用更快的时间得到更好的结果;

算法:

通常CS-MRI重建过程可以理解为:

Classic Model-Based CS-MRI

x表示待重建的图像,F_{x} 表示欠采样的傅里叶编码矩阵,R为正则化作用。

基于深度学习的CS-MRI重建过程将CNN与CS相结合,公式如下:

Deep Learning-Based CS-MRI

其中f_{cnn} 是通过参数\theta 的CNN正向传播,\zeta 是另一个正则化参数,CNN网络被训练用以优化重建效果,\hat{\theta}表示训练后的CNN优化参数。x_{u}=F_{u}^Hy 表明对y在k空间随机填0欠采样重建后的图像,H表示Hermitian转置。MRI数据通常以复数形式编码了幅值和相位信息,在Deep Learning中,通常有两种表示方式,一种是将虚部置零,只保留实部信息;另一种是将实部和虚部当作两个通道共同作为输入。该论文提到为了减少计算量,使用第一种,但一定会丢失相关信息。


损失函数:

                              L_{TOTAL}= \alpha L_{iMSE}+\beta L_{fMSE}+\gamma L_{VGG}+L_{GEN}    其中L_{iMSE} L_{fMSE} 分别表示时域和频域的MSE;而L_{VGG} 则是基于VGG的Perceptual Loss;L_{GEN} 则为

网络结构:

G网络是带有8层卷积以及8层反卷积的U-NET,值得一提的是在G网络中添加了输入X_{u} 作为Refinement Connection,目的是让G网络更方便地学习残差映射而不是整个图片的映射;D网络则是一个具有11层卷积的标准CNN,并没有使用PatchGAN的思想,而是直接输出Real or Fake。具体结构见下图:

Schema for our proposed conditional GAN-based de-aliasing for fast CS-MRI (DAGAN)



结果:


该论文共在NMSE以及PSNR两个指标进行比较,其中10%到50%表示在K空间重建的采样率,10%表示随机选取K空间10%的信号进行采样,PFPGR表示Pixel-FrequencyPerceptual-GAN-Refinement。可以看到,相比于传统的CS-MRI重建算法,该方法在重建速度上获得了大幅度提升,而且重建效果也有一定提高。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,658评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,482评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,213评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,395评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,487评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,523评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,525评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,300评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,753评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,048评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,223评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,905评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,541评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,168评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,417评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,094评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,088评论 2 352

推荐阅读更多精彩内容