医学图像配准综述之研究趋势和未来发展2019-09-23

6、研究趋势和未来发展

在这一部分中,我们总结了深度学习医学图像配准的研究现状和未来发展方向。如图2所示,一些研究趋势已经出现。首先,基于深度学习的医学图像配准在一般应用中似乎遵循着深度学习再医学图像分析中的趋势。其次,无监督变换估计方法最近越来越受到研究领域的重视。此外,基于深度学习的方法始终优于基于传统优化的方法[93]。根据观察到的研究趋势,我们推测以下的研究方向将会在研究领域受到更多的关注。


Fig. 2 An overview of the number of deep learning based image registration works and deep learning based medical imaging works. The red line represents the trend line for medical imaging based approaches and the blue line represents the trend line for deep learning based medical image registration approaches. The dotted line represents extrapolation.

6.1 深度对抗性图像配准

我们进一步推测,在未来的几年里,GANs将在基于深度学习的图像配准中得到更频繁的应用。如上所述,GAN可以基于不同的目的在深度学习医学图像配准:确保预测转换是现实的,使用鉴别器作为相似性度量,并使用GAN执行图像翻译将多模态配准问题转化为单模态配准问题。
无约束变形场预测可能得到具有不真实器官外形的扭曲移动图像(warped moving images)。常用的方法是将预测变形场的L2范数加入损失函数。然而,Hu等人[50]探索了使用类GAN框架来产生逼真的变形。与L2范数正则化方法相比,用判别器约束变形预测具有更好的性能。
此外,GANs在一些工作中被用来学习一种相似度度量。最近的一些研究[33,134]使用鉴别器来区分对齐和未对齐的图像对。这在多模态配准的情况下特别有用,在这种情况下,手工制作的相似度指标几乎没有成功。由于这使得生成器可以在没有真实转换的情况下进行训练,因此进一步关于用鉴别器作为相似性度量的研究可能出现再多模态配准方向上。
最后,无论是否有配对的训练数据可用[145],GANs可以用来映射源域中的医学图像(如 MR)到目标域(如CT)[20,55,77,139]。这将是有利的,因为许多单模态的无监督配准方法使用相似性度量来定义它们的损失函数,而在多模态情况下,相似性度量常常失败。如果将图像转换作为预处理步骤,则可以使用常用的相似性度量来定义损失函数

6.2 基于增强学习的配准

我们还预计,强化学习在未来几年将更普遍地用于医学图像配准,因为它非常直观的模仿医生配准的方式。值得注意的是,基于深度学习的医学图像配准存在一些独特的挑战:包括可变形配准案例中动作空间的维数。然而,我们认为这些限制是可以克服的,因为已经有一种方法提出了使用基于增强学习的配准与可变形转换模型[64]。

6.3 原始成像域配准

本文重点讨论了利用重建图像进行配准的方法。然而,我们推测将重构合并到基于端到端深度学习的配准中是可能的。2016年,Wang[130]提出利用深度神经网络进行图像重建。此外,最近的一些工作[138,144,101]证明了深度学习将原始数据域中的数据点映射到重构图像域中的能力。因此,我们有理由期待,以原始数据作为输入和输出的配准在未来几年内能够开发出配准、重建后的图像。

7、结论

本文对近年来利用深度学习进行医学图像配准的研究工作进行了综述。由于每个应用都有其独特的挑战,因此基于深度学习的框架的创建必须仔细设计。大多数基于深度学习的医学图像配准应用都面临着类似的挑战(例如缺乏大型数据库,难以对医学图像进行鲁棒性标记)。最近的成功证明了将深度学习应用于医学图像配准的影响。这一趋势可以在医学成像应用中观察到。未来许多令人兴奋的工作肯定是建立在本文概述的最近进展的基础上的。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容