医学图像分割————网络结构

    由于最近在做BraTS2019竞赛,本文主要对BraTS2018比赛的前三名以及今年发表在TMI的一篇论文的网络结构进行归纳总结。

Myronenko A. 3D MRI brain tumor segmentation using autoencoder regularization[C]//International MICCAI Brainlesion Workshop. Springer, Cham, 2018: 311-320.

    该论文是BraTS2018脑肿瘤比赛的第一名,主要的网络图主要如下图所示:

      首先该论文的输入(160 \times 192 \times 128)相对来说是比较大的,因此batch也被设为1,网络中并没有采用BN,而是采用GN。该论文还是更加类似于U-Net结构,encoder和decoder有跳跃的连接层,但是采用的是残差模块,相加而不是concate。但是在encoder阶段采用了更多的卷积。

      该论文在高层语义后面又连接了一个VAE模块,用来重构输入图像。作者认为加入VAE分支可以帮助正则化encoder部分,并且在任意的初始化条件下都能够提升性能。

      该论文在接一个Sigmoid函数之后,直接输出三个任务(WT, TC, ET)的语义分割图。loss函数如下式:

                         L = L_{dice} + 0.1* L_{L2} + 0.1* L_{KL}

Zhou, C., Chen, S., Ding, C., Tao, D.: Learning contextual and attentive information for brain tumor segmentation. In: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2018). MultimodalBrain Tumor Segmentation Challenge (BraTS 2018). BrainLes 2018 workshop.LNCS, Springer (2018)

    该论文是BraTS2018脑肿瘤比赛的第二名,主要的网络图主要如下图所示:


        该论文仅使用了最基本的3D U-Net网络结构,该论文采用的归一化方法是IN,另外通过在上采样之前减少filter数量和in-place操作(pytorch)来节省GPU空间。

        该论文采用的loss函数是SDC loss,公式如下

L_{dc} = \frac{- 2}{|k|} \sum_{k\subseteq K}\frac{\sum_iu_i^k v_i^k}{\sum_i u_i^k + \sum_i v_i^k}

       该论文实验表明,使用该loss的情况下,LReLU(leakiness10^{-2})的效果好于ReLU,该论文也是在接一个Sigmoid函数之后,直接输出三个任务(WT, TC, ET)的语义分割图。

McKinley, R., Meier, R., Wiest, R.: Ensembles of densely-connected cnns withlabel-uncertainty for brain tumor segmentation. In: International Conference onMedical Image Computing and Computer Assisted Intervention (MICCAI 2018).

       该论文是BraTS2018脑肿瘤比赛的并列第三名,该论文主要是使用了多模型集成的方法。该论文设计了两个基于和dilated convolution的U型网络。网络结构图如下:


      该论文提出了一种新的loss,这种loss减弱了高不确定性区域的损失。其公式如下:

L = (1-p_x)^{\gamma}(BCE(p,x)+BCE(p,(1-x)*q+x*(1-q))+BCE(q,z))

      由于这个loss仅能使用于二分类任务,所以该论文也是在接一个sigmoid函数之后,直接输出三个任务(WT, TC, ET)的语义分割图。

Zhou, C., Chen, S., Ding, C., Tao, D.: Learning contextual and attentive information for brain tumor segmentation. In: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2018). MultimodalBrain Tumor Segmentation Challenge (BraTS 2018). BrainLes 2018 workshop.LNCS, Springer (2018)

      该论文是BraTS2018脑肿瘤比赛的并列第三名, 该论文网络结构主要采用了级联网络的思想,并且将分割任务分解成三个任务,

1. 整个肿瘤的粗分割:分割整个肿瘤,但是也是采用5分类;

2. 整个肿瘤以及肿瘤内类的分割: 将粗肿瘤mask扩张5个像素作为感兴趣区域进行训练,也是5分类任务;

3. 增强肿瘤的精确分割: 增强肿瘤的难度很高,类似于上面的方法,将细分割mask作为感兴趣区域,是一个二分类任务。

      网络图如下:


      该论文亦采用了类似课程学习的方式,首先训练子任务1,逐步增加更难的任务的权重。最后端到端一起训练三个任务。

Ren X, Zhang L, Ahmad S, et al. Task Decomposition and Synchronization for Semantic Biomedical Image Segmentation[J]. arXiv preprint arXiv:1905.08720, 2019.

      该论文使用了BraTS2018数据集,发表在TMI,且在BraTS2018数据上取得不错的效果,其网络图如下(是用在ROBOT18数据集):


      该论文使用了多任务模型,并且利用分类任务与分割任务之间的相关性(分割label某一类别是否存在)来约束分割任务。Context Ensemble模块主要是为了增大感受野。该网络的loss函数主要由四部分组成,loss函数如下:

L=L_{seg}+w_1 \cdot L_{cla} + w_2 \cdot L_{scene} + w_3 \cdot L_{sync}

总结

      上述的论文中,四个网络是采用3D网络,一个网络是采用2.5D网络。除了最后一篇论文,其他论文均采用U-Net型网络。用多任务来使网络encoder部分更加稳定的方法被证明是可行的,BraTS2019第一名采用了VAT使得高层语义保留更多的语义;BraTS2019并列第三名(第四篇论文)通过级联网络来层层递进,从粗到细,从易到难。最后一篇论文通过底层任务与高层任务的高度相关性,来约束底层任务,减少误判。BraTS2019并列第三名(第三篇论文)在loss上将高不确定的像素loss权重减小,来使网络更加稳定。比赛前三名均是直接对三个任务进行预测,而不是对给定标签进行预测,这种方法效果更好。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,172评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,346评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,788评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,299评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,409评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,467评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,476评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,262评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,699评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,994评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,167评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,827评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,499评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,149评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,387评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,028评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,055评论 2 352

推荐阅读更多精彩内容