由于最近在做BraTS2019竞赛,本文主要对BraTS2018比赛的前三名以及今年发表在TMI的一篇论文的网络结构进行归纳总结。
Myronenko A. 3D MRI brain tumor segmentation using autoencoder regularization[C]//International MICCAI Brainlesion Workshop. Springer, Cham, 2018: 311-320.
该论文是BraTS2018脑肿瘤比赛的第一名,主要的网络图主要如下图所示:
首先该论文的输入相对来说是比较大的,因此batch也被设为1,网络中并没有采用BN,而是采用GN。该论文还是更加类似于U-Net结构,encoder和decoder有跳跃的连接层,但是采用的是残差模块,相加而不是concate。但是在encoder阶段采用了更多的卷积。
该论文在高层语义后面又连接了一个VAE模块,用来重构输入图像。作者认为加入VAE分支可以帮助正则化encoder部分,并且在任意的初始化条件下都能够提升性能。
该论文在接一个Sigmoid函数之后,直接输出三个任务(WT, TC, ET)的语义分割图。loss函数如下式:
Zhou, C., Chen, S., Ding, C., Tao, D.: Learning contextual and attentive information for brain tumor segmentation. In: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2018). MultimodalBrain Tumor Segmentation Challenge (BraTS 2018). BrainLes 2018 workshop.LNCS, Springer (2018)
该论文是BraTS2018脑肿瘤比赛的第二名,主要的网络图主要如下图所示:
该论文仅使用了最基本的3D U-Net网络结构,该论文采用的归一化方法是IN,另外通过在上采样之前减少filter数量和in-place操作(pytorch)来节省GPU空间。
该论文采用的loss函数是SDC loss,公式如下
该论文实验表明,使用该loss的情况下,LReLU(leakiness)的效果好于ReLU,该论文也是在接一个Sigmoid函数之后,直接输出三个任务(WT, TC, ET)的语义分割图。
McKinley, R., Meier, R., Wiest, R.: Ensembles of densely-connected cnns withlabel-uncertainty for brain tumor segmentation. In: International Conference onMedical Image Computing and Computer Assisted Intervention (MICCAI 2018).
该论文是BraTS2018脑肿瘤比赛的并列第三名,该论文主要是使用了多模型集成的方法。该论文设计了两个基于和dilated convolution的U型网络。网络结构图如下:
该论文提出了一种新的loss,这种loss减弱了高不确定性区域的损失。其公式如下:
由于这个loss仅能使用于二分类任务,所以该论文也是在接一个sigmoid函数之后,直接输出三个任务(WT, TC, ET)的语义分割图。
Zhou, C., Chen, S., Ding, C., Tao, D.: Learning contextual and attentive information for brain tumor segmentation. In: International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2018). MultimodalBrain Tumor Segmentation Challenge (BraTS 2018). BrainLes 2018 workshop.LNCS, Springer (2018)
该论文是BraTS2018脑肿瘤比赛的并列第三名, 该论文网络结构主要采用了级联网络的思想,并且将分割任务分解成三个任务,
1. 整个肿瘤的粗分割:分割整个肿瘤,但是也是采用5分类;
2. 整个肿瘤以及肿瘤内类的分割: 将粗肿瘤mask扩张5个像素作为感兴趣区域进行训练,也是5分类任务;
3. 增强肿瘤的精确分割: 增强肿瘤的难度很高,类似于上面的方法,将细分割mask作为感兴趣区域,是一个二分类任务。
网络图如下:
该论文亦采用了类似课程学习的方式,首先训练子任务1,逐步增加更难的任务的权重。最后端到端一起训练三个任务。
Ren X, Zhang L, Ahmad S, et al. Task Decomposition and Synchronization for Semantic Biomedical Image Segmentation[J]. arXiv preprint arXiv:1905.08720, 2019.
该论文使用了BraTS2018数据集,发表在TMI,且在BraTS2018数据上取得不错的效果,其网络图如下(是用在ROBOT18数据集):
该论文使用了多任务模型,并且利用分类任务与分割任务之间的相关性(分割label某一类别是否存在)来约束分割任务。Context Ensemble模块主要是为了增大感受野。该网络的loss函数主要由四部分组成,loss函数如下:
总结
上述的论文中,四个网络是采用3D网络,一个网络是采用2.5D网络。除了最后一篇论文,其他论文均采用U-Net型网络。用多任务来使网络部分更加稳定的方法被证明是可行的,BraTS2019第一名采用了VAT使得高层语义保留更多的语义;BraTS2019并列第三名(第四篇论文)通过级联网络来层层递进,从粗到细,从易到难。最后一篇论文通过底层任务与高层任务的高度相关性,来约束底层任务,减少误判。BraTS2019并列第三名(第三篇论文)在loss上将高不确定的像素loss权重减小,来使网络更加稳定。比赛前三名均是直接对三个任务进行预测,而不是对给定标签进行预测,这种方法效果更好。