DFP-ResUNet:Convolutional Neural Network with a Dilated Convolutional Feature Pyramid for Multimo...

论文:Computer Methods and Programs in Biomedicine 2020

数据集:BraTS 2019

1. Introduction

脑肿瘤由不受控制的细胞增殖引起的组织组成,在大脑中没有生理功能[1].胶质母细胞瘤是最致命的胶质瘤,占所有弥漫性胶质瘤诊断的70-75%,中位总生存时间为14-17个月[2]。它可分为低级别(LGG)和高级别胶质瘤(HGG)。因此,它是制定合适的治疗方案的关键阶段,以提高患者的生活质量。磁共振成像(MRI)是一种流行的技术,可以提供有价值的解剖学信息[3]。医学图像包含四种MRI模式:流体衰减反转恢复(Flair)、T1加权(T1)、T1加权对比增强(T1-ce)以及每个病人的T2加权(T2)[4] 。脑瘤分割将三个不同的脑瘤亚区,即全瘤(WT)区、瘤核(TC)区和增强瘤核(ET)区,与正常组织分开[5]。放射科医生手动分割脑肿瘤很耗时,而且受主观因素的影响[6]。因此,研究半自动或全自动的脑肿瘤分割对脑肿瘤和正常组织的定量分析和评价具有重要意义[7]。

自2015年以来,U-Net[8]在医学图像分割领域得到了广泛的应用。目前,许多新的卷积神经网络设计方法继续使用UNet的核心思想,增加了新的模块或融入了其他设计理念。例如,Aboelenein等人提出了一个混合双轨UNet(HTTU-Net)神经网络来实现脑肿瘤的分割。这个网络被分为两条路径。一条路径用于关注肿瘤的形状和大小,另一条路径用于捕捉背景信息[10]。此外,Wang等人提出了一个用于生物医学图像分割的非局部U-Net,它集成了残差块和全局聚合块。该网络的推理速度比其他网络快,精度高,参数少[11]。

增加网络层数是提高网络性能的一种流行方法。网络层数越深,消失梯度的情况就越严重。为了减少梯度消失的问题,有人提出了残差模块[12]。Abdelaziz Ismael等人提出使用残差神经网络对MRI图像中的脑瘤进行分类。最后,他们获得了99%的最高准确率,超过了以前在同一数据集上的其他工作[13]。Han等人使用深度残差网络和空间变换器预测了骨骼的年龄。通过基于特征提取的深度残差网络,基于图像的骨龄评估的准确性得到了进一步提高[14]。

为了获取全局特征信息,Zhao等人提出了PSPNet,该网络通过基于不同区域的上下文聚合来开发全局上下文信息的功能[15]。空间金字塔网络可以利用不同扩张率和多个感受野的过滤器或集合操作检测输入特征,然后对多尺度的上下文信息进行编码[16]。Nuechterlein等人提出了3D-ESPNet,将ESPNet[17]扩展到三维脑瘤分割任务中[18]。Zhou等人提出了AFPNet,它使用一个三维反演特征金字塔来提取上下文特征,并使用三维条件随机场(CRF)对分割结果进行后处理[19]。Ni等人提出了一个全局上下文网络来分割医学图像。对于特征编码,他们使用了多个卷积和批量规范化层来提取特征。此外,他们在解码模块中加入了一个全局上下文注意(GCA)块和一个挤压和激发金字塔池(SEPP)块[20]。

在U-Net在医学图像中强大的分割精度的驱动下,像素级的分割任务取得了很大的进展。但我们发现,传统的U-Net没有提取图像的多尺度特征信息的操作。换句话说,U-Net缺乏一个合适的策略来利用全局场景特征。全局金字塔集合模型可以解决这个问题,通过金字塔集合模型中的不同层次实现不同大小的特征图。这些不同层次的特征有助于提高分割的准确性。本文主要是利用深度神经网络对多模态MRI中的不同脑瘤亚区(水肿、坏死、增强和非增强的肿瘤核心,见图1)进行自动分割。

我们提出了一个神经网络模型,由具有编码和解码结构的U-Net与残差模块,以及基于扩张卷积的特征金字塔模块(DFP)组成[21],即DFP-ResUNet。DFP-ResUNet的主要贡献如下:

1)我们使用一个步长为2的卷积层进行下采样,避免了图像信息的丢失。此外,我们在网络中整合了一个残差模块,可以在很大程度上消除由于网络结构加深而导致梯度消失和爆炸的问题。

2)为了提取MRI图像的多尺度信息,我们提出了一个DFP模块。该模块由多个并行膨胀的卷积层组成。扩张的卷积层可以扩展卷积层的感受场,这意味着卷积层可以更好地提取图像不同位置的特征。

3)针对脑肿瘤图像中的类不平衡现象,提出了一种考虑脑肿瘤图像中各类的权重信息的多类骰子损失函数。能充分抑制级失衡对脑肿瘤分割的影响。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,525评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,203评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,862评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,728评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,743评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,590评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,330评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,244评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,693评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,885评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,001评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,723评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,343评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,919评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,042评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,191评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,955评论 2 355

推荐阅读更多精彩内容