论文：Neurocomputing 2020
数据集：BraTS 2015，BraTS 2017
1. Introduction
随着影像技术的发展，医学影像(如CT、MRI)已成为疾病筛查、早期诊断、治疗选择、预后评估等过程中必不可少的一部分。为了进一步识别出肉眼无法识别的潜在特征，放射组学[1,2]被开发用于从医学图像中自动提取和分析大量定量特征。在放射组学分析过程中，图像分割是最关键的一步，它将异常区域从整个图像中分离出来。然而，放射科医师手工分割既费力又主观，限制了研究病例的数量和每个临床研究的可重复性。此外，对于脑肿瘤的分割，不仅需要对肿瘤本身进行分割，还需要在体素水平上将其划分为几个细粒度的特定类别。图1为轴位切片MRI图像肿瘤分割的放大图，其中坏死/囊性核心由于体素较少而难以与其他组织区分。
虽然近年来图像分割取得了长足的进展，但现有方法对脑肿瘤的分割结果仍不令人满意。与自然图像分割相比，脑肿瘤分割的主要挑战是两个方面。一方面，由于技术限制和图像采集过程中的不可控因素，在MRI图像中经常观察到运动伪影和噪声。另一方面，正常组织和肿瘤的解剖变异增加了分割的难度。然而，MRI图像分割也有两个优势。一是MRI图像的三维成像，保证了相邻切片之间脑组织信息的连续性。利用三维卷积，可以同时整合矢状面、轴向面和冠状面信息。另一个优点是MRI图像的多模态成像，它为每个体素提供了不同的信号模态。
受灵长类动物腹侧通路和背侧通路[3]这两种通路视觉系统的启发，我们提出了一种不同尺度的端到端并行通路神经网络用于脑肿瘤的分割，以应对这两种挑战，并充分利用MRI图像的特点。具体而言，第一种路径即正常分辨率的注意路径，与视觉系统的腹侧路径相似，侧重于从多模态图像中提取细节信息。该路径由3D Center-crop Dense Block构建，以增加feature maps的可重用性。三维卷积有效地探测切片内部特征，提取每个体素的三维上下文。密集结构既可以加强特征从低层向高层的传播，又可以加强高层监督信息向低层的反向传播。第二种途径，低分辨率但视野更大的上下文途径，是对周围信息的概述，类似于视觉系统的背侧途径。我们使用完全连接的卷积神经网络来构建这个路径。此外，我们还从注意路径到上下文路径采用加权融合结构的交叉路径连接，以弥补下采样导致的详细信息缺失。两条路径的输出通过一个全连接的神经网络融合在一起。
本工作的主要贡献总结如下:
- 我们提出了一个三维中心裁剪密集块来探测多模态脑肿瘤图像的三维特征。与传统的密集块相比，该中心裁剪密集块在不进行填充操作的情况下保持了数据大小的一致性，有利于细粒肿瘤的分割。
- 我们提出了一种双通路神经网络，采用从注意通路到上下文通路的交叉通路连接。正常分辨率注意路径提取详细信息，以确定体素的类别。较低分辨率的背景路径具有较大的视场，将更多的注意力集中在周围的体素上，体素包含了肿瘤的位置和大小等整体信息。提出的交叉路径是为了补偿低分辨率路径中由于下采样而丢失的详细信息。通过这种信息交互机制，我们的并行路径密集神经网络有效地利用了多模态三维图像的细节和背景信息。
3.我们引入一种加权融合结构来整合跨通路连接过程中通路间的信息。加权融合结构对每个神经元的权值进行学习，得到真实值的有效逼近，有助于模型更好地学习。因此，它可以保留比简单的特征映射连接更多的信息。 - 对整个并行路径密集神经网络进行端到端的训练，在BraTS 2015和BraTS 2017数据集上获得了较好的分割性能，表明了所提网络的有效性。
2. Related work
在本节中，我们对医学图像分割方法进行简要回顾。
传统方法。典型的医学图像分割方法主要是利用局部同质性来保证一个区域的分割部分具有相似的像素特征。例如，使用k-means、模糊kmeans和混合聚类的无监督方法已经被广泛地应用于医学图像分割[4-6]。此外，用水平集[7,8]、高斯混合物[9,10]和隐马尔科夫随机场[11,12]的分割方法也被提出用于组织和肿瘤的分割。
二维深度学习方法。近年来，随着自然图像中深度神经网络的发展，许多研究者开始将深度学习方法应用于医学图像分割。UNet[13]是全卷积网络的一个优雅变体，它的上采样部分也有大量的特征通道，这使得网络可以将上下文信息传播到更高的分辨率层。但由于计算时对内存资源的巨大需求，这项工作不能轻易应用于完整的三维图像。VNet[14]是UNet的一个变种，它不对输入体积进行切片处理，而是使用体积卷积。尽管这种方法可以通过将不同的切片视为不同的通道来处理切片之间的信息，但它所使用的二维滤波器仍然会造成第三维信息的损失。H-DenseUNet[15]是一个用于CT容积的肝脏肿瘤分割的二维密集UNet，它产生了层次化的特征，但也忽略了沿z维的空间信息。InputCascadeCNN[16]是一个级联完全卷积网络，它证明了级联结构对分割的有效性。最近，多路径自适应融合密集块被提出用于多模态脑肿瘤分割[17].受递归神经网络在各种场景中成功应用的启发[18-20]，递归注意被应用于来自k空间的大脑分割[21]。
三维深度学习方法。二维深度学习方法通常不能在三维医学图像中取得优异的表现，因为它们忽略了切片之间的上下文信息。为了利用片间信息，人们提出了用于三维医学图像的三维神经网络。由于UNet在二维医学图像分割中的有效性，一些研究人员也将二维UNet工作扩展到三维[22]，用于股骨分割。一种基于伪三维补丁的方法，使用轴向、冠状和矢状视图中图像补丁的三个卷积路径，用于CT图像的头颈部区域分割[23]。著名的DeepMedic[24]，以及其改进版本DMRes与残差结构[25]使用多尺度三维CNN与条件随机场，在脑肿瘤分割方面取得了最先进的性能。三维多尺度全卷积网络也被应用于椎间盘的定位和分割[26]。最近，全卷积神经网络和条件随机场被结合在一个统一的框架中，以获得具有外观和空间一致性的分割结果[27]。HyperDense-Net将密集连接应用于三维多模态全卷积网络，用于大脑分割[28]。应用人类可理解的分解概念[29]和RBM-随机森林[30]来提高深度方法的可解释性。
我们的方法将三维多尺度的定义扩展到密集网络，并在平行路径之间施加了跨路径连接。密集连接仅仅发生在正常分辨率的路径中，而信息被纳入低分辨率的路径中。因此，信息融合既发生在卷积层的早期阶段，也发生在全连接层的后期阶段。
没有预处理，patch为31x31x31和25x25x25,作者提出有2个并行路径— —注意力路径和上下文路径。
注意力路径：包含dense block，没有用到注意力机制，而是单纯用的DenseNet-BC
上下文路径：包含很多3x3x3的卷积。
融合2条路径
