摘要

（医学）图像语义分割任务是将图像的每个像素（或几个像素）分类为一个实例，其中每个实例（或类别）对应于一个类。此任务是场景理解或更好地解释图像的全局上下文的概念的一部分。在医疗图像分析领域，图像分割可以用于影像引导介入、放射治疗或改良放射诊断。在本篇综述中，我们将先进的基于深度学习的医学和非医学图像分割方法分为六个组：深度架构，基于数据合成，基于损失函数，顺序模型，弱监督和多任务方法。进一步，对于每一组，我们分析了这些组的每一个变体，讨论了当前语义图像分割方法的局限性和未来的研究方向。

1. 简介

深度学习对科学的各个领域产生了巨大的影响。本文的研究重点是计算机视觉的一个最关键的领域：医学图像分析（或医学计算机视觉），特别是基于深度学习的医学图像分割方法。对于自然图像的场景理解和医疗影像分析如影像引导介入、放射治疗或改良放射诊断等等而言，分割是一个重要的步骤。已有很多文献介绍深度学习应用于多种医疗图像分割，这些图像包括X射线、可见光成像（如彩色皮肤镜图像）、磁共振成像（MRI）、正电子发射断层成像（PET）、计算机断层成像（CT）和超声（如超声心动图扫描）。为了不同目标改进深度架构一直是研究者的关注焦点，这些目标有解决深度模型的提督消失和爆炸问题，为得到高效同时准确的模型而进行模型压缩，其他工作也尝试引入新的优化函数提高深度网络性能。和其他基于深度学习的自然图像和医疗影像的语义分割综述性文章相比，本文的主要贡献如：

1. 本文覆盖自然图像和医学影像的全部研究成果。对于图像的模态，我们覆盖2D(RGB彩色图或灰度图)和体积医学图像。
2. 我们将语义图像分割文献根据其贡献的性质分为六类：结构改进、基于优化函数的改进、基于数据合成的改进、弱监督模型、序列模型和多任务模型。图1展示本文覆盖的种类。

3. 在全面回顾之后，我们认识到并提出了每一类的重要研究方向。接下来，我们按照图1所示的六个部分进行介绍。对于每一个部分，我们首先回顾非医疗图像数据上的进展，接着介绍在医疗影像中的进展。

   
   
   figure1-六大类别.png

2.网络结构改进

本节讨论了利用卷积神经网络（CNNs）进行语义图像分割的进展，该方法已应用于自然图像和医学图像的判读任务。这些改进主要归功于探索新的神经架构（具有不同的深度、宽度、连接性或拓扑结构）或设计新类型的组件或层。

2.1. 语义分割中的全卷积网络

figure2-FCN.png

随着输入图像经过深度网络处理，为了保留图像中的上下文空间信息，Long等人提出将浅层网络等输出和深层网络输出进行融合，融合步骤如图3所示。

figure3-FCN-特征融合.png

2.2. 编码解码语义分割网络

接着，编码解码语义分割网络如SegNet被提出。解码器等作用是将低分辨率的编码特征图映射到输入分辨率特征图，从而进行最后的像素级的分类。SegNet的新颖之处在于解码器对低分辨率输入特征映射进行上采样的方式。具体的，解码器使用在对应编码器的最大池化步骤中计算的池化索引（图4）来执行非线性上采样。图4包含一系列的非线性变换层（编码器）和对应的解码网络层以及最后的基于像素的分类。特别的，每一个编码包含一个或多个卷积层(使用BN和ReLU激活，无覆盖最大池化和下采样)。由于池化层操作进行的稀疏编码会在解码器中使用最大池化下标进行上采样。

figure4-1SegNet上采样.png

figure5-Unet.png

figure6-Vnet.png

figure7-Tiramisu(unet+Densenet).png

在图8中我们展示了从第一个图像语义分割网络FCN开时的架构改进的简图。

figure8-FCN变种简化.png

figure9.png

figure10-DeepLabV3+.png

2.3. 降低图像分割网络的计算复杂度

在深度图像分类网络中有很多工作旨在降低时间和计算复杂度。一些工作尝试通过张量因子分解、信道/网络剪枝或对连接应用稀疏性简化网络结构。针对深度图像分割网络的复杂度优化问题，提出了几种方法。和Saxena等人工作类似，Liu等人提出了一种层次化的神经网络结构，通过执行单元级和网络级搜索来进行语义图像分割，并在PASCAL VOC 2012[29]和Cityscapes[177]数据集上获得了与最新结果相当的结果。而Chen等人关注于使用随机搜索搜索更小的atrous空间金字塔池模块。 除了网络架构搜索，Srivastava等人修改ResNet中的连接控制信息流动，Liu等人采取一步融合而不需要裁剪通道。

2.4. 基于注意力的语义分割

可将注意力视为使用从几个后续层/特征映射传输的信息来选择和定位输入信号中最具辨别力（或显著）的部分。Hu等人提出一种选择机制，特征图先使用全局池化聚合为单个通道的描述符，然后使用激活门来突出最有辨别力的特征。Wang等人在ResNet基础上加入注意力模块进行图像分类。他们提出的注意力模块包含很多编码-解码网络层。Fu等人提出双重注意网络，其同时使用基于空间和通道的注意力操作。
Li等人提出基于金字塔注意力网络用于语义分割。他们将注意力机制和空间金字塔相结合，从复杂的扩展卷积和人工设计的解码网络中提取精确的密集特征，用于像素标记。Chen等人将注意力用于多尺度输入的DeepLab。

2.5. 对抗语义分割

公式1-对抗语义分割损失.png

其中，和分别表示分割网络和判别网络的参数，和分别表示二分类和多分类交叉熵损失，分割器尽力产生接近于真实标签的分割结果，也就是更加真实。 语义分割模型大致遵循U-Net一样的编码-解码结构。近来研究表明空洞卷积和特征金字塔池化能够提高类似于U-Net的网络效果。在第三部分我们总结这些方法及其改进后的对应方法在医学图像中的应用。

3. 医疗图像中架构发展

本部分回顾基于2D和3D医疗图像分割中的架构发展。

3.1 基于模型压缩的图像分割

为了进行实时图像分割，并且能够在处理体积和高分辨率二维图像（如CT、MRI和组织病理学图像）的情况下处理更大的图像/（子）体积，一些方法尝试压缩深度模型。Weng等人将神经架构搜索技术应用于U-Net得到一个更小的网络并且在CT、MR和超声图像中具有更好的器官/肿瘤分割性能。Brugger等人利用组规范化和leaky ReLU函数，重新设计了U-Net结构，使网络在3D医学图像分割中具有更高的存储效率。Perone等人和Bonta等人设计的空洞卷积神经网络相比于原始的网络具有更少的参数。其他工作也关注于权重量化使得分割网络更加轻便。

3.2 基于编码-解码的图像分割

Drozdal等人提出在输入主干分割网络时，通过一个简单的CNN先验归一化输入图像。他们在电子显微镜分割、CT肝脏分割和MRI前列腺分割方面显示出改进的结果。Gu等人提出在接近网络的瓶颈处使用扩张卷积来保留上下文信息。Vorontsov等人（使用一个数据集）提出一个图像到图像转化到框架，将具有感兴趣对象如肿瘤的输入图像（存在域）转化为没有肿瘤的图像（不存在域），也就是把病变图像转化健康图像。接着模型将移除的肿瘤添加到新的健康图像。这样可以从对象中捕获详细的结构，从而改进对象的分割。Zhou等人提出了一种用于U-Net的长跳跃连接的重新布线方法。并对其在胸部低剂量CT扫描中的结节分割、显微镜图像中的细胞核分割、腹部CT扫描中的肝脏分割和结肠镜视频中的息肉分割方法进行了验证。Goyal等人将DeeplabV3应用于彩色皮肤镜图像以分割皮肤损伤。

3.3 基于注意力机制的图像分割

Nie设计一个注意力模型分割MRI图像的前列腺，和基准模型如V-Net和FCN相比具有更高的准确性。Sinha等人提出多层级注意力模型分割MRI图像中的腹部器官。相似的，Qin等人提出基于空洞卷积的模块保留更详细的注意力。也有很多工作将注意力用于医疗图像分割。

3.4 基于对抗训练的图像分割

Khosravan等人提出对抗训练用于CT扫描中的胰腺分割。Son等人将生成对抗网络应用于视网膜图像分割。Xue等人在生成对抗框架中使用全卷积网络作为分割器用于分割MRI图像中的脑肿瘤。还有其他很多工作成功将对抗学习应用于医学图像分割。

3.5 基于循环神经网络的模型

循环神经网络(RNN)用于处理序列数据。长短期记忆网络（LSTM）网络是一种RNN，它引入了自循环，使梯度流能够持续很长时间。在医疗图像分析领域中，RNNs已经被用来模拟图像序列的时间依赖性。Bai等人提出了一种将全卷积网络与递归神经网络相结合的图像序列分割算法，该算法将时间和空间信息结合到分割任务中。类似的，Gao等人应用LSTM和CNN建立Brian MRI切片时间关系模型提高4D图像分割性能。Li等人使用U-Net得到初始的分割概率图，进一步使用LSTM分割3D CT中分割胰腺。还有其他工作也将RNNs(LSTMs)应用于医疗图像分割。

总结

本文根据自然图像和医疗图像语义分割综述文献，梳理其中语义分割网络模型的主要发展。大部分网络模型在自然图像中对性能如表1所示，可以看出网络结构的改进是语义分割性能的提升的主要因素，从FCN到DeepLabV3+性能从62.2%到89.0%，提升大约27%。其他因素还有复杂的解码器，损失函数等等。接下来我们会梳理语义分割中损失函数的发展。

表1.png