作者：Nima Tajbakhsh, Jae Y. Shin, Suryakanth R. Gurudu, R. Todd Hurst, Christopher B. Kendall, Michael B. Gotway, and Jianming Liang
译：用于医学图像分析的卷积神经网络：完全训练还是微调?
1. Summary
从零开始训练神经网络(CNN)非常困难，因为它需要大量标记的训练数据和大量的专业知识来确保正确的收敛。一个很有希望的选择是微调已经预先训练过的CNN，例如使用大量标记的自然图像训练的CNN。预训练模型已成功应用于各种计算机视觉任务作为特征生成器或作为迁移学习的基准。然而，自然图像和医学图像之间的实质性差异可能会违背此类知识迁移。最近对医学图像处理迁移学习的研究可以分为两类：(1)特征生成器。(2)Fine-tuned(微调)。本文在医学图像的背景下，通过预先训练的深度CNN的充分微调，证明了深度微调可以替代从零开始训练的神经网络。为了解决这个问题，本文考虑了来自3种不同成像模式的4种不同的医学成像应用，通过分层微调和从零开始训练的实验结果比较，得出了以下结论：(1)使用预先训练的CNN，并进行充分的微调优于从零开始训练的CNN，或者与其相当；(2)创建健壮的微调CNN所需训练集的规模比从零开始的少；(3)对于特定的应用来说，浅调和深调不一定是最佳选择；(4)分层调优方案可以提供一种实用的方法，根据可用数据的数量，在具体应用上达到最佳性能。
2. Research Objective
通过CNN模型，研究自然图像和医学图像之间的知识迁移方式，并研究微调CNNs是否可以消除从头开始训练CNN的需求。
3. Problem Statement
作者试图在医学图像分析的背景下回答以下中心问题：
通过预先训练的深度CNNs的充分微调，是否可以消除从头开始深度训练CNN的需求？
4. Methods
以AlexNet模型为基础
1.1 以分层方式微调预先训练的AlexNet。从微调最后一层开始，逐渐增加微调层，直到完全微调整个网络。
- Fine-tuned AlexNet:conv1-fc8
- Fine-tuned AlexNet:conv2-fc8
- Fine-tuned AlexNet:conv3-fc8
- Fine-tuned AlexNet:conv4-fc8
- Fine-tuned AlexNet:conv5-fc8
- Fine-tuned AlexNet:fc6-fc8
- Fine-tuned AlexNet:fc7-fc8
- Fine-tuned AlexNet:only fc8
- AlexNet scratch(从头开始训练CNN)
本文将微调最后几个卷积层称为“浅调”，调整所有卷积层称为“深调”。
1.2 分析了训练样本的数量如何影响预先训练的CNN和从零开始训练的CNN。
1.3 同时也比较了手工方法与微调CNN的性能。
5. Evaluation
在3种不同的医学成像方式中用4种不同的医学成像应用中实验。研究性能时，息肉检测和肺栓塞诊断使用FROC（free-response operating characteristic）分析，结肠镜帧分类使用ROC（receiver operating characteristic）分析，内中膜界面分割使用箱线图（boxplot）分析。为了进行统计比较，本文计算了ROC曲线和FROC曲线对应于95％置信区间的误差条（error bar）。
-
(intinma-media interface segmentation)内中膜界面分割
CIMT定义为颈动脉远端管腔内膜和中膜外膜界面之间的距离。CIMT测量是通过手动追踪感兴趣区域ROI（region of interest）中的腔内膜和中外膜界面，然后计算被追踪界面之间的的平均距离。本文将此界面分割任务制定为3类分类问题，其中目标是将ROI中的每个像素分为3类：腔内膜界面上的像素，中-外膜界面上的像素，接口像素。(3分类) -
(colonoscopy frame classification)结肠镜帧分类
测量结肠镜检查程序质量的一种方法是监测拍摄图像的质量。图像质量评价可以看作一个图像的分类任务，因此输入图像被标记为任何信息或者无信息。(2分类) -
(polyp detection)息肉检测
结肠镜检查是结肠癌筛查和预防的首选技术。结肠镜检查的目标是找到并消除结肠息肉 - 结肠癌的前体。(2分类) -
(pulmonary embolism detection)肺栓塞诊断
PE是一种从下肢来源到肺部的血块，它会导致肺动脉阻塞。CT肺血管造影（CTPA）是PE诊断的主要手段。(2分类)
6. Conclusion
本文的目标是在医学图像分析的背景下解决以下问题：使用预先训练的深度CNN，并进行充分的微调，能否消除从头开始深入培训CNN的需求？
为了确保研究结果的普适性，文章基于来自3种不同成像模式的4种不同医学成像应用，并且广泛的实验已经证明：
- 深度微调的CNN对于医学图像分析表现良好，表明受过充分训练的CNN是有用的，甚至在有限的训练数据时也是可用的。
- 从自然图像到医学图像的知识迁移是可行的，尽管源数据和目标数据之间的存在相对较大的差异。
- CNN所需的微调水平因具体的医学应用程序而异。具体而言，对于PE检测，在对完全连接的后期层进行微调之后实现了性能饱和；对于结肠镜帧分类，通过微调后期和中间层来实现最高性能；对于界面分割和息肉检测，通过对预先训练的CNN中的所有层进行微调来观察到最高性能。
- 对于特定的应用，无论是“浅调”还是“深调”都不是最佳选择。通过分层微调，可以了解微调的有效深度，因为它取决于具体的应用程序以及可用于微调的有标记数据量。基于可用数据量，逐层微调提供一种实用方法，以实现具体应用程序的最佳性能。
- 微调的深度是实现精确图像分类器的基础。
- 微调CNN的一个优点是收敛速度。利用3种不同的初始化CNN权重的技术来进行彻底比较。
7. Note
- 在这项研究中，由于空间限制，无法涵盖所有医学成像方式。例如，没有研究MR图像或组织病理学图像的微调性能，从头开始对CNN进行全面训练已经显示很好的性能。然而，考虑到从自然图像到CT，超声和内窥镜应用的成功的知识迁移，本文推测微调也可以在其他医学应用中取得成功。此外，本文的研究集中在对预先训练的监督模型进行微调。没有考虑无监督的情况。
- 本文的工作的目的不是为了达到许多不同医学成像任务的最高性能，而是研究从头开始训练与微调方式的对比。为了这些目的，本文中针对不同的模型和应用的性能曲线可能不是在每个实验中可以实现的最佳性能曲线。这种次优性能与CNN超参数的选择有关，这些参数会影响模型的收敛速度和最终准确度。考虑到在论文中研究的大量CNN，最优值是不可行的，即使在高端GPU上训练每个CNN也是一个耗时的过程。尽管如此，这个问题并不能改变本文的总体结论，因为比较中使用的大多数CNN都是预先训练的模型，可能比从头开始训练的CNN更不受超参数选择的影响。
- 本文的实验基于AlexNet架构。但是也可以使用更深层次的架构，例如VGGNet和GoogleNet。最近更深层次的架构显示出相对较高的性能来应对计算机视觉任务的挑战，但作者并不认为通过使用更深层的医疗成像应用架构可以获得显着的性能提升。我对此保留疑问。作者没有证明这个说法。
- 本文在对数据集操作时，都各自使用了不同的数据增强。因此，针对具体的医学图像，要选用相应的数据增强方式，才能避免一些误差。
论文链接
Convolutional neural networks for medical image analysis: Full training or fine tuning?
