©作者 |doreen
01 介绍
随着新冠病毒在全球大规模地传播，其较高的隐蔽性和极强的传染性为疫情防控带来了严峻的挑战。
对于医疗卫生行业来说，利用有效的方式筛选出被感染的患者显得尤为重要。
目前普遍采用的检测方法是核酸检测，但是其误报率较高且耗时较长。为了解决这个问题，胸部X光检测结合深度学习的分类算法凭借其误报率低、价格低廉、安全性好将成为核酸检测的理想替代品。
图1 胸部X光片（左图是COVID-19阳性图样，右图是阴性图样，红色部分标注了肺的轮廓，蓝色部分标注的肺部异常）
（图片来自论文：Improving COVID-19 CXR Detection with Synthetic Data Augmentation.
https://arxiv.org/abs/2112.07529）
02 相关工作
目前在利用深度学习研究患者的胸部X光片来检测COVID-19方面已开展了许多工作。
由于数据来源不同，标注质量参差不齐，导致深度学习模型的预测结果受到了普遍质疑。
为了进一步提升模型的泛化性能，最有效的解决方案便是提高样本的多样性。
考虑到部分图像质量不佳，以及因个人隐私问题导致的数据获取途径困难，样本的多样性无法通过实地数据采集来实现。
考虑到深度学习领域中的GAN(Generative Adversarial Networks)在胸部X光片的检测中已有较好的应用效果。
因此可以通过利用GAN对现有的图像进行数据增广来提高样本的多样性，进而达到提高深度学习模型的泛化性能。
03 方法
1、利用StyleGAN进行数据增广
GAN是由研究人员于2014年提出的一种新的网络结构，最近几年在深度学习的视觉领域应用非常广泛。
GAN是基于二人零和博弈的思想，主要包括一个生成模型G和一个判别模型D。
在训练过程中生成模型G将生成的样本（伪样本）和真实样本随机地传送给判别模型D，判别模型D需尽可能识别出真实样本。同时，生成模型G要尽量最小化判别模型D判别出伪样本的概率。
因GAN具有生成以假乱真的图像的能力，其通常被研究人员稍作改进后生成了风格各异的图像，这就形成了新的网络结构StyleGAN。
StyleGAN的结构主要包括一个Mapping Network和一个Synthesis Network(如图2所示)。
传统GAN的输入z是一个符合均匀分布或高斯分布的随机向量。考虑到实际情况中X光片的图像数据并不符合如此理想的分布，因此StyleGAN中的隐藏变量z首先通过Mapping Network生成中间变量w从而达到控制生成的胸部X光片的风格（例如：图像的随机水平翻转、±5°内随机旋转等）。
接着将通过w转换后的仿射变换送入Synthesis Network 的每层子网络中，同时对每层子网络加入一定的随机噪声来调节图像的style。
通过这种方式，作者将COVID-19胸部X光片的公开数据集中选了13794张阴性结果的图像和2158张阳性结果的图像送入StyleGAN中分别生成了10000张阴性和10000张阳性结果的X光片。
图2 StyleGAN的结构
（图片来自论文：A Style-Based Generator Architecture for Generative Adversarial Networks. h
ttps://http://arxiv.org/abs/1812.04948）
图3 通过ResNet50+StyleGAN识别的胸部X光片（左图是模型正确识别的真实的阳性结果的X光片，右图是模型正确识别的生成的阳性结果的X光片）（图片来自论文：Improving COVID-19 CXR Detection with Synthetic Data Augmentation. https://arxiv.org/abs/2112.07529）
2、利用ResNet50进行图像检测
将增广后的1000张阳性结果的图像和1000张阴性结果的图像和原图像一起送入ResNet50模型进行训练。
为了提高训练效率，所有图像的尺寸都调整为224*224，并将minibatch设为16。作者采用了自适应优化器Adam solver，同时将交叉熵损失(cross-entropy)作为损失函数。
为了高效地管理内部学习率，作者将Adam solver与单周期学习（one-cycle learning）结合起来，将初始及最大学习率分别设置为0.001和0.006。
首先，作者把除最后一层的其他卷积层全部冻结，将模型训练了5轮，此时的学习率为初始学习率。
接着采用单周期学习策略，将所有的网络参数另外训练了30轮。
为了达到检测目的，原ResNet网络的最后一层全连接层改为一个线性分类器来区分阳性、阴性分类结果。
04 实验
为了验证GAN+ResNet50的检测效果，研究人员采样了同一个医疗机构的2019年11月至2020年5月566名患者（年龄从23岁到82岁之间，其中315名是女性）的胸部X光片，利用StyleGAN对其进行图像增广后将数据集划分成训练集、验证集和测试集（如表1所示）。
接着作者用ResNet50模型对图像进行分类，并从FI-score, precision和recall这三个指标检测了验证集和测试集结果的准确性（如表2所示）。
表1 数据集的划分结果
（表格来自论文：Improving COVID-19 CXR Detection with Synthetic Data Augmentation.
https://arxiv.org/abs/2112.07529）
表2 图像增广前后模型的测试结果
（表格来自论文：Improving COVID-19 CXR Detection with Synthetic Data Augmentation.
https://arxiv.org/abs/2112.07529）
从表1可以得出，对于验证集数据，不需要数据增广即可获得较好的检测效果；但对于测试集数据，数据增广后模型的检测效果普遍优于增广前的检测效果。
这可能是由于模型在对小批量数据的训练过程中出现了一定程度的过拟合，使得部分验证集数据的准确率达到了100%。
通过StyleGAN对图像进行增广后，输入样本的多样性开始增加，模型的泛化性能得到进一步提升，因此模型的检测效果有了明显的改善。
05 结论
实验结果证明深度学习确实可以很好地应用于单一源头的胸部X光片的检测。
通过采用StyleGAN对测试图像进行数据增广能在一定程度上提高模型的泛化性。然而在实际操作过程中，不同来源的图像质量不一，训练数据和测试数据分布的差异性较大，未来可以参考few-shot learning中小样本数据的处理方法来解决这个问题。
参考文献
Improving COVID-19 CXR Detection with Synthetic Data Augmentation.
https://arxiv.org/abs/2112.07529
A Style-Based Generator Architecture for Generative Adversarial Networks.
https://arxiv.org/abs/1812.04948
私信我领取目标检测与R-CNN/数据分析的应用/电商数据分析/数据分析在医疗领域的应用/NLP学员项目展示/中文NLP的介绍与实际应用/NLP系列直播课/NLP前沿模型训练营等干货学习资源。
