Nat Biomed Eng | 将组织图像从冷冻切片转变为FFPE的深度学习模型

原创 huacishu 图灵基因 2023-01-04 11:43 发表于江苏

收录于合集#前沿生物大数据分析

撰文：huacishu

IF=29.234

推荐度：⭐⭐⭐⭐⭐

亮点：

1、作者报告了一种深度学习模型的开发和性能，该模型通过在几分钟内将冷冻切片的全视野图像转换为全视野FFPE组织的样式来提高其质量；

2、该模型由一个生成对抗性网络组成，该网络结合了纠正冰冻切片伪影的注意机制以及冰冻切片图像和FFPE图像之间的自正则化约束，以保存临床相关特征；

3、作者将该模型用于训练模型的数据集的神经胶质瘤和非小细胞肺癌的经转换的FFPE型图像提高了病理学家对肿瘤亚型诊断的准确率。

土耳其海峡大学Mehmet Turan教授课题组在国际知名期刊Nat Biomed Eng在线发表题为“A deep-learning model for transforming the style of tissue images from cryosectioned to formalin-fixed and paraffin-embedded”的论文。冷冻切片组织中的伪影会阻碍手术期间的快速诊断评估。福尔马林和石蜡包埋（FFPE）组织提供了更高质量的样本，但获得它们的过程很费力（通常持续12–48小时），因此不适合在手术中使用。

本文作者报告了一种深度学习模型的开发和性能，该模型通过在几分钟内将冷冻切片的全视野图像转换为全视野FFPE组织的样式来提高其质量。该模型由一个生成对抗性网络组成，该网络结合了纠正冰冻切片伪影的注意机制以及冰冻切片图像和FFPE图像之间的自正则化约束，以保存临床相关特征。用于训练模型的数据集的神经胶质瘤和非小细胞肺癌的经转换的FFPE型图像提高了病理学家对肿瘤亚型诊断的准确率。

病理学家对人体组织的组织学检查是诊断许多疾病的金标准。尽管这种检查最常在福尔马林固定和石蜡包埋（FFPE）组织上进行最终诊断，但一种称为冷冻切片（CS）的快速替代方法是术中决策的关键工具，通常用于评估肿瘤边缘、区分恶性和良性病变以及术中分期。福尔马林固定和石蜡包埋的过程可能需要12–48小时，远远超过了常规术中决策的时间限制。相反，病理学家使用CS，以加速从数小时到数分钟的玻片制备过程（图1）。

然而，这种速度增加的代价是，从冷冻和切割标本中引入了许多伪影，包括细胞细节的扭曲、完全由于冰晶形成而导致的组织损失以及切片厚度变化导致的染色大幅度变化。与FFPE相比，这些几乎不可逆的伪影会严重扭曲组织外观，掩盖恶性细胞，使良性细胞看起来不典型。因此，冷冻切片组织对专家来说是一个重大的诊断挑战，CS和FFPE肿瘤样本的诊断结果之间的不一致率相对较高。

深度学习已用于解决诊断病理学中的各种不同任务，基于深度学习的生成对抗网络（GAN）已用于医学的许多不同领域，包括图像分割、分辨率增强、域自适应、组织切片的虚拟染色和不同染色剂之间的染色转移。

在这篇文章中，作者提出了一个基于GAN的框架，在快速但伪影严重的冷冻切片组织和更常用的FFPE组织之间进行转换，以解决上述CS的关键挑战。作者展示了该方法在两个不同的计算病理学问题上的适应性和诊断贡献：（1）胶质瘤亚型和（2）非小细胞肺癌亚型。还通过广泛的视觉图灵测试（VTT）演示了生成的FFPE类全视野数字切片（WSI）的真实外观。

组织图像样式从冷冻切片到FFPE的转换模型

作者构建了一个非配对转移框架，该框架在逐块和逐像素信号的监督下进行训练，其中“content domain”是CS，“style domain”是FFPE图像。采用了GAN中常见的架构（图2），该架构由基于ResNet的生成器和具有对比学习的PatchGAN鉴别器组成。

接下来作者评估了SR约束和空间注意力块（SAB）的集成及其组合如何影响算法的性能（图3）。SR丢失功能的整合增强了核边界和染色质量，也防止了红细胞错误引入图像，这一修改可能会给人一种出血进入组织的假象（图3a，b）。仅SR损失就使得AI-FFPE能够填充空白区域；然而，这是以相对无差别的方式执行的（图3c，d）。

细胞外基质（ECM）修复算法选择性不足的问题随后通过整合SAB模式得以解决。SR损失与SAB的结合不仅使累积改善，而且还产生了将纹理细节纳入ECM的协同效应。有时，这些模式的组合会降低细胞核和细胞质之间的对比度。然而，将这两种模式结合在一起的好处远远超过其最小的缺点；因此，将SR损失和SAB集成到模型的最终版本中。

模型性能评估

与FFPE相比，冷冻切片为组织引入了额外且独特的误导性人工结构（组织学伪影）。作者首先检查了模型是否逆转了这些假象。结果表明，AI-FFPE有效地纠正了大脑（图4）和肺（图5）切片中的各种冷冻切片伪影，如冷冻、切割、干燥和染色伪影。AI-FFPE通过一起解决各种图像质量问题来校正每种类型的伪影。例如，通过增加核边界的突出度并生成更明显的ECM纹理，逆转了肺和脑组织切片中模糊的伪影（图4a和5a）。

类似地，在WSI中，区域细胞密度由于颤动（图4d）、折叠（图5d）和厚度变化（图4e和5e）而改变，AI-FFPE通过增加细胞核和细胞质之间的对比度，允许在载玻片的较厚区域中增强单个细胞的可视化，其中细胞由于彼此堆叠而以高密度出现。此外，AI-FFPE通过填充由于冷冻过程而产生的人为空白区域来减少组织厚度的差异。

AI-FFPE对这些显微组织图像实施的另一个更显著的图像校正是通过改善颜色强度、对比度和光谱来恢复染色质量（图4c和5c）。此外，冷冻切片往往会产生干燥伪影，这阻碍了病理学家辨别细胞结构的能力，如核结构和细胞质边界（图6），所有这些都通过恢复结构对比度和提高着色质量而被逆转。AI-FFPE还纠正了冰冻切片特有的伪影，如因冰晶形成而出现的空白区域（图4f和5f）。值得注意的是，在单独或组合地逆转这些不同类型的伪影时，作者的方法似乎没有引入任何误导性结构（图4和图5）。

VTTs

为了进一步证实AI-FFPE的图像翻译效率，作者设计了一系列由27名委员会认证的病理学家进行的VTT。在VTT中，参与的病理学家被要求将图像分类为真实图像或合成图像。为了识别由于被要求将图像分为两类而产生的任何偏差，首先执行了两个完全由真实图像组成的伪VTT，一个用于大脑，另一个用于肺部。伪VTT显示，平均而言，病理学家将大约一半的真实FFPE图像分配给真实FPPE类别（大脑为54.42%，肺部为61.36%），并将其余图像分类为合成图像。

作者后来研究了基于AI的CS到FFPE图像转换是否能改善有诊断价值的视觉模式，尤其是那些因CS而恶化的视觉模式。在低级别胶质瘤（LGG）的病例中，某些肿瘤模式的存在，如核异型性、有丝分裂和新生血管形成，可单独使用苏木精和伊红染色进行诊断。AI-FFPE通过改善最小血管（毛细血管）和这些血管周围区域（毛细血管周围区域）的外观、ECM和细胞核中的结构（染色质和核仁），使CS图像中的这种图案更加明显。

在肺部，AI-FFPE还提高了腺癌和鳞状细胞癌诊断模式的清晰度。改善类型的多样性表明AI-FFPE修复和增强癌症类型特异性诊断模式的能力。

基于AI-FFPE的FFPE训练模型评估

最后，通过将作者最近发布的聚类约束注意力多实例学习（CLAM）算法的分类性能与AI-FFPE预处理和常规CS WSI的输入进行比较，评估了上述结果是否会提高诊断性能。对于将非小细胞肺癌分类为腺癌或鳞状细胞癌亚型，与CS WSI相比，AI-FFPE WSI的曲线下面积（AUC）显著更高。对于作为二级（LGG）和四级（GBM）肿瘤的胶质瘤亚型，分类模型受益于AI-FFPE的图像改进，AI-FFPE-WSI的AUC得分显著高于CS WSI。

独立测试队列的读者研究

由于不同实验室之间组织处理、载玻片制备和数字化的标准和协议不同，WSI在图像外观上可能会有很大差异。因此，重要的是验证在癌症基因组图谱（TCGA）上训练的AI-FFPE模型对数据源特定变量具有鲁棒性，并且可以推广到真实世界临床数据。

使用来自独立队列的WSI进行了一项读者研究，以评估AI-FFPE是否提高了诊断准确性。参与的病理学家被要求诊断CS WSI、来自相同CS WSI的AI-FFPE WSI和来自相同肿瘤的FFPE WSI。作者发现AI-FFPE将LGG和GBM的准确肿瘤亚型几率提高19%，将LUSC和LUAD的准确肿瘤分型几率提高16%。

讨论

计算组织病理学提供了改进和评估微观组织图像的工具，越来越多的研究集中于AI的组织病理学应用。这些研究包括开发新的工具，通过组织切片上感兴趣的自动计数元素来帮助病理学家，到指导病理学家诊断相关区域的计算算法，以及尝试用AI对肿瘤亚型进行虚拟染色来替代组织的化学染色。

作者开发了一种称为AI-FFPE的AI算法，该算法有效地解决了大脑和肺组织中许多与冰冻切片相关的图像质量问题。作者的方法在纠正不同性质的伪影方面的效率证明了它的多功能性，这也反映在它能够突出不同类型肿瘤和组织的诊断重要性模式。

在这项工作中，作者还对AI-FFPE与通用图像翻译模型（如CUT、FastCUT和CycleGAN）进行了比较研究，结果表明作者的模型显示了更好的性能。此外，VTT结果的分析表明，AI FFPE生成的图像比一般图像转换模型生成的图像更可能被分类为真实FFPE图像。

重要的是，作者的结果不仅在图像中建立了明显的改进，而且还表明，通过显示AI FFPE转换的图像提高了CLAM的癌症亚型性能，这些改进最终提高了诊断准确性。更值得注意的是，AI-FFPE显著提高了病理学家在读者研究中的肿瘤亚型准确率。未来，前瞻性临床研究可以验证AI-FFPE对CS样本的术中诊断准确性和真实医院环境中的手术决策的贡献。

教授介绍

Mehmet Turan博士2012年获得了德国亚琛工业大学（RWTH Aachen University）的学位，2018年获得了瑞士苏黎世联邦理工学院（ETH Zurich）的博士学位。2013-2014年间，他是加州大学洛杉矶分校（UCLA）的研究科学家。2018-2019年间，他是马克斯·普朗克智能系统研究所的博士后研究员。他的研究兴趣包括开发AI驱动的医疗机器人，以实现患者特定的远程操作、康复、药物输送、活检和手术干预。此外，他还致力于开发多模态融合算法，以结合来自多种成像模式、家族史和患者病史的信息，从而实现更精确的诊断、预后和治疗判断。

参考文献

Ozyoruk KB, Can S, Darbaz B, et al. A deep-learning model for transforming the style of tissue images from cryosectioned to formalin-fixed and paraffin-embedded. Nat Biomed Eng. 2022;6(12):1407-1419. doi:10.1038/s41551-022-00952-9