最新影像组学多模态模型预测肺癌新辅助免疫化疗 作者开源模型 可以用于自己研究中直接提取特征或者经过微调后再提取特征

image.png

2024年一项发表于《Journal for ImmunoTherapy of Cancer》的多中心研究显示,通过术前平扫+增强CT构建的深度学习模型(LUNAI-fCT),可无创、精准预测患者病理完全缓解(pCR),为临床决策提供重要参考。


image.png

作者预训练的肺癌CT专用基础模型FM-LCT (https://github.com/zhenweishi/FM-LCT) 已经开源,可以用于自己研究中直接提取特征或者经过微调后再提取特征

image.png

一、数据来源

多中心回顾性队列,覆盖113例训练+112例外部验证 本研究为回顾性多中心研究,纳入2019年8月至2023年2月期间,国内4家中心(A、B、C、D)接受新辅助免疫化疗后手术的NSCLC患者。
纳入标准:经病理证实为NSCLC(IB-III期),完成至少2周期新辅助免疫化疗,术后有完整病理评估,且有术前平扫及增强CT图像。
排除标准:CT图像缺失或质量不佳、CT检查距治疗开始超过1个月、临床病理资料不全。 最终,113例患者来自中心A(按8:2划分为训练集与内部验证集),112例患者来自中心B(73例)、C(20例)、D(19例)作为外部测试集,确保模型的外部泛化能力。

image.png

二、模型构建:从CT图像到预测模型,四步实现精准特征挖掘

1. 数据预处理:标准化图像,确保特征一致性

  • CT图像规格:纳入层厚0.625-1.25mm的平扫(non-contrast)和增强(contrast enhanced)CT,增强扫描使用350mg/mL非离子碘造影剂(60-80mL,注射速率2-3mL/min)。

  • 预处理步骤
    体素重采样:通过B样条插值将图像统一为1mm各向同性体素,消除层厚差异;
    强度归一化:采用z-score方法标准化CT值,减少不同设备的扫描偏差。

  • ROI分割:由放射科医生与胸外科医生联合使用ITK-SNAP软件手动分割肿瘤区域(ROI),随机抽取50例样本计算组内相关系数(ICC≥0.75),证实分割可靠性。

2. 特征提取

采用肺癌CT专用预训练基础模型FM-LCT(https://github.com/zhenweishi/FM-LCT) 提取深度特征。该模型通过掩码自编码器(MAE)对比学习算法,在大规模、多类型肺癌CT数据集上训练,可自动捕捉肿瘤异质性、血管生成等关键生物学特征。

  • 从平扫CT中提取768维特征向量(FS-uCT);
  • 从增强CT中提取768维特征向量(FS-eCT);
  • 融合特征(FS-fCT):对FS-uCT和FS-eCT进行平均池化,整合两种模态信息。

3. 模型训练:降维+随机森林,构建三种预测模型

  • 特征降维:采用主成分分析(PCA)对上述特征降维,保留16个PCs,减少冗余信息并避免过拟合;
  • 模型构建:使用随机森林算法分别构建
    LUNAI-uCT模型(仅平扫特征); LUNAI-eCT模型(仅增强特征); LUNAI-fCT模型(融合平扫+增强特征)
    image.png

三、模型结果

融合模型性能最优,AUC达0.866 在外部测试集(112例)中,三种模型的表现如下:

模型 AUC(95%CI) 准确率 敏感性 特异性 阴性预测值
LUNAI-uCT 0.762(0.654-0.791) 0.676 0.958 0.532 0.962
LUNAI-eCT 0.797(0.724-0.844) 0.716 0.833 0.660 0.892
LUNAI-fCT 0.866(0.821-0.883) 0.800 0.917 0.739 0.944
image.png

融合模型(LUNAI-fCT)的Immu-TR评分(预测pCR的概率)在pCR与非pCR组间差异显著,Kolmogorov-Smirnov检验KS值达0.825(P<0.001),提示其区分能力优异;

亚组分析(按年龄、吸烟状态、临床分期)显示,融合模型在各亚组中均保持稳定性能。

模型解释

用SHapley Additive exPlanations(SHAP)分析量化各CT特征对预测的贡献;


image.png
  • 通过梯度加权类激活映射(Grad-CAM)生成显著性热图,直观展示模型关注的肿瘤区域(主要为瘤内及瘤周环境)。
    下图两例临床特征相似患者(相同TNM分期、吸烟状态、病理类型、病灶位置等)的Immu-TR评分实例:
  • 患者A的Immu-TR评分为0.791,病理证实达到pCR;
  • 患者B的Immu-TR评分为0.213,病理为非pCR;
  • Grad-CAM显著性热图显示,模型提取的深度学习特征主要来自肿瘤内部区域,直观解释了预测依据。


    image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容