Nat Biomed Eng | 网上解说数字病理图像和组织图谱数据

原创 huacishu 图灵基因 今天

收录于话题#前沿生物大数据分析

撰文：huacishu

IF=25.671

推荐度：⭐⭐⭐⭐⭐

亮点：

1、作者描述了可用于组织图像分析的软件生态系统，并讨论了对交互式在线指南的需求，以帮助组织病理学家能够理解复杂图像；

2、通过一个软件界面（Minerva）来实现这一想法，该界面可通过web浏览器访问，集成了多组学和组织图谱功能。

哈佛医学院Peter Sorger教授团队在国际知名期刊Nat Biomed Eng在线发表题为“Narrative online guides for the interpretation of digital-pathology images and tissue-atlas data”的论文。复合组织成像有助于诊断和理解复杂的疾病特征。然而，这些数字图像的分析在很大程度上依赖于解剖病理学家对组织特征的回顾、注释和描述的经验。此外，在基础研究和转化研究以及课堂上更广泛地使用来自组织的数据，将受益于图像及其分析结果可视化和共享的软件。从这个角度出发，作者描述了可用于组织图像分析的软件生态系统，并讨论了对交互式在线指南的需求，以帮助组织病理学家能够理解复杂图像。通过一个软件界面（Minerva）来说明这一想法，该界面可通过web浏览器访问，集成了多组学和组织图谱功能。作者认为，这样的互动叙事指南可以有效地传播数字组织学数据，并帮助人们对数据的理解。

目前作者正在开展国际项目，以创建可公开获取的正常人体组织和肿瘤图谱。其中包括人类细胞图谱、人类生物分子图谱计划（HuBMAP）和人类肿瘤图谱网络（HTAN）。例如，HTAN被设想为已建立的癌症基因组图谱（TCGA）的空间分辨对应物（图1）。HTAN图谱旨在整合来自分离单细胞方法（如单细胞RNA测序）的遗传和分子信息，以及来自组织成像和空间转录组学的形态学和空间细节。这些地图集将把许多标本的图像合并到共同的参考系统中，以便对数据进行系统的患者间和跨疾病分析。从概念上讲，在衍生特征的层面上，跨样本和数据类型的整合最容易实现，例如细胞类型和位置的普查（来自成像数据）或转录水平（来自单细胞RNA测序）。自动从图像中提取空间信息的计算方法仍在开发中；因此，由解剖病理学家注释幻灯片的实践仍然是必要的。为了更好地理解病理学家如何从组织标本进行诊断，并量化从细胞邻域计算的特征与临床结果之间的联系，正在进行的研究将为自动化图像分析管道的发展提供有用的见解。然而，人类对组织图像的监督对于将形态学与病理生理学联系起来、评估图像处理算法的质量和训练机器学习分类器仍然是必不可少的。

各种各样的学术和商业显微镜软件系统可用作桌面系统，用于数据分析，或作为客户机-服务器关系数据库管理系统（RDBMS），用于图像管理（图2a）。桌面软件特别适用于交互式图像分析，因为它利用图形卡进行快速图像渲染，并利用高带宽连接到本地数据进行计算。相反，RDBMS是数据管理的理想选择，因为它们支持关系查询、支持多个用户、确保数据完整性并有效管理对大规模本地和基于云的计算机资源的访问（图2b），随着全玻片组织图像的引入，需要新的软件来引导用户处理包含105-106个细胞和100多个通道的异常复杂的图像。这种大小的图像不仅难以处理和共享，而且也难以理解。设想“解释性指南”或“数字指导者”将扮演一个关键角色，帮助引导用户通过一系列人类提供和机器生成的图像注释，就像一篇已发表文章的结果部分通过多面板图引导用户一样。基因科学也面临着类似的高效应用需求和直观的可视化工具，这导致了有影响力的整合基因组学的发展。图片和图像的交互式指南在其他科学领域已经证明非常成功，Mirador项目就是一个例子(https://projectmirador.org). Mirador项目的重点是开发基于网络的文化资源解说旅游，如艺术博物馆、有文化或历史意义的城市等。在这些在线旅行中，一系列航路点（用于帮助导航显示的信息的参考点）和伴随的文本将用户引导到感兴趣的区域，同时也允许自由探索。这种类型的互动叙述也称为数字讲故事或视觉讲故事，模仿了导游提供的一些好处，并作为一种教学工具发挥作用，增强理解和记忆形成。多项研究已经确定了以叙述方式接收复杂信息的好处，数字故事讲述已经应用于医学和研究的多个领域，包括肿瘤学、心理健康、健康公平和科学传播。这些经验如何应用于组织图像？至少，作者认为，仅仅在桌面软件上下载和分析千兆像素大小的图像不足以推进科学发现和改善诊断结果。相反，一种简单的方法，通过相关注释和注释引导用户了解图像的显著特征，对专家和非专家都是有益的。目前，病理学家使用显微镜在图像上平移，并在高倍和低倍视野（放大率）之间切换，从而详细研究细胞，同时将细胞置于整个组织中。在此过程中，通常使用指针突出显示关键功能。在多重图像的情况下，必须将经过时间检验的病理实践与切换通道的方法一起内置到软件中（以便确定特定抗体对最终图像的贡献），并显示图像分析产生的定量数据。

如何实施组织图像的解释性指南？一种可能性是使用OMERO客户机。OMERO是部署最广泛的开源图像信息系统，它与一系列软件客户端兼容。但是，OMERO客户端需要访问OMERO数据库，并且随着映像变大，服务器将大量加载。独立于数据库的查看器由Project Mirador使用，并且基于开源OpenSeaDragon平台。OpenSeadragon可以轻松地缩放和平移图像（方式类似于谷歌地图）。Minerva是为多路图像的引导观看而定制的，它采用了这种方法。Minerva是一个使用客户端JavaScript（因此不需要下载软件）的web应用程序，它可以轻松地部署在标准的商业云上，如Amazon web Services（AWS）（图3）或支持静态站点生成器Jekyll的本地计算服务器上。OpenSeadragon以前曾用于显示H&E图像，但在Minerva，它与叙事功能、图像空间内衍生单细胞功能的交互视图以及适应亮场（H&E和IHC）和多路免疫荧光图像的能力相结合。Minerva还可以在智能手机上显示图像和注释。Minerva兼容OME和生物格式，因此可用于任何现有显微镜或载玻片扫描仪的图像。可以同时访问Minerva开发的叙述指南的用户数量没有实际限制，也不需要专门的服务器或关系数据库，因此保持了低复杂性和低成本。任何熟悉GitHub和AWS（或类似云服务）的人都可以在几分钟内部署一个Minerva，然后由在软件和计算生物学方面缺乏专业知识的个人使用。开发人员还可以基于Minerva框架为其他应用程序开发叙述工具（例如，用于解释蛋白质结构或复杂的高维数据集）。Minerva等软件查看器并非旨在成为处理和分析组织数据的解决方案；相反，它们是专门的浏览器，可以很好地执行一项任务。在Minerva的案例中，它为已经使用其他工具分析的图像提供了一种直观和解释性的方法。基因组浏览器是相似的：它们不执行对齐和数据分析；相反，它们使得与处理后的序列有效地交互成为可能。

在标准web浏览器上的Minerva窗口内，叙述面板将用户的注意力引导到图像的特定区域和特定频道分组，并伴随文本描述（Minerva可以大声读出）和涉及重叠几何形状或文本的图像注释（图4）。每个图像可以与多个叙述的故事关联，并与查看相同类型数据的不同方式关联。叙事指南的一个基本方面是，具有特定疾病或组织专业知识的个人（特别是病理学家）可以创建故事供他人使用，以帮助他们理解标本的形态。Minerva Author是一个桌面应用程序，它将OME-TIFF格式的图像转换为金字塔图像（分辨率不同的分层图像，最大的在底部，最小的在顶部），并协助添加航路点和文本注释。Minerva作者支持RGB图像，如亮场、H&E和IHC，以及多通道图像，如免疫荧光、CODEX和CyCIF。在Minerva Author中写入航路点后，用户将收到配置文件和图像金字塔，以部署到AWS S3或另一个基于web的存储位置（图3）。故事可以简单到一个带有简短介绍的单面板，也可以简单到多面板叙述，其中包含一系列具有详细描述、缩放级别变化和相关数据分析的视图。用户需要几个小时来学习软件，然后从大约30分钟到几个小时来创建一个故事；这与为已发表的文章创建一个良好的静态图形面板所需的时间差不多，并且比数据收集、图像配准、分割和数据分析所需的时间要少得多。作为一个交互式组织指南的案例研究，作者使用Minerva Story标记了一个人类肺腺癌的大样本(https://www.cycif.org/MinervaLungHistology). 该原发肿瘤的大小约为5×3.5mm，并以亚细胞分辨率成像。然后将多个区域缝合成一个图像。因为没有单一的最佳方法来分析包含几十万个细胞的图像，作者创建了两个指南：一个侧重于感兴趣区域的组织学回顾和特定类型的免疫细胞和肿瘤细胞的指南，以及重点介绍在原始图像背景下的定量数据分析（图4a）。Minerva故事窗口左侧的一个面板（图4a中用橙色标出）显示了样本的名称、相关故事的链接、目录和导航工具。在窗口右侧（以粉红色勾勒），另一个导航面板允许选择感兴趣的频道。可以预先指定通道和通道组以及它们定义的单元类型。每种蛋白质（抗原）都与解释性信息源相关联。故事从一个航路点进展到下一个航路点，每个航路点可以包含不同的视野、放大率和通道集，以及描述感兴趣的特定特征的箭头和文字（以灰色标记）。在图4a中，“waypoint one”显示了在肿瘤-基质界面处生长的细胞角蛋白阳性肿瘤细胞。肿瘤的这一区域以炎症微环境为特征，表现为存在多种淋巴细胞和巨噬细胞群体，可通过其细胞表面标记物的表达加以区分。通过使用右侧的面板，用户可以打开和关闭这些标记，以浏览图像和数据，并评估分类的准确性。故事的其余部分探讨PD-L1的表达以及淋巴细胞和巨噬细胞群体的定位。叙事指南也有助于在原始图像的背景下显示定量数据分析的结果。例如，组织图像的数据分析通常涉及测量多个细胞类型标记（例如免疫谱系标记）的共表达，以识别单个细胞类型。细胞状态、形态的分析也很常见。在Minerva Story中，可以将定量数据的表示直接链接到图像空间。例如，当在2D图中捕获数据时，例如用于降维的UMAP（图4b），选择数据点将用户直接带到图像中单元的对应位置。这是histoCat和Facetto等桌面软件中的标准功能，极大地增强了用户对图像和图像衍生功能之间关系的理解。此外，用户可以交互地突出显示感兴趣的区域、添加注释并生成可共享链接，允许其他人导航到图像中的相同位置并查看任何添加的注释和文本（图4b）。

叙事性指南可用于教学。组织学在本科教学中具有挑战性，课程改革减少了医学生和住院医师在显微镜前的时间。在线收集组织图像是一种常见的替代品。事实上，将课堂教学与动态观察以及与图像数据的灵活交互结合起来对于学习至关重要。因此，作者创建了一份H&E图像的叙述指南，该图像取自一名经历多次心肌梗死的患者的心脏组织标本（图5）。介绍性面板描述了心脏的整体结构和各种标本的切除位置。这些图像显示了缺血性心脏病的组织学特征：严重的冠状动脉硬化、斑块破裂、再灌注损伤以及心肌组织梗死的早期、中期和晚期特征。而不是在教科书或注释不清的在线图像中查看组织学数据片段，组织图像数据的交互式叙述提供了有助于更细致地理解常见心脏病理生理学的背景。通过相对较少的努力，文本可以超链接到故事和航路点，学生可以使用图像注释功能记笔记和提问。

最近对单细胞组织生物学的兴趣不仅来源于显微镜技术的进步，也来源于单细胞测序的广泛采用。正常组织和病变组织的综合表征几乎肯定涉及多种分析模式的数据整合，包括成像、空间转录组分析、代谢产物和药物的质谱成像，以及具有空间特征的游离单细胞RNA测序的计算。Minerva目前无法处理所有这些任务，但它可以很容易地与其他工具结合，创建组织图谱所需的多组学查看器。一个有吸引力的可能性是将叙述性组织指南添加到广泛使用的基因组学平台，如癌症基因组学的cBioPortal，以创建可以同时查看基因组和复合组织组织病理学的环境。更好的可视化也有助于完成更具概念挑战性的任务，将多重图像中的空间分子特征与基因表达和突变数据相结合。关于临床应用，生物医学界需要确保数字病理系统不会被基于不可互操作软件的专有数据格式所锁定。研究小组、仪器制造商和科学出版商可以很容易地部署基于开源许可的易于使用的可视化软件，以使高复杂度的图像数据广泛可访问且易于理解。这将有助于组织成像和数字病理学的发展。

教授介绍

Peter Sorger博士是哈佛医学院的系统生物学教授、哈佛治疗科学项目（HiTS）负责人及系统药理学实验室主任。他从哈佛学院获得博士学位，在加入HMS之前，Peter在麻省理工学院担任生物学和生物工程教授。Peter的研究重点是控制细胞增殖和死亡的信号转导网络的系统生物学、这些网络在癌症和炎症疾病中的失调以及针对信号蛋白的治疗药物的作用机制。他的团队使用数学和实验方法来构建和测试人类和小鼠细胞信号传导的计算模型，以此作为理解并最终预测细胞和肿瘤对单独或联合用药的反应的手段。Sorger是Merrimack Pharmaceuticals和Glencoe Software的共同创始人，也是美国、欧洲和日本多家公共和私人公司及研究机构的顾问。

参考文献

Rashid R, Chen YA, Hoffer J, et al. Narrative online guides for theinterpretation of digital-pathology images and tissue-atlas data. Nat BiomedEng. 2021;10.1038/s41551-021-00789-8. doi:10.1038/s41551-021-00789-8