谷歌研究发布了两种仅供研究使用的新工具，用于训练皮肤病学和病理学的医学成像模型，并建立在其特定领域的嵌入之上。
全球范围内，放射科、皮肤科和病理科等各专业都缺乏医学影像专家的解读。机器学习 (ML) 技术可以帮助减轻这一负担，它为医生提供工具，使医生能够更准确、更有效地解读这些图像。然而，此类 ML 工具的开发和实施往往受到高质量数据、ML 专业知识和计算资源可用性的限制。
促进 ML 在医学成像领域的应用的一种方法是通过领域特定模型，该模型利用深度学习 (DL) 将医学图像中的信息捕获为压缩数值向量（称为嵌入）。这些嵌入表示对图像中重要特征的一种预先学习的理解。与直接处理高维数据（例如图像）相比，识别嵌入中的模式可减少训练高性能模型所需的数据量、专业知识和计算量。事实上，这些嵌入可用于执行专门领域内的各种下游任务（见下方动画）。这种利用预先学习的理解来解决相关任务的框架类似于经验丰富的吉他手通过耳朵快速学习新歌。因为吉他手已经建立了技能和理解的基础，所以他们可以很快掌握新歌的模式和节奏。
Path Foundation 用于将 (图像，标签) 对的小数据集转换为 (嵌入，标签) 对。然后可以使用这些对来训练特定于任务的分类器，使用线性探针（即轻量级线性分类器）如图所示，或使用嵌入作为输入的其他类型的模型。
一旦线性探测器训练完成，它就可以用于对新图像的嵌入进行预测。这些预测可以与地面实况信息进行比较，以评估线性探测器的性能。
为了使这种嵌入模型可用并推动医学成像领域 ML 工具的进一步开发，我们很高兴发布两个用于研究的特定领域工具：Derm Foundation和Path Foundation。这是继我们使用CXR Foundation嵌入工具进行胸部 X 光检查的研究人员反馈的强烈反响之后发布的，也是我们在多个医学专科模式中不断扩展的研究产品的一部分。这些嵌入工具将图像作为输入并生成分别专用于皮肤病学和数字病理学图像领域的数值向量（嵌入）。通过在相应的嵌入工具中运行胸部 X 光片、皮肤病学或病理学图像的数据集，研究人员可以获得自己图像的嵌入，并使用这些嵌入快速为其应用开发新模型。
路径基金会
在“组织病理学自监督模型的领域特定优化和多样化评估”中，我们展示了病理图像的自监督学习 (SSL) 模型优于传统的预训练方法，并能够高效地训练分类器以完成下游任务。这项工作的重点是苏木精和伊红(H&E) 染色的载玻片，这是诊断病理学中的主要组织染色，使病理学家能够在显微镜下观察细胞特征。使用 SSL 模型输出训练的线性分类器的性能与之前使用数量级更多的标记数据训练的 DL 模型的性能相当。
由于数字病理图像和“自然图像”照片之间存在很大差异，这项工作在模型训练期间涉及几项针对病理的优化。一个关键因素是病理学中的全幻灯片图像(WSI) 可以是 100,000 像素宽（比典型的智能手机照片大数千倍），并由专家以多种放大倍数（缩放级别）进行分析。因此，WSI 通常被分解为更小的图块或块，以用于计算机视觉和 DL 应用。生成的图像信息密集，细胞或组织结构分布在整个画面中，而不是具有不同的语义对象或前景与背景变化，从而为稳健的 SSL 和特征提取带来了独特的挑战。此外，用于准备样本的物理（例如切割）和化学（例如固定和染色）过程会极大地影响图像外观。
考虑到这些重要方面，针对病理的 SSL 优化包括帮助模型学习与染色无关的特征、将模型推广到来自多个放大倍数的斑块、增强数据以模拟扫描和图像后处理，以及自定义数据平衡以改善 SSL 训练的输入异质性。这些方法通过涉及 12 个不同任务中的 17 种不同组织类型的广泛基准任务进行了广泛评估。
利用视觉转换器 ( ViT-S/16 ) 架构，Path Foundation 在上述优化和评估过程中被选为性能最佳的模型（如下图所示）。因此，该模型在性能和模型大小之间实现了重要的平衡，从而能够在大型病理 WSI 的许多单独图像块上生成嵌入，实现有价值且可扩展的用途。
PathDerm3-培训
针对 Path Foundation 的病理特定优化的 SSL 训练。
下图还可以看到领域特定图像表示的价值，该图显示了与传统的自然图像预训练（ImageNet-21k ）相比，Path Foundation 的线性探测性能有所提高（以AUROC衡量）。这包括对淋巴结中的转移性乳腺癌检测、前列腺癌分级和乳腺癌分级等任务的评估。
PathDerm4-路径结果
通过在组织病理学中的多个评估任务中进行线性探测，路径基础嵌入的性能明显优于传统的 ImageNet 嵌入。
皮肤基金会
Derm Foundation是一种嵌入工具，源自我们在应用 DL 解读皮肤病图像方面的研究，并包含我们最近的工作，这些工作增加了改进以更好地推广到新的数据集。由于其针对皮肤病学的预训练，它对皮肤病图像中的特征具有潜在的理解，可用于快速开发模型来对皮肤病进行分类。该 API 所依赖的模型是分两个阶段训练的BiT ResNet-101x3。第一个预训练阶段使用类似于ConVIRT 的对比学习，对来自互联网的大量图像-文本对进行训练。在第二阶段，然后使用临床数据集（例如来自远程皮肤病学服务的数据集）对该预训练模型的图像组件进行微调，以进行病情分类。
与组织病理学图像不同，皮肤病学图像更接近用于训练当今许多计算机视觉模型的真实世界图像。但是，对于专门的皮肤病学任务，创建高质量的模型可能仍需要大量数据集。借助 Derm Foundation，研究人员可以使用自己的较小数据集来检索特定领域的嵌入，并使用这些嵌入来构建较小的模型（例如线性分类器或其他小型非线性模型），使他们能够验证他们的研究或产品创意。为了评估这种方法，我们使用远程皮肤病学数据在下游任务上训练模型。模型训练涉及不同的数据集大小（12.5%、25%、50%、100%），以比较基于嵌入的线性分类器与微调。
考虑的建模变体包括：
BiT-M（标准预训练图像模型）冻结嵌入的线性分类器
BiT-M 的微调版本，带有一个额外的密集层，用于下游任务
来自 Derm Foundation API 的冻结嵌入线性分类器
Derm Foundation API 底层模型的微调版本，带有一个用于下游任务的额外层
我们发现，基于 Derm Foundation 嵌入构建的用于皮肤病学相关任务的模型的质量明显高于仅基于嵌入构建或通过 BiT-M 微调的模型。我们发现，这种优势在训练数据集较小时最为明显。
PathDerm5-DermResultsHero
这些结果表明，Derm Foundation 也可以作为加速皮肤相关建模任务的有用起点。我们的目标是让其他研究人员能够基于该模型所学习到的皮肤病学基本特征和表现形式进行构建。
这些结果表明，Derm Foundation 也可以作为加速皮肤相关建模任务的有用起点。我们的目标是让其他研究人员能够基于该模型所学习到的皮肤病学基本特征和表现形式进行构建。
然而，这种分析存在局限性。我们仍在探索这些嵌入在任务类型、患者群体和图像设置中的泛化效果。使用 Derm Foundation 构建的下游模型仍需要仔细评估，以了解它们在预期设置中的预期性能。
访问路径和皮肤基金会
我们设想，Derm Foundation 和 Path Foundation 嵌入工具将实现一系列用例，包括高效开发诊断任务模型、质量保证和预分析工作流程改进、图像索引和管理以及生物标记发现和验证。我们将向研究社区发布这两种工具，以便他们可以探索嵌入对他们自己的皮肤病学和病理学数据的实用性。
要获得访问权限，请使用以下 Google 表单注册每个工具的服务条款。
皮肤基金会访问表格
路径基金会访问表格
获得每个工具的访问权限后，您可以使用 API 从存储在 Google Cloud 中的皮肤病学图像或数字病理学图像中检索嵌入。 仅对模型和嵌入的实际效果感到好奇的获批用户可以使用提供的示例 Colab 笔记本，使用公共数据训练模型，以对六种常见皮肤病进行分类或识别组织病理学斑块中的肿瘤。 我们期待看到这些工具可以解锁的用例范围。
致谢
我们要感谢为这项工作提供帮助的许多合作者，包括 Yun Liu、Can Kirmizi、Fereshteh Mahvar、Bram Sterling、Arman Tajback、Kenneth Philbrik、Arnav Agharwal、Aurora Cheung、Andrew Sellergren、Boris Babenko、Basil Mustafa、Jan Freyberg、Terry Spitz、Yuan Liu、Pinal Bavishi、Ayush Jain、Amit Talreja、Rajeev Rikhye、Abbi Ward、Jeremy Lai、Faruk Ahmed、Supriya Vijay、Tiam Jaroensri、Jessica Loo、Saurabh Vyawahare、Saloni Agarwal、Ellery Wulczyn、Jonathan Krause、Fayaz Jamil、Tom Small、Annisah Um'rani、Lauren Winer、Sami Lachgar、Yossi Matias、Greg Corrado 和 Dale Webster。
评论