每年，全球都会拍摄近 10 亿张胸部 X 光 (CXR) 图像，以帮助检测和管理从肺塌陷到传染病等各种健康状况。通常，CXR 比其他形式的医学影像更便宜、更容易获得。然而，现有的挑战仍然阻碍着 CXR 的最佳利用。例如，在某些地区，能够准确解读 CXR 图像的训练有素的放射科医生供不应求。此外，专家之间的解读差异、机构之间的工作流程差异以及只有专科医生熟悉的罕见疾病的存在，都使高质量 CXR 解读成为一项挑战。
最近的研究利用机器学习 (ML) 探索了解决其中一些挑战的潜在解决方案。人们对构建深度学习模型有着浓厚的兴趣，并投入了大量精力，以检测 CXR 中的异常情况，并提高识别影响心脏和肺部的疾病和状况的途径、准确性和效率。然而，构建强大的 CXR 模型需要大量标记的训练数据集，而创建这些数据集的成本可能非常高昂且耗时。在某些情况下，例如针对代表性不足的人群或研究罕见的疾病，只有有限的数据可用。此外，CXR 图像的质量因人群、地区和机构而异，因此很难构建在全球范围内表现良好的强大模型。
在《放射学》杂志上发表的 《使用更少数据简化胸部 X 射线摄影模型的迁移学习》中，我们描述了Google Health如何利用先进的 ML 方法生成预先训练的“CXR 网络”，该网络可以将 CXR 图像转换为嵌入（即信息丰富的数值向量），从而使用更少的数据和更少的计算资源开发 CXR 模型。我们证明，即使使用较少的数据和计算资源，这种方法也可以在各种预测任务中实现与最先进的深度学习模型相媲美的性能。我们还很高兴地宣布发布CXR Foundation，这是一款利用我们特定于 CXR 的网络的工具，使开发人员能够为他们的 CXR 图像创建自定义嵌入。我们相信这项工作将有助于加速 CXR 模型的开发，帮助检测疾病并为全世界更公平地获得医疗保健做出贡献。
建立胸部X光网络
构建医学 ML 模型的常用方法是使用非医学数据集对通用任务的模型进行预训练，然后在目标医学任务上优化模型。这种迁移学习过程可能会提高目标任务的性能，或者至少通过将对自然图像的理解应用于医学图像来加快收敛速度。然而，迁移学习在优化步骤中可能仍需要大量标记的医学数据集。
在这种标准方法的基础上，我们的系统支持通过三步模型训练设置对 CXR 特定任务进行建模，该设置包括 (1) 类似于传统迁移学习的通用图像预训练、(2) CXR 特定预训练和 (3) 任务特定训练。第一步和第三步在 ML 中很常见：首先在大型数据集和非特定于所需任务的标签上进行预训练，然后针对感兴趣的任务进行微调。
我们构建了一个采用监督对比学习(SupCon) 的 CXR 专用图像分类器。SupCon 将具有相同标签（例如，异常）的图像表示汇集在一起，并将具有不同标签（例如，一张正常图像和一张异常图像）的图像表示分开。我们利用与美国西北医学和印度阿波罗医院合作生成的超过 800,000 张图像的去识别 CXR 数据集对该模型进行了预训练。然后，我们利用放射学报告自然语言处理中的噪声异常标签来构建我们的“CXR 专用”网络。
该网络创建了嵌入（即，可用于区分各个类别的信息丰富的数值向量），可以更轻松地训练特定医疗预测任务的模型，例如图像查找（例如，空域不透明度）、临床状况（例如，结核病）或患者结果（例如，住院治疗）。例如，CXR 网络可以为给定的 CXR 数据集中的每个图像生成嵌入。对于这些图像，生成的嵌入和所需目标任务（例如结核病）的标签可用作示例来训练小型 ML 模型。
左图：为特定任务训练 CXR 模型通常需要大量标记图像和大量计算资源来创建神经网络层的基础。右图：借助提供此基础的 CXR 网络和工具，与从头开始重建整个网络相比，每个新任务只需要一小部分标记图像、计算资源和神经网络参数。
CXR 预训练的效果
我们以空域不透明度为例，可视化了流程每个步骤中的这些嵌入层（见下图）。在基于 SupCon 的预训练之前，正常和异常 CXR 嵌入的分离度很差。在基于 SupCon 的预训练之后，正例更紧密地分组在一起，负例也更紧密地分组在一起，这表明模型已经识别出每个类别的图像都与自身相似。
通用与 CXR 特定网络嵌入的t 分布随机邻居嵌入的可视化。嵌入是信息丰富的数值向量，仅凭这些向量就可以区分各个类别，在本例中，空域不透明度为正与负。
我们的研究表明，与利用通用非医学数据集上的预训练模型的传统迁移学习方法相比，添加第二阶段的预训练能够以少 600 倍的数据量训练高质量模型。我们发现，无论模型架构（例如ResNet或EfficientNet）或用于自然图像预训练的数据集（例如ImageNet或JFT-300M）如何，这都是正确的。通过这种方法，研究人员和开发人员可以显著减少数据集大小要求。
顶部：在深度学习模型中，神经网络包含多层人工神经元，第一层将 CXR 图像作为输入，中间层进行额外计算，最后一层进行分类（例如，空域不透明度：存在与不存在）。嵌入层通常是最后的几层之一。左下：传统的迁移学习方法涉及两步训练设置，其中通用预训练网络直接针对感兴趣的预测任务进行优化。我们提出的三步训练设置使用 SupCon ML 技术生成 CXR 网络（步骤 2），然后针对感兴趣的预测任务进行优化（步骤 3）。右下：使用嵌入涉及训练较小的模型（前两种策略）或在数据足够的情况下对整个网络进行微调（策略 3）。
结果
在训练初始模型之后，我们使用曲线下面积(AUC) 指标测量了性能，其中线性和非线性模型都应用于 CXR 嵌入；以及通过微调整个网络生成的非线性模型。在公共数据集（例如ChestX-ray14和CheXpert ）上，我们的工作显着且持续地改善了在各种训练数据集大小和多项发现上开发的模型的数据准确性权衡。例如，在评估该工具开发结核病模型的能力时，数据效率的提高更加引人注目：仅在 45 张图像的嵌入上训练的模型在外部验证数据集上检测结核病方面就不劣于放射科医生。对于结核病和严重的 COVID-19 结果，我们表明，在冻结嵌入上训练的非线性分类器优于在整个数据集上进行微调的模型。
比较针对各种 CXR 异常（左上）、结核病（左下）和 COVID-19 结果（右下）的 CXR 特定网络的迁移学习（红色）和基线迁移学习方法（蓝色）。此方法可在相同数据集大小下提高性能，或减少达到相同性能所需的数据集大小。有趣的是，在高达 8 5 张图像的数据集大小下，使用具有更简单、训练速度更快的 ML 模型的 CXR 网络（红色）比训练完整网络（黑色）的效果更好。
结论和未来工作
为了加速数据和计算要求较低的 CXR 建模工作，我们发布了CXR Foundation 工具，以及用于训练线性和非线性分类器的脚本。通过这些嵌入，此工具将允许研究人员使用更简单的迁移学习方法启动 CXR 建模工作。这种方法对于使用小数据集的预测建模以及在患者群体分布发生变化时（无论是随时间还是跨不同机构）调整 CXR 模型特别有用。我们很高兴能继续与西北医学和阿波罗医院等合作伙伴合作，进一步探索这项技术的影响。通过让数据和计算能力有限的研究人员开发 CXR 模型，我们希望更多的开发人员能够解决对其群体影响最大的问题。
致谢
谷歌该项目的主要贡献者包括 Christina Chen、Yun Liu、Dilip Krishnan、Zaid Nabulsi、Atilla Kiraly、Arnav Agharwal、Eric Wu、Yuanzhen Li、Aaron Maschinot、Aaron Sarna、Jenny Huang、Marilyn Zhang、Charles Lau、Neeral Beladia、Daniel Tse、Krish Eswaran 和 Shravya Shetty。合作者 Sreenivasa Raju Kalidindi、Mozziyar Etemadi、Florencia Garcia-Vicente 和 David Melnick 也做出了重大贡献和投入。对于 ChestX-ray14 数据集，我们感谢 NIH 临床中心将其公开。作者还要感谢 Google 健康放射学和标签软件团队的许多成员。我们还要衷心感谢在整个研究过程中通过图像解释和注释工作使这项工作得以进行的放射科医生；感谢 Jonny Wong 协调影像注释工作； Craig Mermel 和 Akinori Mitani 对手稿提供反馈；Nicole Linton 和 Lauren Winer 对博客文章提供反馈；Tom Small 提供动画。
评论