利用开放基础模型帮助每个人构建用于医疗保健应用的 AI

lixia01

健康 AI 开发者基础 (HAI-DEF) 是一套新的开放权重模型，可帮助开发者更轻松地为医疗保健应用构建 AI 模型。首次推出的版本专注于放射学、皮肤病学和病理学中的成像应用。
AI 可以对医疗保健产生巨大的潜在影响，它有助于提高诊断准确性、扩大医疗服务范围并减轻管理负担，使护理团队能够专注于患者。然而，医疗保健领域非常广阔，潜在的用例比开发人员能够覆盖的要多。此外，医疗领域的 AI 开发尤其具有挑战性，因为构建达到临床使用所需性能水平的模型需要大量的数据、专业知识和计算能力。
如果数据不够多样化（例如，跨患者群体、数据采集设备或协议），模型在部署到与训练数据不同的环境中时可能无法很好地推广。由此产生的高门槛阻碍了许多潜在的医疗 AI 开发人员进行实验，使他们更难将自己的想法从概念转化为原型，更不用说从实验室应用到临床。要使医疗保健继续发挥其潜力，它需要来自众多用例、界面和业务模型的多样化贡献者的创新。
考虑到这一点，今天我们推出了健康 AI 开发者基础(HAI-DEF)，这是一项公共资源，旨在帮助开发者更有效地构建和实施医疗保健 AI 模型。在随附的技术报告中总结道，HAI-DEF 包括开放式模型、Colab 教学笔记本和文档，以协助从早期研究到商业项目的每个开发阶段。
HAI-DEF 是我们支持医疗 AI 开发的更广泛承诺的一部分。它以2023 年发布的医疗 AI 研究基金会存储库为基础，其中包括胸部 X 光和病理图像模型。它还补充了同样于 2023 年推出的Open Health Stack等计划，该计划为开发人员提供了构建有效健康应用程序的开源构建块，以及于2024 年推出的人口动态基础模型，该计划为开发人员提供了地理空间嵌入，以便对包括公共卫生在内的人口层面的变化进行建模。通过提供这些资源，我们旨在使医疗保健 AI 开发民主化，使开发人员能够创建可以改善患者护理的创新解决方案。
HAI-DEF 的首款车型
HAI-DEF 的首次发布包括三种专注于支持医学成像应用开发的模型：
CXR胸部 X 光检查基金会
数字病理学路径基金会
这些都是专门针对特定医学成像模式的嵌入模型。它们提高了训练和服务模型的效率，将图像作为输入并生成固定长度的向量（嵌入），从而有效地表示输入图像。这些模型是通过对大量不同的、去识别化的数据进行广泛的自我监督训练而开发的，这些数据适用于各自的模式。因此，这些模型生成的嵌入为开发人员提供了一个强大的起点，使他们能够使用极少量的额外数据和计算来为自己的用例构建高性能的 AI 模型。
CXR Foundation 使用EfficientNet-L2 架构对超过 800,000 张 X 射线进行了预训练。它使用监督对比、CLIP和BLIP-2损失进行训练。作为其 BLIP 训练阶段的一部分，它还具有基于BERT的文本编码器，允许它将文本和图像投影到共享嵌入空间中。CXR Foundation 的图像编码模型采用DICOM图像，其文本编码器接受文本字符串。这允许用户进行数据高效的分类，在嵌入之上构建小模型来对用户关心的条件进行分类。语言组件还允许用户执行以下操作：
语义图像搜索：根据一组图像在嵌入空间中与某个搜索词的接近程度对其进行排序；
零样本分类：使用文本术语和图像嵌入之间的距离来提供分类分数，而无需示例图像。请注意，零样本分类的性能将低于数据高效分类。
Derm Foundation 基于BiT ResNet-101x3架构。它已在各种皮肤图像上进行了预训练，以生成丰富的嵌入，可用于对皮肤相关任务进行数据高效的分类。这些任务可能包括临床任务，例如皮炎、黑色素瘤或牛皮癣，但也可用于了解涉及哪些身体部位、确定图像质量以及是否应重新拍摄照片。
Path Foundation 是一种高效的嵌入模型，由ViT-S 架构训练而成，专门用于苏木精和伊红(H&E) 染色图像。Path Foundation 接受来自 H&E 载玻片的 224 x 224 像素块，以生成可用于数据高效分类的嵌入，例如分级或识别肿瘤、分类组织或染色类型以及确定图像质量。嵌入还可用于类似的图像搜索任务，以查找载玻片内或载玻片间彼此相似的区域。
从社区经验中学习先前的研究终点
在过去的两年中，学术界、医疗机构和制药公司的研究人员一直在通过Google Research 托管的 API构建这些模型。在给社区时间使用这些模型并探索不同的应用程序后，我们收集了反馈。许多人希望直接下载这些模型，以便能够使用不能脱离机构界限的数据集。此外，看到基础模型改善临床工作流程的潜力的用户希望构建用例，着眼于帮助临床护理。
为了响应这一反馈，HAI-DEF 将允许开发人员：
无论是在本地还是在云端，在自己的环境中下载并运行这些模型；
使用它们来开发用于研究或商业项目的应用程序；以及
对其进行微调以实现更好的性能。
这些模型可通过Vertex AI Model Garden [ CXR , Derm , Path ] 和 Hugging Face [ CXR , Derm , Path ] 访问。由于模型权重是开放的，开发人员可以对模型进行微调，以提高其特定需求和应用的性能，将嵌入模型用作复杂集成或混合架构的一部分，等等。
构建健康AI开发者生态系统
HAI-DEF 只是我们支持更广泛的生态系统建设健康的方式之一，是对Open Health Stack和Population Dynamics Foundation Model 的补充。我们很高兴继续投资这一领域，包括为 HAI-DEF 添加更多模型并扩大笔记本的范围。我们期待看到社区利用这些资源来实现 AI 改变医疗保健和生命科学的潜力。
致谢
我们感谢领导这项研究并使公开发布成为可能的 Google Health 团队成员，包括 Rory Pilgrim、Fereshteh Mahvar、Liron Yatziv、Tiffany Chen、Kenneth Philbrick、Bram Sterling、Nick George、Atilla Kiraly、Sebastien Baur、Fayaz Jamil、Bill Luan、Preeti Singh、Faruk Ahmed、Lin Yang、Andrew Sellergren、Daniel Golden、Abbi Ward、Shruthi Prabhakara、Jennifer Klein、Chuck Lau、Jason Klotzer、Shekoofeh Azizi、Rachelle Sico、Anthony Phalen、Amanda Ferber、Lauren Winer、Jenn Sturgeon、David F. Steiner、Yun Liu 和 Shravya Shetty。感谢 Tiya Tiyasirichokchai 创作了此图。