用于癌症检测的增强现实显微镜

lixia01

深度学习在眼科、皮肤科、放射科和病理科等医学学科
的应用最近显示出巨大的希望，可以提高全球患者获得高质量医疗服务的准确性和可用性。在 Google，我们还发表了研究结果，表明卷积神经网络能够检测淋巴结中的乳腺癌转移，其准确度可与训练有素的病理学家相媲美。但是，由于使用复合光学显微镜直接进行组织可视化仍然是病理学家诊断疾病的主要手段，因此深度学习在病理学中广泛应用的一个关键障碍是对微观组织数字化表示的依赖。 今天，在美国癌症研究协会 ( AACR )年会上发表的演讲中，我们介绍了一个原型增强现实显微镜 (ARM) 平台，并发表了一篇随附的论文“用于实时自动检测癌症的增强现实显微镜”。我们相信，该平台可能有助于加速和普及世界各地病理学家采用深度学习工具。该平台由一个经过改进的光学显微镜组成，可以实时进行图像分析，并将机器学习算法的结果直接呈现到视野中。重要的是，ARM 可以使用低成本、现成的组件改装到世界各地医院和诊所现有的光学显微镜中，而无需使用被分析组织的整个载玻片数字版本。
现代计算组件和深度学习模型（例如基于TensorFlow构建的模型）将允许各种预训练模型在此平台上运行。与传统模拟显微镜一样，用户通过目镜观察样本。机器学习算法将其输出实时投射回光路。此数字投影在视觉上叠加在标本的原始（模拟），以帮助观察者定位或量化感兴趣的特征。重要的是，计算和视觉反馈更新速度很快 - 我们目前的实现以每秒约 10 帧的速度运行，因此当用户通过移动载玻片和/或改变放大倍数扫描组织时，模型输出会无缝更新。
原则上，ARM 可以提供各种各样的视觉反馈，包括文本、箭头、轮廓、热图或动画，并且能够运行多种类型的机器学习算法，旨在解决不同的问题，例如对象检测、量化或分类。
为了展示 ARM 的潜在实用性，我们将其配置为运行两种不同的癌症检测算法：一种用于检测淋巴结标本中的乳腺癌转移，另一种用于检测前列腺切除标本中的前列腺癌。这些模型可以在 4-40 倍的放大倍数下运行，并且给定模型的结果通过使用绿色轮廓勾勒出检测到的肿瘤区域来显示。这些轮廓有助于将病理学家的注意力吸引到感兴趣的区域，而不会遮挡潜在的肿瘤细胞外观。
通过 ARM 镜头的示例视图。这些图像显示了使用 4 倍、10 倍、20 倍和 40 倍显微镜物镜观察淋巴结转移模型的示例。
虽然这两种癌症模型最初都是在光学配置截然不同的全切片扫描仪的图像上进行训练的，但这些模型在 ARM 上的表现非常出色，无需额外的重新训练。例如，在 ARM 上运行时，淋巴结转移模型的曲线下面积 (AUC) 为 0.98，我们的前列腺癌模型在视野 (FoV) 内检测癌症的 AUC 为 0.96，性能仅略低于在 WSI 上获得的性能。我们相信，通过对直接从 ARM 本身捕获的数字图像进行额外训练，这些模型的性能可能会得到进一步提高。我们相信
ARM 有可能对全球健康产生巨大影响，特别是对发展中国家的传染病（包括结核病和疟疾）的诊断。此外，即使在不久的将来将采用数字病理学工作流程的医院中，ARM 也可以与扫描仪仍面临重大挑战或需要快速周转（例如细胞学、荧光成像或术中冷冻切片）的数字工作流程结合使用。当然，光学显微镜已被证明在病理学以外的许多行业中都很有用，我们相信 ARM 可以适用于医疗保健、生命科学研究和材料科学等广泛的应用。我们很高兴继续探索 ARM 如何帮助加速机器学习的采用，从而对全世界产生积极影响。