提高糖尿病视网膜病变模型的有效性

lixia01

两年前，我们宣布了首次针对糖尿病视网膜病变 (DR)训练深度学习模型的工作，DR 是糖尿病的一种并发症，也是导致视力丧失的最快原因之一。基于这项研究，我们着手应用我们的技术改善全球健康状况。与此同时，我们继续努力提高模型的性能、可解释性和在临床环境中的适用性。今天，我们将分享我们朝着这些目标迈进的研究进展，并宣布在泰国的新合作伙伴。
使用高质量标签提高模型性能
DR 深度学习模型的性能至关重要，尤其是当细微错误都有可能导致误诊时。今年早些时候，我们在《眼科学》杂志上发表了一篇论文，研究了如何通过以下方式改进我们的模型：1) 转向更细致的 5 评分标准（而非之前的 2 级系统）和 2) 纳入视网膜专家小组的裁决。在裁定过程中，一组视网膜专家会对存在分歧的案例进行辩论，直到所有人都就最终成绩达成一致。与简单的多数表决相比，这种解决分歧的方法更为准确，并能识别出微动脉瘤等细微的发现。 为了提高裁定过程的效率，我们精心选择了一小部分 (0.22%) 图像作为调整集，通过在这个更准确的参考标准上优化模型超参数，大幅提高了模型性能。随后，当我们根据裁定的参考标准测量一组测试图像的一致率时，各个视网膜专家、眼科医生和算法的 kappa 分数（一致性测量值，范围从 0 [随机] 到 1 [完全一致]）分别为 0.82-0.91、0.80-0.84 和 0.84。使我们的模型更加透明 在部署这项技术时，我们必须采取适当的措施来确保其透明和可信。为此，我们一直在探索解释模型如何进行预测的方法，目标是使 DR 模型成为更好的诊断工具和医生的辅助工具。 在我们最新的研究中，今天将在《眼科学》杂志上发表
中，我们展示了向眼科医生展示深度学习算法解释的方法，以提高他们对糖尿病眼病分级的准确性和置信度。利用我们早期研究中的高质量标签训练和验证的模型结果，我们为普通眼科医生生成了不同形式的潜在帮助。我们向医生展示了算法对不同 DR 严重程度的预测分数，以及突出显示最强烈推动其预测的图像区域的热图。通过这种帮助，我们看到医生的诊断准确性显著提高，并且对他们的诊断的信心也增强了。
我们看到了明确的证据表明，展示模型预测可以帮助医生发现他们可能错过的病理。在下面的视网膜图像中，我们的裁决小组发现了威胁视力的 DR 迹象。3 名医生中有 2 名在没有帮助的情况下对其进行了分级，但 3 名医生在看到模型预测（准确检测到病理）时都发现了这一点。
我们还发现，医生和模型可以协同工作，从而比单独工作提供更高的准确性。在下面的视网膜图像中，我们的视网膜专家评审小组认为该图像患有中度 DR。在没有帮助的情况下，三分之二的眼科医生在评估图像时将其标记为无 DR。在现实环境中，这种情况可能会导致患者错过转诊给专科医生的机会。
在这个特殊的案例中，我们的模型也表明没有 DR 的证据。然而，当眼科医生看到模型的预测时，三位眼科医生都给出了正确答案。看到模型看到了一些中等程度的证据——即使这不是最高分——可能会促使医生更仔细地检查特定病例，以发现他们可能忽略的病理。我们很高兴能够开发出像这样的辅助工具，让人类和机器学习的能力相得益彰。
我们全球努力的新合作伙伴