去年，我们展示了一项研究成果，证明深度学习系统 (DLS) 可以训练分析外眼照片，预测一个人的糖尿病视网膜疾病状态和升高的糖化血红蛋白（或 HbA1c，一种指示三个月平均血糖水平的生物标志物）。以前人们并不知道外眼照片包含这些疾病的信号。这一令人兴奋的发现表明，由于可以使用智能手机和其他消费设备拍摄此类照片，因此有可能减少对专用设备的需求。受这些发现的鼓舞，我们开始探索在这种成像方式中可以找到哪些其他生物标志物。
在《柳叶刀数字健康》杂志上发表的《外眼照片中新型全身生物标志物的深度学习模型：一项回顾性研究》 中，我们表明，可以从外眼照片中预测涵盖多个器官系统（如肾脏、血液、肝脏）的多种全身生物标志物，其准确度超过仅使用临床人口统计学变量（如年龄和患糖尿病年限）的基线逻辑回归模型。与临床人口统计学基线进行比较很有用，因为也可以使用简单的问卷来评估某些疾病的风险，并且我们试图了解解释图像的模型是否表现更好。这项工作尚处于早期阶段，但它有可能通过新的非侵入性护理途径增加获得疾病检测和监测的机会。
生成外部眼部照片预测的模型。
模型开发与评估
为了开发我们的模型，我们与EyePACS和洛杉矶县卫生服务局 的合作伙伴合作，创建了一个回顾性的去识别数据集，其中包含外部眼部照片和实验室测试和生命体征（例如血压）形式的测量值。我们筛选出该数据集中更常见的 31 个实验室测试和生命体征，然后训练了一个多任务 DLS，为每个实验室和生命体征设置一个分类“头”，以预测这些测量值的异常情况。
重要的是，同时评估许多异常的表现可能会有问题，因为发现虚假和错误结果的可能性更高（即由于多重比较问题）。为了缓解这种情况，我们首先在开发数据集的一部分上评估了模型。然后，我们将列表缩小到九个最有希望的预测任务，并在校正多重比较的同时在我们的测试数据集上评估模型。具体来说，这九个任务、它们的相关解剖结构及其对相关疾病的重要性列于下表中。
预测任务 器官系统 对相关疾病的意义
白蛋白< 3.5 g/dL 肝脏/肾脏 低白蛋白血症的征兆，这可能是由于肝脏疾病导致白蛋白生成减少或肾脏疾病导致白蛋白丢失增加所致。
天冬氨酸转氨酶> 36.0单位/升 肝
肝脏疾病（即肝脏损害或胆道阻塞）的征兆，通常由病毒感染、饮酒和肥胖引起。
钙含量< 8.6 毫克/分升 骨/矿物质 低钙血症的指征，最常见的原因是维生素 D 缺乏或甲状旁腺疾病。
肾小球滤过率< 60.0 毫升/分钟/1.73平方米 肾
慢性肾病的症状，最常见的原因是糖尿病和高血压。
血红蛋白< 11.0 克/分升 血细胞计数 贫血的迹象可能是由于失血、慢性疾病或饮食不良造成的。
血小板< 150.0 103/µL 血细胞计数
血小板减少症的指征，其可能是由于骨髓疾病（例如白血病或淋巴瘤）导致血小板生成减少，或由于自身免疫性疾病或药物副作用导致血小板破坏增加所致。
TSH > 4.0 毫单位/升 甲状腺 甲状腺功能减退症的征兆，它会影响新陈代谢，并且可能由多种不同的情况引起。
尿白蛋白/肌酐比值（ACR）≥300.0mg/g 肾
慢性肾病的症状，最常见的原因是糖尿病和高血压。
白细胞计数< 4.0 103/微升 血细胞计数 表明白细胞减少症会影响身体抵抗感染的能力。
主要结果
与我们之前的工作一样，我们通过计算受试者工作曲线下面积(AUC)将我们的外眼模型与基线模型（以临床人口统计变量为输入的逻辑回归模型）进行了比较。AUC 范围从 0 到 100%，50% 表示随机性能，值越高表示性能越好。除了九项预测任务中的一项之外，我们的模型在统计上都优于基线模型。就绝对性能而言，该模型的 AUC 范围为 62% 到 88%。虽然这些准确度水平可能不足以用于诊断应用，但它与其他初步筛查工具一致，例如乳房 X 线照相检查和糖尿病预筛查，用于帮助识别可能从额外检测中受益的个体。作为一种非侵入性可访问的模式，拍摄外眼照片可能有助于筛查和分类患者以进行确认性血液测试或其他临床随访。
EyePACS 测试集的结果显示了我们的 DLS 与基线模型相比的 AUC 性能。变量“n”表示数据点总数，“N”表示正值数。误差线显示使用 DeLong 方法计算的 95% 置信区间。 †表示目标被预先指定为次要分析；所有其他目标都被预先指定为主要分析。
本研究和之前研究中使用的外眼照片均使用台式相机采集，这些相机配有头枕，可稳定患者，并在光线充足的情况下生成高质量图像。由于在其他环境下图像质量可能会更差，因此我们想探索 DLS 模型对质量变化的稳健程度，从图像分辨率开始。具体来说，我们将数据集中的图像缩小到一定大小，并在重新训练以处理下采样图像时测量 DLS 的性能。
下面我们展示了本次实验的部分结果（有关更完整的结果，请参阅论文）。这些结果表明，DLS 相当稳健，并且在大多数情况下，即使图像缩小到 150x150 像素，其性能也优于基线模型。这个像素数不到 0.1 兆像素，比典型的智能手机相机小得多。
输入图像分辨率的影响。顶部：本次实验中缩放到不同尺寸的样本图像。底部：在不同图像尺寸上训练和评估的 DLS（红色）与基线模型（蓝色）的性能比较。阴影区域显示使用 DeLong 方法计算的 95% 置信区间。
结论和未来方向
我们之前的研究证明了外眼模式的前景。在这项研究中，我们进行了更详尽的搜索，以确定可以从这些照片中预测的可能的全身生物标志物。虽然这些结果很有希望，但仍有许多步骤要确定这样的技术是否能在现实世界中帮助患者。特别是，正如我们上面提到的，我们研究中的图像是在控制照明和头部位置等因素的环境中使用大型桌面摄像机收集的。此外，这项研究中使用的数据集主要由糖尿病患者组成，没有充分代表许多重要的亚群——在考虑临床使用之前，需要更有针对性的数据收集，以对更普遍的人群和跨亚群进行 DLS 改进和评估。
鉴于这项技术的潜在覆盖范围和规模，我们很高兴探索这些模型如何推广到智能手机图像。为此，我们将继续与台湾长庚纪念医院、印度阿拉文眼科医院和美国EyePACS等合作机构的合著者合作，收集智能手机拍摄的图像数据集。我们的早期成果令人鼓舞，我们期待在未来分享更多成果。
致谢
这项工作凝聚了由软件工程师、研究人员、临床医生和跨职能贡献者组成的多学科团队的努力。该项目的主要贡献者包括：Boris Babenko、Ilana Traynis、Christina Chen、Preeti Singh、Akib Uddin、Jorge Cuadros、Lauren P. Daskivich、April Y. Maa、Ramasamy Kim、Eugene Yu-Chuan Kang、Yossi Matias、Greg S. Corrado、Lily Peng、Dale R. Webster、Christopher Semturs、Jonathan Krause、Avinash V Varadarajan、Naama Hammel 和 Yun Liu。我们还要感谢 Dave Steiner、Yuan Liu 和 Michael Howell 对稿件的反馈意见；感谢 Amit Talreja 审阅论文代码；感谢 Elvia Figueroa 和洛杉矶县卫生服务局远程视网膜糖尿病视网膜病变筛查项目工作人员的数据收集和项目支持；感谢 Andrea Limon 和 Nikhil Kookkiri 的 EyePACS 数据收集和支持； Charles Demosthenes 博士提取了数据，Peter Kuzmak 获取了 VA 数据的图像。最后但并非最不重要的是，特别感谢 Tom Small 为本篇博文制作动画。
评论