利用深度学习促进科学图像分析

lixia01

许多科学成像应用，尤其是显微镜应用，每天可以产生数 TB 的数据。这些应用可以受益于计算机视觉和深度学习的最新进展。在我们与生物学家合作开发机器人显微镜应用（例如，区分细胞表型）的过程中，我们了解到，组装能够将信号与噪声分离的高质量图像数据集是一项困难但重要的任务。我们还了解到，许多科学家可能不会编写代码，但仍然热衷于在图像分析工作中使用深度学习。我们可以帮助解决的一个特殊挑战是处理失焦图像。即使使用最先进显微镜上的自动对焦系统，配置不当或硬件不兼容也可能会导致图像质量问题。采用自动化方式评估对焦质量可以检测、排除故障并删除此类图像。
深度学习来救援
在“使用深度学习评估显微镜图像对焦质量”中，我们训练了一个深度神经网络来评估显微镜图像的对焦质量，其准确度高于以前的方法。我们还将预先训练的TensorFlow模型与Fiji（ImageJ）和CellProfiler中的插件集成在一起，这两个领先的开源科学图像分析工具可以通过图形用户界面使用或通过脚本调用。
预先训练的 TensorFlow 模型对斐济 (ImageJ)的显微镜细胞图像块的拼接的聚焦质量进行评级。 边框的色调和亮度分别表示预测的聚焦质量和预测不确定性。
我们的出版物和源代码（TensorFlow、Fiji、CellProfiler）说明了机器学习项目工作流程的基础知识：组装训练数据集（我们合成了 384 张对焦细胞图像，避免了手动标记数据集的需要）、使用数据增强训练模型、评估泛化能力（在我们的例子中，是通过额外的显微镜获得的看不见的细胞类型）并部署预训练模型。以前用于识别图像焦点质量的工具通常需要用户手动查看每个数据集的图像以确定对焦和失焦图像之间的阈值；我们的预训练模型不需要用户设置参数，并且可以更准确地评估焦点质量。为了帮助提高可解释性，我们的模型评估 84×84 像素块的焦点质量，可以使用彩色块边框进行可视化。
没有物体的图像怎么办？
我们克服了一个有趣的挑战，那就是经常有“空白”图像块没有物体，在这种情况下不存在焦点质量的概念。我们没有明确标记这些“空白”斑块并教我们的模型将它们识别为单独的类别，而是将模型配置为预测跨散焦水平的概率分布，从而使其能够学会表达这些空斑块的不确定性（图中的暗边框）（例如，预测对焦/失焦的概率相等）。
下一步是什么？
基于深度学习的科学图像分析方法将提高准确性，减少手动参数调整，并可能揭示新的见解。显然，数据集和模型的共享和可用性，以及在各自社区中被证明有用的工具的实现，对于广泛采用至关重要。
致谢
我们分别感谢Broad Institute 的Claire McQuin、Allen Goodman、 Anne Carpenter和威斯康星大学麦迪逊分校的Kevin Eliceiri对 CellProfiler 和 Fiji 集成的帮助。