本文是一篇关于人工智能（AI）与超分辨率显微镜技术结合的综述文章，主题为“自动驾驶显微镜：人工智能与超分辨率显微镜的融合”。文章探讨了机器学习（ML）特别是深度学习（DL）在超分辨率显微镜自动化成像中的应用潜力，强调了自动化在生物医学研究中的重要性，并讨论了如何通过DL实现自主成像任务，包括选择成像目标、确定成像时机和优化成像方式。文章还展望了AI在显微镜自动化领域的未来发展方向，如大语言模型（LLM）和图神经网络（GNN）的应用，以及如何通过生成式对抗网络（GAN）和扩散模型等技术生成训练数据，以推动超分辨率显微镜技术的进一步发展。
超分辨率显微镜技术是现代荧光显微镜领域的一项重要进展，它能够突破光学衍射极限，实现细胞内亚细胞结构的高分辨率成像。然而，传统的超分辨率显微镜操作复杂，需要大量手动干预，限制了其在大规模样本分析和动态生物过程研究中的应用。近年来，机器学习（ML）尤其是深度学习（DL）的发展为显微镜自动化带来了新的机遇。DL能够识别复杂模式并自动完成任务，如图像去噪、重建和目标识别，极大地提高了成像效率和数据质量。随着开源代码和工具的普及，越来越多的研究人员能够将DL应用于自己的研究中，推动了显微镜技术的第二次复兴。
图1：机器学习在超分辨率工作流程中的应用增长。图1展示了过去二十年中，超分辨率显微镜领域中机器学习（ML）应用的增长趋势。绿色线表示标记为“超分辨率”和“显微镜”的文献数量；橙色线表示未使用ML技术的文献数量；蓝色线表示使用ML技术的文献数量。从图中可以看出，2023年是首次使用ML技术的文献数量超过未使用ML技术的文献数量的一年，表明ML在超分辨率显微镜领域的应用正在迅速普及。
图2：深度学习在超分辨率图像数据处理中的应用。A部分：去噪任务。DL网络可以将低信噪比的图像转换为高信噪比的图像，去噪可以在其他图像处理任务（如反卷积或超分辨率重建）之前或之后进行。B部分：重建任务。DL网络可以将一系列图像作为输入，输出一个超分辨率图像。通过在含噪声的图像数据上训练DL网络，可以将去噪整合到重建过程中，这在单分子定位显微镜（SMLM）和结构化照明显微镜（SIM）中特别有效。C部分：直接从衍射受限图像中推断超分辨率信息。这一应用的挑战在于为网络提供合适的训练数据，这需要对样本有先验知识，而这在实际应用中往往难以获得。
图3：结合DL和基于图像的表型分析，使显微镜能够决定成像目标。A部分：全细胞表型。DL网络可以从低分辨率图像中决定哪些细胞或区域值得成像，以最大化图像数据的价值。这种方法可以确保在大规模细胞群体中识别出稀有表型，而无需对每个细胞进行超分辨率成像，从而提高效率和通量。B部分：高分辨率表型分析。通过DL对超分辨率图像的分析，可以获得更复杂的亚细胞事件的表型信息。例如，从内质网（ER）的超分辨率图像中提取定量读数，并通过无监督图分析和聚类将细胞按表型分类，从而识别出群体中的异常细胞。这些信息可以指导后续的成像过程。
图4：事件驱动成像最大化数据价值并保护样本健康。A部分：事件驱动成像的原理。通过预设的生物触发事件（例如细胞中蛋白质的募集）来改变成像模式。这种方法可以在低光密度下成像，仅在检测到感兴趣事件时切换到超分辨率模式，从而减少样本的光毒性并延长活细胞成像时间。B部分：DL分析图像以检测细胞内的复杂特征。图中以线粒体分裂事件为例，展示了如何通过检测蛋白质DRP1来触发成像模式的改变。C部分：事件驱动成像的操作时间线。显微镜在监测模式下以低光照成像，当检测到事件时切换到高时空分辨率模式，事件结束后返回初始成像模式。
图5展示了如何通过DL技术实时优化成像参数。DL网络从图像数据中提取特征，并预测需要调整的硬件功能（例如焦点位置、照明强度等）。仪器参数更新后，获取新的图像，并重复循环，从而在成像过程中实现持续优化。
文章总结了DL在超分辨率显微镜自动化中的应用进展，并对未来的发展方向提出了展望。DL技术不仅在图像处理任务中取得了显著进展，还在自动化成像的多个方面展现出巨大潜力。例如，大语言模型（LLM）和图神经网络（GNN）的发展为处理复杂数据和自动化决策提供了新的工具。此外，生成对抗网络（GAN）和扩散模型等技术可以生成适合训练的合成数据，从而解决实际训练数据不足的问题。文章还强调了提高用户对自动化工具的信任和可访问性的重要性，指出可解释的人工智能（XAI）技术的发展将有助于推动这些方法的广泛应用。最后，文章认为，随着AI技术的不断发展，超分辨率显微镜的自动化将极大地推动生物医学研究和药物发现的进展。
