显微镜有着悠久的历史，1590年由荷兰的詹森父子所首创，是人类最伟大的发明之一，是人类进入原子时代的标志。显微镜作为科研和医疗领域重要的分析仪器，随着科学进步，对显微镜性能要求提高。而人工智能（AI）的引入，可帮助显微镜看的更清晰，更快的处理更多的数据，更实时、精确、自动化等。近年来，有很多企业、科研机构和高校投入大量精力，致力于AI应用于显微镜研究。当前，显微镜智能化技术发展迅速。本文将从显微镜基本概述，AI应用于显微镜研究进展，智能显微镜研究企业及机构，未来机遇与挑战等几个方面进行综述。显微镜泛指将微小不可见或难见物品之影像放大，而能被肉眼或其他成像仪器观察的工具。日常用语中之显微镜多指光学显微镜，放大倍率、清晰度（聚焦）、分辨率为显微镜重要因素。显微镜的类型有许多。最常见的是光学显微镜、电子显微镜、扫描探针显微镜等。光学显微镜：一种利用光学透镜产生影像放大效应的显微镜，分辨率大约为一微米，可以看到细胞大小的物品。主要有荧光显微镜、偏光显微镜等、相衬显微镜等。2014年10月8日，诺贝尔化学奖颁给了艾Eric Betzig，William Moerner和Stefan Hell，奖励其发展超分辨荧光显微镜，带领光学显微镜进入纳米级尺度中。
电子显微镜：使用电子来展示物件的内部或表面的显微镜，可观察到单一原子。主要包括透射电子显微镜（TEM）、扫描电子显微镜（SEM）、场发射扫描电子显微镜、扫描透射电子显微镜等类型。1986年，恩斯特·鲁斯卡因研制第一台透视电子显微镜获得诺贝尔物理学奖。2017年，雅克·杜博歇、约阿希姆·弗兰克、理查德·亨德森因研制用于溶液内生物分子的高分辨率结构测定的低温电子显微镜获得诺贝尔化学奖。
扫描探针显微镜（SPM）：是机械式地用探针在样本上扫描移动以探测样本影像的显微镜，其分辨率主要取决于探针的大小（通常在纳米的范围）。主要类型有：扫描隧道显微镜(STM)、 原子力显微镜（AFM)等。
光诱导显微镜（PiFM） 是一种相对较新的扫描探针显微镜技术。将 AFM 与红外激光相结合，以诱导偶极子进行化学成像。具有高分辨率化学图像（空间分辨率<10 nm）和高分辨率光谱（分辨率<1cm-1）。通过AFM检测这种诱导力，不仅可以观察AFM图像，还可以在纳米级高精度、高分辨率地观察化学成像。显微镜具有广泛的用途。一般应用于生物、医药、微观粒子等观测。具体到：物质成分分析；分子、中子、原子等分析；细胞、基因、细菌、病毒等分析；电子器件检测等等。多少年来，人们为提高显微镜的分辨能力和清晰度等付出了艰辛的劳动。随着计算机技术和工具的不断进步，相关理论和方法不断改进，加上原材料性能的提高，工艺和检测手段的不断完善，观察方法的创新，使显微镜的成像质量提高，处理数据速度加快，更加自动化、智能化。
图示：智能显微镜与传统显微镜性能对比。（来源：腾讯 AI Lab）
噪声是图像中非真实信号的总和，照明度越弱，图像噪声越大。这可以解释为什么夜间用手机拍照会有颗粒感，更不用说用于保护脆弱的样品的微光显微照片。生物学家站在计算机的肩膀上，对图像不断校验并选择正确的降噪方法。为了将图像噪声最小化，研究人员长期以来一直采用降噪算法，最早是一种由计算机科学家开发的数学过程，然后进入了深度学习时代， 通过将图像传递给计算机并允许它们制定出最佳的降噪方案，研究人员看到了令人惊叹的结果。瑞典乌普萨拉大学国家SciLifeLab生物图像信息学设施负责人Carolina Wählby使用一种称为Top-Hat的算法来清除荧光显微照片和其他图像中的背景噪声。Top-Hat执行一种数学转换，以从图像中去除过亮或过暗的元素。研究人员表示：在许多情况下，类似的方法的确非常有效。由Jug及合伙人一起开发的CSBDeep是一个在线的机械学习工具箱，可以与Fiji图像处理环境或Python编程语言一起使用。同样，Ouyang的网络应用软件ImJoy为多种机器学习方法的测试提供了一站式服务。具体内容可参考ScienceAI之前的报道《机器学习消除噪声，让显微镜图像更加清晰》。
图示：使用 Noise2Void 软件去噪之前（左）和去噪之后（右）的秀丽隐杆线虫胚胎的显微镜图像。（来源：C. Broaddus 等人/Proc. IEEE）
相关报道：https://mp.weixin.qq.com/s/vAmQ5uLZOziUydFbJg7PsQ威尔康奈尔医学院研究团队开发了一种计算技术，通过将定位图像重建算法应用于原子力显微镜（AFM） 和传统 AFM 数据中的峰值位置，将分辨率提高到超出尖端半径设置的限制，并在天然和动态条件下解析蛋白质表面上的单个氨基酸残基。大大提高了AFM 的分辨率。该方法揭示了正常生理条件下蛋白质和其他生物结构的原子级细节，为细胞生物学、病毒学和其他微观过程打开了一个新窗口。研究成果于6月16日发表在《Nature》杂志上。
图示：定位 AFM 和 X 射线结构。（来源：威尔康奈尔医学院）
论文链接：https://www.nature.com/articles/s41586-021-03551-x澳大利亚昆士兰大学和德国的一组研究人员利用量子纠缠技术建造了一台「量子显微镜」。这种新的显微镜能利用量子纠缠来安全地显示生物样本，揭示出了原本不可能看到的生物结构。利用量子纠缠，量子显微镜可以在不破坏细胞的情况下，将信噪比（或者说清晰度）提高35%，使科学家能够看到原本看不见的微小生物结构。相关领域的研究人员认为，这一突破标志着显微镜领域的一次重大飞跃，甚至可能启动下一场显微镜的革命。研究成果于6月9日发表在《Nature》杂志上。
图示：使用量子显微镜（左）和传统显微镜（右）对酵母细胞的分子成像。（来源：University of Queensland）
论文链接：https://www.nature.com/articles/s41586-021-03528-w为了创建大脑等组织的高分辨率 3D 图像，研究人员经常使用双光子显微镜。然而，在大脑深处扫描可能很困难，因为光线会随着深入组织而从组织中散射出来，从而使图像变得模糊。双光子成像也很耗时，因为它通常需要一次扫描单个像素。MIT和哈佛大学的研究人员现在开发了一种双光子成像的改进版本，可以在组织内更深地成像，并且比以前成像速度更快，这种成像可以让科学家更快地获得大脑内血管和单个神经元等结构的高分辨率图像。相关报道：https://www.eurekalert.org/pub_releases/2021-07/miot-mtm070621.php使用常规显微镜时，景深（DOF）和空间分辨率之间存在固定的权衡：所需的空间分辨率越高，DOF越窄。研究人员开发了一种称为DeepDOF的计算显微镜，该显微镜在保持分辨率的情况下，其DOF可以达到传统显微镜的五倍以上，从而大大减少了图像处理所需的时间。DeepDOF使用了放置在显微镜孔径处的优化相位掩模和基于深度学习的算法，该算法将传感器数据转换为高分辨率的大DOF图像。图示：DeepDOF（来源：https://news.rice.edu）数字全息成像是生物医学成像中常用的显微镜技术，用于揭示样本的丰富光学信息。常见的图像传感器只对入射光的强度做出响应。加州大学洛杉矶分校的研究团队开发出一种新的全息相位检索技术，可以快速重建样品的微观图像，与现有方法相比，可加速50倍。研究结果首次证明了使用循环神经网络（RNN）进行全息成像和相位恢复，所提出的框架将广泛适用于各种相干成像模式。具体内容可参考ScienceAI之前的报道《RNN 用于生物医学全息成像，速度加快50倍》。
图示：用于RH-M和RH-MD培训的GAN框架。（来源：加州大学洛杉矶分校）
相关报道：https://mp.weixin.qq.com/s/9nV2XAHAunU6yEt72GIXEg德克萨斯大学西南医学中心的科学家与英格兰和澳大利亚的同事合作，构建并测试了一种新型光学设备，可将常用显微镜转换为多角度投影成像系统。在不移动样品的情况下实时提供多个方向的视图，并且工作速度比当前技术快 100 倍。该研究于6月28日发表在《Nature Methods》杂志上。论文链接：https://www.nature.com/articles/s41592-021-01175-7尽管 3D 成像取得了进步，但对大型 3D 组织中的所有细胞进行剖面分析仍然具有挑战性，包括存在的许多细胞类型的形态和组织。荷兰Máxima公主小儿肿瘤中心的科学家研究了一种新的成像技术和计算管道来研究 3D 组织中的数百万个细胞，揭示每个细胞的数百个特征。成像管道将可以同时标记的颜色数量从4种增加到8种，处理大量数据的时间，从多天缩短到大约两个小时。研究成果于6月3日发表《Nature Biotechnology》杂志上。论文链接：https://www.nature.com/articles/s41587-021-00926-3非线性光学显微镜已实现毫米级的体内深层组织成像。一个关键的挑战是其有限的吞吐量，厚混浊样品中发射光子的散射严重降低了相机的图像质量。基于此，MIT研究人员引入了一种新技术，称为激发模式去散射或「DEEP」，利用计算成像获得高分辨率的图像，其速度比其他使用复杂算法和机器学习的先进技术快100到1000倍。该方法可以把一个需要几个月的过程变成几天。研究成果于7月7日发表在《Science Advances》杂志上。
图示：DEEP-TFM 的实验装置和成像策略。（来源：论文）
论文链接：https://advances.sciencemag.org/content/7/28/eaay5496
相关报道：https://www.eurekalert.org/pub_releases/2021-07/hu-nit070221.php
目前，显微成像技术发展快速，用于观察各种细胞和组织中的蛋白质。由于复杂拥挤的细胞环境以及蛋白质的种类和大小各异，每天都会生成大量蛋白质图像，无法手动分类。因此，设计一种自动且准确的方法来正确求解和分析具有混合模式的蛋白质图像至关重要。中国科学院计算技术研究所、中国科学院大学和清华大学的研究小组提出了一种新颖的定制架构，使用深度卷积神经网络对高通量显微镜图像进行多标记蛋白质识别。该研究成果于6月15日发表在《BMC Bioinformatics》上。图示：具有 4 通道输入和 ACP 层的新型网络架构。（来源：www.ncbi.nlm.nih.gov）论文链接：https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8207617/跨尺度成像揭示了生物体、组织和细胞中的疾病机制。然而，特定的感染表型，如病毒诱导的细胞裂解，仍然难以研究。苏黎世大学的研究人员使用活细胞中的荧光图像训练了一个人工神经网络，自动检测感染的细胞。不仅可以可靠地识别受病毒感染的细胞，还可以在早期识别严重的急性感染。该研究成果于6月25日发表在《Cell Press: iScience》上。图示：深度学习检测病毒感染的细胞并预测急性、严重感染。（来源：苏黎世大学）该分析方法基于将活细胞中的荧光显微镜与深度学习过程相结合。受感染细胞内形成的疱疹和腺病毒会改变细胞核的组织，这些变化可以在显微镜下观察到。该小组训练了一种深度学习算法——一种人工神经网络——来自动检测这些变化。该网络接受了大量显微镜图像的训练，通过这些图像，它可以学习识别感染或未感染细胞的特征模式。训练和验证完成后，神经网络会自动检测受病毒感染的细胞。论文链接：https://www.cell.com/iscience/fulltext/S2589-0042(21)00511-3?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS2589004221005113%3Fshowall%3Dtrue材料的特性可能会由于其原子之间的间隔发生微小变化而发生剧烈变化，这在材料科学的术语中通常称为「局部应变」。高角度环形暗场成像（HAADF）——一种STEM中的方法，用于局部应变的精确测量。然而，在实践中，由于设备中的机械和电气噪声，HAADF 图像经常失真，将最小的可测量局部应变限制在略高于 1% 的范围内。日本高等科学技术研究所(JAIST) 的研究团队将 HAADF 成像与高斯过程回归 (GPR) 相结合，这是一种常用于机器学习以及经济学和地质学等领域的数据处理技术。提高了 HAADF 的精度成像，所提出的方法能够以 0.2% 的精度测量应变。该研究成果于7月7日发表在 《ACS Nano》 上。图示：使用高斯过程回归 (GPR) (IMAGE) 精确测量原子位移和应变。（来源：JAIST）相关报道：https://www.eurekalert.org/pub_releases/2021-07/jaio-dst071321.php论文链接：https://pubs.acs.org/doi/10.1021/acsnano.1c03413材料创新基础设施的三大平台：计算工具平台（Computational tools）、实验工具平台(Experimental tools)和数字化数据平台(Digital tools)，而显微镜作为重要的实验工具之一，随着AI发展，无论是专攻于显微镜研发的企业，还是AI科技公司，国内外关注AI显微镜研发的企业数不胜数。腾讯 AI Lab：2020年4月，腾讯 AI Lab 宣布中国首款智能显微镜获药监局批准进入临床应用。腾讯 AI Lab 联合业界领先的舜宇光学科技、国内最大的第三方医学检验机构金域医学宣布三方研发的智能显微镜已获得 NMPA 注册证，成为国内首个获准进入临床应用的智能显微镜产品。智能显微镜目前使用了离线运算版本，腾讯 AI Lab 还研发了一套基于深度学习方法的升级版算法，具有更高精准度和升级潜力。图示：免疫组织化学（IHC）训练学习过程的流程示意图。（来源：腾讯科技）爱威科技股份有限公司作为自动显微镜检验先行者，二十年来一直专注于「基于人工智能和机器视觉技术的医学显微镜形态学检验自动化」技术的研究和相关产品开发，建立了全自动显微镜细胞形态学检测技术平台。2015年成立的聚束科技自主研发生产的高通量、自动化扫描电子显微镜技术，与人工智能技术结合为「AI显微镜」，实现了超高速高分辨跨尺度大规模SEM成像以及海量SEM图像快速测量、统计、分析，自动化生成数据分析报告的全套解决方案。聚束科技与人工智能平台公司商汤科技合作，结合人工智能和深度学习技术，定制化开发符合客户材料分析需求的AI算子，以替代对国外厂商的技术依赖。尼康（Nikon）：2020年9月，尼康推出了Clarify.ai——一种AI算法，用于从宽视野显微镜图像中去除模糊。Clarify.ai 利用深度学习， Clarify.ai 已经过预训练，可以识别离焦平面发出的荧光信号，并且可以通过计算从图像中去除这种雾霾成分，从而显着提高信噪比 (S/N)。今年5月份，Nikon 推出 AX 和 AX R 共聚焦显微镜系统，具有 8K 分辨率、世界上最大的 25 mm视野，以及一套先进的基于人工智能 (AI) 的工具，用于加速基于显微镜的研究。
蔡司（ZEISS）的研究团队使用一种称为「解决方案实验室（Solutions Lab）」的流程来构建工作流，该工作流使用AI自动检测科学家可能希望调查的样本区域。
徕卡（Leica）的研究团队一直在建立一个经过预训练的深度学习模型库以及Aivia软件，该软件可以使任何人利用AI显微镜技术。Mindpeak致力于创建基于人工智能的软件，为临床病理学中的图像分析带来精确性和便利性。学术和商业领域的研究人员普遍认为，将AI应用于科学生活的最大障碍是对未知的恐惧。然而，AI日益增长的影响力是不可否认的。无论是在观察细胞还是在岩石，不论科学家对AI了解如何。将AI引入显微镜的日常实践的关键是确保任何科学家都可以使用该技术。为计算显微镜提供动力的深度学习算法需要大型数据集来训练，但此类数据集并不那么容易获得。且必须评估这些算法的性能，并将其与当前的分析标准进行比较。这是整个学术界的共同挑战。未来，在AI的助力下，显微镜将看的更清晰、处理数据更快、更加自动化、精确。让科研变得更轻松。以上可能只是目前研究的一部分。期待更多新的AI显微镜研究，未来可期.....
