在生物医学研究中,高分辨率组织成像技术常因样本引起的光学像差而受限,导致图像分辨率和对比度下降。传统基于波前传感器的自适应光学技术虽能测量这些像差,但其硬件复杂、成本高昂,且在测绘大视场中空间变化的像差时速度缓慢。为此,研究团队提出了一种名为AOVIFT(自适应光学视觉傅里叶变换器)的新型机器学习框架,该框架基于三维多阶段视觉Transformer,直接在傅里叶域中对像差进行建模与校正。AOVIFT通过分析样本中由亚衍射尺寸荧光斑点(如网格蛋白包被小坑)产生的傅里叶嵌入特征,快速推断像差并恢复衍射极限性能,显著降低了计算成本、训练时间及内存占用。该方法在活体基因编辑斑马鱼胚胎和培养细胞中得到了验证,能够通过可变形镜或后处理解卷积有效校正空间变化的像差,为多种生物样本的高分辨率体积显微镜成像降低了技术门槛。
本研究的核心贡献者为Thayer Alshaabi、Daniel E. Milkie、Gaoxiang Liu等作者,其合作论文《Fourier-based three-dimensional multistage transformer for aberration correction in multicellular specimens》于2025年10月在《Nature Methods》期刊上在线发表。
重要发现
01研究背景与技术需求
在活体多细胞样本成像中,样本内部折射率的不均匀性会导致复杂的光学像差,严重影响成像质量。传统的自适应光学技术依赖波前传感器和导引星,硬件要求高且操作繁琐。尽管已有多种基于机器学习的像差校正方法被提出,但在处理大体积、低信噪比、多斑点的活体样本时,仍难以同时满足速度、鲁棒性、准确性和非侵入性等严格要求。特别是在自适应光学格子光片显微镜中,需要对秒级时间内采集的体积数据完成像差推断,且能应对高达5λ峰谷值的复杂像差模式。
模型采用双阶段三维视觉Transformer架构,每个阶段使用不同的块大小(32和16像素)对傅里叶平面进行分块处理,并引入径向编码的位置嵌入以契合Zernike多项式的径向对称特性。通过多层自注意力机制和残差连接,模型能够从傅里叶嵌入中提取多尺度特征,最终输出前15个Zernike模式(排除活塞、倾斜、散焦等平移相关模式)的系数,用于驱动可变形镜或生成用于解卷积的像差点扩散函数。
03性能验证与实验结果在活体SUM159细胞成像中,AOVIFT成功校正了由可变形镜引入的混合像差(如水平彗差与倾斜三叶像差),使网格蛋白包被小坑的信号强度提升2-4倍,快速傅里叶变换显示空间频率成分显著恢复。在斑马鱼胚胎实验中,AOVIFT校正了约2λ峰谷值的样本固有像差,其效果与基于导引星的Shack-Hartmann传感器校正结果相当,并实现了对细胞膜和线粒体的清晰成像。
针对大视场内像差的空间变化性,AOVIFT能够在1.5分钟内基于四块A100 GPU并行推断出204个等晕区域的像差分布图。尽管无法通过单一可变形镜同时校正所有区域,但通过基于像差图的空变解卷积处理,有效抑制了像差引起的伪影,提升了样本结构的还原度。
创新与亮点
01突破传统硬件限制的软传感范式
AOVIFT的核心突破在于彻底摆脱了对波前传感器和导引星等专用硬件的依赖,将像差传感转化为纯计算问题。这一转变不仅大幅降低了系统复杂性与成本,更使得像差校正可广泛应用于不具备自适应光学硬件的普通显微镜平台。通过利用样本内天然存在的亚衍射结构(如网格蛋白包被小坑)作为信号源,AOVIFT实现了“无创”像差感知,避免了对荧光光子预算的过度消耗,保障了活体样本的生理活性。
总结与展望
AOVIFT作为一项融合傅里叶光学与深度学习的前沿技术,成功演示了基于机器学习的自适应光学在活体多细胞成像中的巨大潜力。其通过傅里叶嵌入与三维视觉Transformer的有效结合,实现了对复杂像差的快速、精准校正,为高分辨率体积显微镜在生命科学中的普及应用提供了更易实现的解决方案。当前模型虽针对特定光片类型优化,但其框架具备向其他成像模式拓展的灵活性。
DOI:10.1038/s41592-025-02844-7.