文章

新型机器学习框架无需专用硬件即可快速校正成像像差解锁高分辨率观测

2025-11-24     来源:本站     点击次数:112

在生物医学研究中,高分辨率组织成像技术常因样本引起的光学像差而受限,导致图像分辨率和对比度下降。传统基于波前传感器的自适应光学技术虽能测量这些像差,但其硬件复杂、成本高昂,且在测绘大视场中空间变化的像差时速度缓慢。为此,研究团队提出了一种名为AOVIFT(自适应光学视觉傅里叶变换器)的新型机器学习框架,该框架基于三维多阶段视觉Transformer,直接在傅里叶域中对像差进行建模与校正。AOVIFT通过分析样本中由亚衍射尺寸荧光斑点(如网格蛋白包被小坑)产生的傅里叶嵌入特征,快速推断像差并恢复衍射极限性能,显著降低了计算成本、训练时间及内存占用。该方法在活体基因编辑斑马鱼胚胎和培养细胞中得到了验证,能够通过可变形镜或后处理解卷积有效校正空间变化的像差,为多种生物样本的高分辨率体积显微镜成像降低了技术门槛。

本研究的核心贡献者为Thayer Alshaabi、Daniel E. Milkie、Gaoxiang Liu等作者,其合作论文《Fourier-based three-dimensional multistage transformer for aberration correction in multicellular specimens》于2025年10月在《Nature Methods》期刊上在线发表。

重要发现
01研究背景与技术需求
在活体多细胞样本成像中,样本内部折射率的不均匀性会导致复杂的光学像差,严重影响成像质量。传统的自适应光学技术依赖波前传感器和导引星,硬件要求高且操作繁琐。尽管已有多种基于机器学习的像差校正方法被提出,但在处理大体积、低信噪比、多斑点的活体样本时,仍难以同时满足速度、鲁棒性、准确性和非侵入性等严格要求。特别是在自适应光学格子光片显微镜中,需要对秒级时间内采集的体积数据完成像差推断,且能应对高达5λ峰谷值的复杂像差模式。

02AOVIFT方法的核心设计
AOVIFT的创新之处在于其将像差校正问题转化为傅里叶域中的特征学习任务。其工作流程始于对输入的三维体积数据进行预处理,包括高斯高通滤波去除背景噪声、傅里叶频率滤波限制在检测数值孔径范围内,以及Tukey窗函数减少边缘效应。随后,通过计算预处理后体积的三维傅里叶变换,并以其与理想点扩散函数傅里叶振幅的比值作为振幅嵌入,结合通过局部极大值检测和掩模处理消除多斑点干扰后的相位信息,构建包含六个二维平面的傅里叶嵌入(三个振幅平面和三个相位平面)。这一嵌入作为后续Transformer模型的输入。

模型采用双阶段三维视觉Transformer架构,每个阶段使用不同的块大小(32和16像素)对傅里叶平面进行分块处理,并引入径向编码的位置嵌入以契合Zernike多项式的径向对称特性。通过多层自注意力机制和残差连接,模型能够从傅里叶嵌入中提取多尺度特征,最终输出前15个Zernike模式(排除活塞、倾斜、散焦等平移相关模式)的系数,用于驱动可变形镜或生成用于解卷积的像差点扩散函数。

03性能验证与实验结果
在合成数据测试中,AOVIFT在像差小于0.30λ RMS且信号高于5×10^4光子的条件下,单次迭代即可使绝大多数样本恢复至衍射极限性能(RMS波前残差<0.075λ)。其性能显著优于PhaseNet与相位检索等传统方法,尤其在斑点数量增多或偏离视场中心时仍保持稳定。在真实实验中,研究团队首先在荧光微球上验证了AOVIFT的校正能力:对66种不同Zernike模式组合施加初始像差后,AOVIFT在45种情况下经两次迭代达到衍射极限,在另11种情况下经五次迭代接近衍射极限。

在活体SUM159细胞成像中,AOVIFT成功校正了由可变形镜引入的混合像差(如水平彗差与倾斜三叶像差),使网格蛋白包被小坑的信号强度提升2-4倍,快速傅里叶变换显示空间频率成分显著恢复。在斑马鱼胚胎实验中,AOVIFT校正了约2λ峰谷值的样本固有像差,其效果与基于导引星的Shack-Hartmann传感器校正结果相当,并实现了对细胞膜和线粒体的清晰成像。

针对大视场内像差的空间变化性,AOVIFT能够在1.5分钟内基于四块A100 GPU并行推断出204个等晕区域的像差分布图。尽管无法通过单一可变形镜同时校正所有区域,但通过基于像差图的空变解卷积处理,有效抑制了像差引起的伪影,提升了样本结构的还原度。

创新与亮点
01突破传统硬件限制的软传感范式
AOVIFT的核心突破在于彻底摆脱了对波前传感器和导引星等专用硬件的依赖,将像差传感转化为纯计算问题。这一转变不仅大幅降低了系统复杂性与成本,更使得像差校正可广泛应用于不具备自适应光学硬件的普通显微镜平台。通过利用样本内天然存在的亚衍射结构(如网格蛋白包被小坑)作为信号源,AOVIFT实现了“无创”像差感知,避免了对荧光光子预算的过度消耗,保障了活体样本的生理活性。

02傅里叶域嵌入与Transformer架构的协同优势
AOVIFT的创新性技术路线体现在两方面:其一,采用傅里叶域嵌入而非实空间图像作为模型输入,充分利用了像差在频域的全局性特征,使模型更专注于与光学传递函数直接相关的特征学习;其二,设计的多阶段Transformer架构通过分块策略与径向位置编码,显著降低了计算复杂度,在小参数量下实现了快速收敛与高精度预测。相较于传统的三维卷积网络或视觉Transformer变体,AOVIFT在训练速度、内存占用和推理延迟上均具优势,为实时校正提供了可能。

03面向生命科学研究的实用化价值
该技术的另一大亮点在于其紧密贴合生物成像的实际需求。通过专为格子光片显微镜优化的训练数据与模型设计,AOVIFT在活体斑马鱼胚胎、哺乳动物细胞等复杂样本中表现出强鲁棒性。其空变像差测绘能力为宏观组织尺度的高分辨率成像提供了可行路径,而基于像差图的解卷积处理则为历史数据的质量提升开辟了新思路。这些特性使得AOVIFT不仅是技术方法的创新,更是推动生命科学研究者深入探索亚细胞动态过程的有力工具。

总结与展望
AOVIFT作为一项融合傅里叶光学与深度学习的前沿技术,成功演示了基于机器学习的自适应光学在活体多细胞成像中的巨大潜力。其通过傅里叶嵌入与三维视觉Transformer的有效结合,实现了对复杂像差的快速、精准校正,为高分辨率体积显微镜在生命科学中的普及应用提供了更易实现的解决方案。当前模型虽针对特定光片类型优化,但其框架具备向其他成像模式拓展的灵活性。

展望未来,该研究指出了三维显微镜领域对通用基础模型的迫切需求。正如自然图像处理领域依托ImageNet等大型数据集发展出通用视觉Transformer,体积显微镜成像同样需要大规模、高质量的四维数据集支撑预训练模型的开发。这样的“显微镜基础模型”有望进一步降低AOVIFT等定制化方法对数据与算力的需求,通过微调即可适应多样的样本类型、显微镜构型与像差范围。尽管面临数据采集与计算的挑战,AOVIFT无疑为最终实现从分子到生物体尺度、从随机动力学到胚胎发育过程的全面观测迈出了关键一步。

论文信息
声明:本文仅用作学术目的。
Alshaabi T, Milkie DE, Liu G, Shirazinejad C, Hong JL, Achour K, Görlitz F, Milunovic-Jevtic A, Simmons C, Abuzahriyeh IS, Hong E, Williams SE, Harrison N, Huang E, Bae ES, Killilea AN, Swinburne IA, Drubin DG, Upadhyayula S, Betzig E. Fourier-based three-dimensional multistage transformer for aberration correction in multicellular specimens. Nat Methods. 2025 Oct;22(10):2171-2179.

DOI:10.1038/s41592-025-02844-7.

相关文章 更多 >