该研究由Jiashu Han、Kunzan Liu、Keith B. Isaacson、Kristina Monakhova、Linda G. Griffith及Sixian You共同完成,文章题为《System- and sample-agnostic isotropic three-dimensional microscopy by weakly physics-informed, domain-shift-resistant axial deblurring》,于2025年1月在线发表于《Nature Communications》。
重要发现
01核心贡献:突破轴向分辨率瓶颈的新框架
SSAI-3D的核心贡献是构建了一套不依赖特定系统或样本的各向同性三维成像解决方案,解决了传统光学显微镜轴向分辨率差、域转移(训练与测试数据分布差异)导致模型泛化差等关键问题。其核心思路是将各向同性分辨率恢复转化为半盲去模糊问题,借助预训练的自然场景去模糊网络(NAFNet),通过自监督学习和稀疏微调,让模型适配不同显微镜和生物样本的成像特性。
02实验过程:从数据生成到模型优化的创新设计
在技术实现上,SSAI-3D分为两步。第一步是生成自监督训练数据集:先对高分辨率横向图像进行去噪,再用25种不同尺寸(高斯核标准差3-7像素)和方向(旋转-45°至45°)的点扩散函数(PSF)进行人工模糊,构建“模糊图像-清晰图像”配对数据。这种基于弱物理信息的合成方式,不依赖精确的光学模型,却能让网络学习显微镜的普遍模糊规律,增强对未知像差和噪声的鲁棒性。
第二步是稀疏微调预训练网络:采用含约1.5亿参数的NAFNet作为基础(该网络已在5万张自然图像上训练,具备强大去模糊能力),通过“手术网络”(6层MLP)筛选出对显微镜图像适配最关键的10%层进行微调,冻结其余90%层以保留自然场景学习到的去模糊能力。“手术网络”通过14种零射指标(如激活值均值、梯度标准差等)评估各层重要性,确保微调高效且不引发过拟合。
03实验结论:在多样场景中验证的高稳健性在真实生物样本中,SSAI-3D适配多种显微镜(光片、共聚焦、宽场、非线性显微镜)和样本类型:对活的人血脑屏障类器官,能清晰恢复血管内皮细胞结构;对新鲜人子宫内膜组织(含定向胶原和极性腺体,低横向-轴向相似性),可准确还原腺体轴向细节;对小鼠胡须垫组织,通过二次谐波成像(SHG)恢复的纤维结构更清晰。
此外,在系统缺陷(如空间变化PSF、低光噪声)测试中,SSAI-3D优势显著。当PSF因像差呈空间变化,或图像含高斯与泊松噪声时,其结构相似性(SSIM)远高于SelfNet和CARE,甚至在轴向分辨率比横向差7倍时,仍能保持一定恢复能力。
创新与亮点
01突破传统方法的固有局限
传统轴向去模糊方法存在诸多瓶颈:监督学习需配对的各向同性数据(难获取),GAN类无监督方法易崩溃生成虚假结构,CARE等方法依赖精确PSF模型(而真实成像中PSF因像差、散射呈空间变化),且多数方法假设横向-轴向相似(对极性组织失效)。
SSAI-3D则实现多重突破:无需精确PSF模型,通过多样化PSF合成数据适配普遍模糊规律;不依赖横向-轴向相似性,借助预训练网络的强泛化能力,在低相似性样本(如腺体、纤维)中仍稳健;通过稀疏微调(仅修改约1500万参数),训练时间比现有方法缩短2.5-3.5倍,且避免全量微调导致的域转移敏感问题。
02技术创新:弱物理信息与稀疏学习的结合例如,在小鼠全脑成像中,SSAI-3D恢复的神经元结构与硬件校正的mesoSPIM显微镜结果接近,神经元提取准确率达97%;在mitochondria成像中,其测量的DNApuncta体积与多视角共聚焦结果高度一致,为下游生物分析(如细胞结构量化、疾病相关形态变化检测)提供可靠数据。
总结与展望
SSAI-3D通过弱物理信息自监督学习和稀疏微调,突破了传统光学显微镜轴向分辨率低、模型泛化差的局限,实现了跨系统、跨样本的各向同性三维成像。其优势在于无需精确光学模型、不依赖样本结构假设、训练高效,已在多种显微镜和生物样本中验证了高稳健性。未来,随着技术优化(如处理更强轴向分辨率差异、适配相干成像的复杂PSF),SSAI-3D有望成为神经科学、发育生物学、癌症研究等领域的核心工具,助力揭示三维生物结构与功能的深层关联。
DOI:10.1038/s41467-025-56078-4.