本研究的核心贡献由Meng Zhang、Renjian Li、Songnian Fu、Sunil Kumar、James Mcginty、Yuwen Qin和Lingling Chen等人完成,研究成果以题为“Deep learning enhanced light sheet fluorescence microscopy for in vivo 4D imaging of zebrafish heart beating”的论文形式,于2025年发表在期刊《Light: Science & Applications》上。该论文通过结合光学工程与深度学习算法,推动了荧光显微镜在活体成像中的应用前沿。
重要发现
01UI-Trans网络的核心架构与训练策略
研究团队开发了一种新颖的CNN-Transformer混合网络,称为U-net集成Transformer(UI-Trans),其设计旨在同时捕捉图像的局部细节和全局特征,以应对活体成像中常见的噪声和散射耦合退化问题。UI-Trans网络采用双分支编码器-解码器结构:一个分支基于Transformer模块,通过自注意力机制捕获长程依赖关系;另一个分支使用多层卷积结构,专注于提取局部特征。编码器通过下采样逐步压缩特征,而解码器则通过上采样和跳跃连接恢复图像细节,确保输出与输入在像素级对齐。这种架构的优势在于,Transformer组件能够理解整个图像空间的复杂模式,而CNN组件则保留细微结构,从而在去噪和散射减轻方面实现平衡。
训练数据的生成依赖于光片显微镜系统的灵活切换:在常规LSFM模式下,使用快速扫描的高斯激光束进行低光暴露成像(如曝光时间10毫秒/平面、照明功率0.1毫瓦),产生低质量图像作为输入;在共焦LS-LSFM模式下,通过同步激光扫描与相机滚动快门曝光,减少散射光贡献,生成高质量图像作为地面真实数据(GT)。这种方法不仅保证了输入-GT对的像素级对齐,避免了额外的图像配准工作,还大幅降低了数据采集时间(共焦模式需300毫秒/平面,而常规模式仅需10毫秒/平面)。训练过程中,采用多损失联合优化策略,结合像素级误差(平均绝对误差)和感知相似性损失(基于预训练VGG网络),以确保网络在去噪的同时保持结构保真度。通过这种设计,UI-Trans在复杂降解场景中表现出色,为后续成像应用奠定了坚实基础。
02成像性能的提升与实验验证定量分析进一步证实了UI-Trans的优越性:在归一化均方根误差(NRMSE)和Pearson相关系数等指标上,UI-Trans比CARE和RCAN分别提升约31%/39%和9%/11%。更重要的是,UI-Trans能有效缓解散射引起的图像退化。当仅通过增加照明功率和曝光时间提升SNR时(如功率1毫瓦、曝光500毫秒/平面),高SNR常规LSFM图像仍受散射干扰,背景信号淹没心肌细节;而UI-Trans恢复的图像则接近共焦LS-LSFM的GT水平,成功还原约6微米宽的狭窄结构,散射模糊程度降低183%。在SNR和对比度增强方面,UI-Trans实现约7.2分贝SNR提升和87%对比度改善,远优于单纯增加光剂量的方法(仅4.5分贝SNR提升和30%对比度改善)。这些结果突显了UI-Trans在处理噪声-散射耦合问题上的独特能力,为其在活体成像中的应用提供了可靠依据。
03活体斑马鱼心脏4D成像的应用展示在4D成像方面,UI-Trans支持对心脏动态过程的高时空分辨率观测。例如,在单个心跳周期(约300毫秒)内,UI-Trans恢复的图像能清晰显示心房和心室的收缩-舒张波形、血液流动路径以及特征性小梁结构。时间一致性分析表明,SNR和对比度增强在整个周期内保持稳定,证实了网络的鲁棒性。此外,该方法适用于不同发育阶段的斑马鱼心脏(如30小时受精后胚胎和120小时受精后晚期心脏),即使训练集未包含某些阶段数据,UI-Trans仍能有效恢复形态变化,如胚胎期的心脏收缩波和晚期的心房-心室分化。这为心脏发育研究提供了无损、高效的成像解决方案。
创新与亮点
01突破噪声与散射耦合退化的难题
传统荧光显微镜在活体mesoscopic成像中面临的根本挑战是噪声和散射的相互耦合,这种复杂退化不仅降低信噪比,还导致结构模糊和细节丢失。UI-Trans网络通过结合CNN和Transformer的优势,首次实现了对这类问题的系统化解决:CNN组件确保局部特征的敏感提取,而Transformer的自注意力机制则提供全局上下文理解,使网络能区分真实信号与散射伪影。与单一架构方法(如纯CNN模型)相比,UI-Trans在保持结构保真度的同时,显著提升了图像对比度和清晰度。这一突破解决了长期困扰活体成像的质量-效率权衡问题,为高精度动态研究铺平了道路。
03价值体现在低损伤长时间成像方面
UI-Trans增强的LSFM方法将光暴露和采集时间降至极低水平(仅需传统方法的0.03%光暴露和3.3%时间),这在活体长期成像中具有革命性意义。低光剂量意味着更小的光毒性和光漂白效应,允许对敏感样本(如发育中的胚胎)进行连续观测,而不会干扰其生理过程。同时,高速成像能力(如视频率4D采集)使研究人员能捕获快速动态事件(如心跳周期),为心脏力学、神经活动等研究提供丰富数据。从应用视角看,该方法已成功应用于多种模型生物(如斑马鱼、Tribolium castaneum胚胎),展现出广泛的泛化潜力,有望推动个性化医疗和药物筛选等领域的发展。
总结与展望
本研究通过开发UI-Trans网络和共焦LS-LSFM集成的深度学习增强光片显微镜,实现了斑马鱼心脏活体4D成像的高质量、低损伤突破。该方法在去噪、散射减轻和结构保真度方面均优于现有技术,并通过高效的训练数据生成策略,解决了复杂成像环境下的退化问题。实验证明,UI-Trans在离体和活体样本中均能提升信噪比和对比度,支持长时间动态观测,为生物医学研究提供了强大工具。未来,该方法可进一步拓展至其他生物模型和成像模态(如多光子显微镜),通过联合训练和跨平台适配,提升其通用性。同时,探索网络的可解释性和在定量分析中的应用,将加深我们对深度学习在光学成像中作用的认知。总之,这一技术不仅推动了荧光显微镜的边界,也为理解生命系统的时空动态开辟了新途径。
DOI:10.1038/s41377-024-01710-z.