深度学习推进高速三维成像技术—无需高速硬件实现万帧级3D测量
2025-09-29 来源:本站 点击次数:40本研究由 Wenwu Chen、Yifan Liu、Shijie Feng、Wei Yin、Jiaming Qian、Yixuan Li、Hang Zhang、Maciej Trusiak、Malgorzata Kujawinska、Qian Chen 和 Chao Zuo 共同完成，研究成果以题为“Dual-frequency angular-multiplexed fringe projection profilometry with deep learning: breaking hardware limits for ultra-high-speed 3D imaging”的论文形式，于2025年8月在《Opto-Electronic Advances》上正式发表。
重要发现
01核心贡献
DFAMFPP 技术的核心突破在于其成功将多帧三维信息编码至单张复用图像中，通过结合双频条纹投影结构与深度学习重建算法，实现了无需高速硬件支持的超高速三维成像。该系统在仅使用625 Hz相机的情况下，成功对转速高达9,500 RPM的涡轮风扇发动机原型进行了10,000 Hz 的三维动态捕获，显著超越了传统FPP系统的性能极限。
DFAMFPP 系统基于数字微镜器件（DMD）投影系统与科学CMOS相机搭建。其光学投影部分采用多组双频条纹对，每组包含高、低两种空间频率的条纹，并沿不同角度投射。高频率条纹用于捕捉细节信息，低频率条纹则提供全局相位展开的约束。投影序列以超过相机帧率的速度运行，通过长时间曝光将多帧条纹信息整合至单张图像中，形成光谱域中特有的同心圆对分布结构，从而在频率域实现多时刻信息的有效分离。
03深度学习重建流程
图像重建过程包含三个关键步骤：零阶分量滤除（ZORNet）、相位分解网络与数论相位展开网络。首先，ZORNet 作为一种学习增强型高通滤波器，有效去除复用图像中的零频背景，保留高频信号成分。随后，设计了一种空频混合双分支神经网络（空间分支与频率分支），对滤除零阶后的复用图像进行分解，提取出各时刻对应的条纹成分。最后，借助物理信息嵌入的相位分析模块（PI-AFPA）与数论相位展开模块（NT-TPU），结合可靠性引导补偿（RGC）算法，成功恢复出高精度的绝对相位图，并通过标定参数和增强型三维重建算法（A3DR）最终输出三维点云。
04实验验证与精度分析
研究团队通过多个动态场景验证了DFAMFPP 的有效性。例如，在对转速约4,800 RPM的四叶片风扇进行拍摄时，系统成功从单张复用图像中解析出16个连续时刻的高精度三维模型，清晰呈现出叶片旋转中的形变与位移。在对标准陶瓷球体的定量评估中，该系统在最佳条件下实现了优于100微米的测量精度，半径重建的均方根误差保持在90–98微米之间，证明其具备高精度的绝对三维测量能力。
创新与亮点
01突破硬件瓶颈的传统难题
DFAMFPP 最大亮点在于其彻底摆脱了对高刷新率传感器的依赖，通过计算成像的方法实现了“传感器帧率之外”的超高速三维成像。传统FPP系统因受限于硬件同步机制，难以在成本可控的情况下进一步提升采样率。而DFAMFPP 利用投影器高速切换特性与深度学习算法的协同，仅用普通相机即实现 kHz 级别三维成像，为解决高速动态测量中的硬件限制提供了全新思路。
在光学编码方面，本研究创新性地将双频条纹与角度复用策略相结合。每一组双频条纹不仅提供了局部细节与全局约束，还通过改变投影角度进一步提高了信息承载容量。其频谱分布具备良好的分离特性，使得后续神经网络能够更精准地分解各时刻信号，抑制了频谱混叠问题，增强了对复杂物体及高动态场景的适应性。
03物理机制与深度学习融合
DFAMFPP 的另一大创新体现在将传统物理模型与数据驱动方法深度融合。例如，PI-AFPA 模块融合了傅里叶变换轮廓术（FTP）与相位偏移法的物理先验，NT-TPU 则引入数论约束作为 unwrapping 的强引导，使得整个系统在保持高精度的同时，也具备良好的泛化能力与抗干扰性。
总结与展望
DFAMFPP 作为一项融合光学工程、计算成像与深度学习的前沿技术，成功实现了在无需高速相机条件下的万帧级三维成像，显著推动了高速乃至超高速光学测量领域的发展。其不仅具备高精度、大景深的测量特性，还在系统复杂度和成本控制方面表现出广泛的应用潜力。尽管目前该方法仍受投影器刷新率上限的制约，且在超高帧率下精度与帧数间需进一步权衡，但其基本框架已为未来高速视觉感知系统的设计提供了重要借鉴。展望未来，随着神经网络轻量化、专用硬件加速技术的持续发展，DFAMFPP 有望在工业检测、生物力学研究、航空航天监测等需高时空分辨率三维数据的领域发挥更重要的作用，成为连接科学研究与工程应用的关键桥梁。
声明：本文仅用作学术目的。
Wenwu Chen、Yifan Liu、Shijie Feng、Wei Yin、Jiaming Qian、Yixuan Li、Hang Zhang、Maciej Trusiak、Malgorzata Kujawinska、Qian Chen、Chao Zuo
DOI:10.29026/oea.2025.250021.