认知负荷对脑眼响应的影响：基于fNIRS–眼动多模态的神经心理学研究
2026-02-24 来源:本站 点击次数:226文章概要
在当代高度信息化、任务高密度的工作与学习环境中，“认知负荷”已成为一个不可忽视的核心变量。无论是复杂决策、在线学习，还是高风险职业操作，人类都在不断逼近自身信息加工能力的上限。然而，我们真的知道“过载”发生在什么时候、发生在大脑的哪一层面吗？
基于此，上海理工大学团队在《Medical & Biological Engineering & Computing》（2025）发表研究Exploring cognitive load through neuropsychological features: an analysis using fNIRS-eye tracking，将功能性近红外光谱成像（fNIRS）与眼动追踪技术结合，同步采集脑部血氧信号与眼动数据，克服了单一模态的局限，有效解决了特征选择困难、数据维度过高以及样本数量不足等挑战，从神经心理层面重新审视个体如何承载信息这一问题。
数据处理方面，该研究利用最大相关最小冗余（mRMR）算法提取与认知负荷最为相关的特征。随后将其输入朴素贝叶斯、支持向量机、K近邻和随机森林等分类模型中，通过交叉验证评估模型的分类性能。结果表明，多模态生理信号结合特征选择与机器学习方法，能够有效区分不同水平的认知负荷。
在高信息密度与高复杂度并存的当代社会，个体的认知资源分配直接影响其判断质量与行为效率。因此，如何准确、稳定、客观地测量认知负荷，一直是认知科学、人因工程与教育技术领域的重要议题。
传统的认知负荷评估主要依赖两类方法：一是基于自我报告的主观量表（如NASA-TLX; Byers, 1989），二是基于反应时、正确率等行为表现指标。然而，这些方法只能反映结果层面的变化，难以揭示任务执行过程中的心理加工状态；同时，主观报告还易受到回忆偏差、情绪状态与社会期望的影响。因此，利用生理信号捕捉神经层面认知负荷的即时变化成为研究趋势。
既有研究表明，当任务复杂度上升时，个体前额叶皮层（PFC）的血氧水平会发生系统性变化，同时其眼动行为（如扫视次数、注视时长、瞳孔变化）也会随之改变（Yeung et al., 2021）。这意味着，大脑活动与视觉行为共同构成了认知负荷的双通道表征。然而，现有研究多采用单一模态，难以全面反应被试的认知状态（Skulmowski & Rey, 2017; Asgher et al., 2020; ）；同时，高维生理特征还可能带来特征选择困难与数据维度过高等问题，限制模型的稳定性与可推广性（Broadbent et al., 2023）。
在此背景下，Yu等人（2025）提出将功能性近红外光谱成像（fNIRS）与眼动追踪进行多模态融合，并引入最大相关最小冗余算法（mRMR）进行特征筛选，构建从神经信号到认知负荷分类的系统框架，尝试在神经心理层面重新理解认知负荷。
实验设计——如何“诱发”不同水平的认知负荷？
研究对象和实验流程：
共招募20名大学生（16名男生、4名女生），完成三种难度递增的心算任务：
低负荷：单数加减，如7-3+5
中负荷：单数四则运算，如6*9-4*7
高负荷：多位数四则运算，如18*11-5*14
每位被试完成5个任务块与5个静息块，单个任务区块50秒，总时长300秒。
图1. 实验范式。(a) 单个任务区块；(b) 包含五个任务区块与五个静息区块的完整实验流程
记录工具
fNIRS：24通道，记录前额叶HbO/HbR；计算5类特征：均值、方差、峰度、偏度、峰值；经单因素重复测量方差分析筛选出的 9 个显著通道相关特征均纳入其中（见图3）
眼动：经方差分析筛选出的 6 类显著眼动特征（左 / 右眼光扫视时长、左 / 右眼注视时长、左 / 右眼扫视次数）
特征提取和模型训练
特征提取：引入mRMR（最大相关最小冗余）算法，解决特征冗余与过拟合问题。将fNIRS和眼动数据的两类特征整合后形成完整的原始特征集，基于香农信息论，计算特征与任务类别的相关性（互信息）和特征间冗余度，筛选 “高相关、低冗余” 的最优特征子集。
分类模型：以三个认知负荷水平（低、中、高）下采集的 fNIRS 和眼动追踪信号为样本，应用四种常用分类模型：朴素贝叶斯（NB）、支持向量机（SVM）、K 近邻（KNN）和随机森林（RF）做分类（训练集：测试集 = 3：1），采用 10 折交叉验证法评估分类性能；另外，根据mRMR得到的最优特征子集排序，依次选取不同数量特征值，来探索每个分类模型最优特征数量。
研究结果
1. 认知负荷操控的有效性
图4展示了随着任务难度增加，20名被试的NASA-TLX评分显著上升，反应时延长，正确率下降，三项指标均存在显著差异，说明实验成功操控了不同水平的认知负荷。
2. 神经与行为的生理表征
在神经层面，随着任务难度提升，前额叶HbO浓度显著增加，表明大脑需要投入更多代谢资源以支持更复杂的认知加工。在行为层面，高负荷任务中被试的扫视次数明显增多，而注视与扫视时长缩短，反映其需要更频繁地重新定位信息并快速分配注意资源（见图5）。
3. 多模态分类性能
研究构建了朴素贝叶斯（NB）、支持向量机(SVM)、K近邻（KNN）与随机森林(RF)四类分类模型。结果表明（见图6），当特征数量处于最优区间时，分类精度显著提升，其中随机森林最高达到87.8%，SVM与KNN均超过86%。当特征过少时信息不足，过多时引入噪声并导致过拟合，因此认知负荷识别必须在特征信息量与模型复杂度之间取得最优平衡。
对比单模态与多模态模型的分类结果可以发现，多模态融合在认知负荷识别中具有明显优势（见表1）。具体而言，仅使用fNIRS特征时，分类准确率范围为52%–84%；仅使用眼动特征时，准确率为51%–80%。相比之下，将fNIRS与眼动数据进行融合后，模型的分类准确率显著提升至82%–87%。这一结果表明，大脑血氧信号与视觉行为指标在认知负荷表征上具有互补性，多模态信息的整合能够有效增强模型对不同认知负荷水平的区分能力，并提升识别结果的稳定性与可靠性。
表1. 分类模型准确率对比
结论与启示
本研究从神经心理学视角证明，认知负荷并非仅体现在主观体验或行为结果中，而是嵌入在神经活动与感知行为的动态协同之中。多模态生理特征为认知状态提供了可解释、可量化的客观依据。
在实践层面，该框架为智能学习系统、人机交互、驾驶安全、医学培训等领域提供了新的评估思路：通过实时监测认知负荷，可动态调节任务难度与界面设计，从而优化人机协同效率。
不足与展望
首先，多模态生理信号数据体量大、结构复杂，数据处理过程依赖较高的计算资源并耗时较长，增加了数据处理与建模过程中的潜在误差风险。
其次，fNIRS与眼动数据均易受到噪声与伪迹的干扰，例如头部运动可能导致fNIRS信号失真，而快速眼动与眨眼则会影响眼动数据的稳定性与准确性。
方法层面，本研究在特征数量选择与数据预处理方面仍存在不足：（1）受限于仪器精度与个体差异，部分特征在总体样本中未呈现显著差异；（2）现有预处理策略在去除噪声与无效信息方面仍不够理想。
针对上述问题，未来研究可通过扩展特征集合、引入其他生理信号与行为指标，以挖掘更丰富的神经心理学特征；同时结合更先进的去噪技术与机器学习算法（如自适应滤波），进一步优化数据预处理流程，从而提升模型的稳健性与泛化能力。
参考文献
Byers, J. C. (1989). Traditional and raw task load index (TLX) correlations: are paired comparisons necessary?. Advances in industrial ergonomics and safety, 481-485.
Yeung, M. K., Lee, T. L., Han, Y. M., & Chan, A. S. (2021). Prefrontal activation and pupil dilation during n-back task performance: A combined fNIRS and pupillometry study. Neuropsychologia, 159, 107954.
Skulmowski, A., & Rey, G. D. (2017). Measuring cognitive load in embodied learning settings. Frontiers in psychology, 8, 1191.
Asgher, U., Khalil, K., Khan, M. J., Ahmad, R., Butt, S. I., Ayaz, Y., ... & Nazir, S. (2020). Enhanced accuracy for multiclass mental workload detection using long short-term memory for brain–computer interface. Frontiers in neuroscience, 14, 584.
Broadbent, D. P., D’Innocenzo, G., Ellmers, T. J., Parsler, J., Szameitat, A. J., & Bishop, D. T. (2023). Cognitive load, working memory capacity and driving performance: A preliminary fNIRS and eye tracking study. Transportation research part F: traffic psychology and behaviour, 92, 121-132
原文信息链接
Yu, K., Chen, J., Ding, X., & Zhang, D. (2025). Exploring cognitive load through neuropsychological features: an analysis using fNIRS-eye tracking. Medical & Biological Engineering & Computing, 63(1), 45-57.
https://link.springer.com/article/10.1007/s11517-024-03178-w
作者及单位介绍
该研究由Yu Kaiwen、Chen Jiafa、Ding Xian、Zhang Dawei等作者完成，研究单位为上海理工大学光电信息与计算机工程学院、教育部光学仪器与系统工程研究中心、上海市现代光学系统重点实验室。
关于维拓启创
维拓启创（北京）信息技术有限公司成立于2006年，是一家专注于脑科学、康复工程、人因工程、心理学、体育科学等领域的科研解决方案供应商。公司与国内外多所大学、研究机构、企业长期保持合作关系，致力于将优质的产品、先进的技术和服务带给各个领域的科研工作者，为用户提供有竞争力的方案和服务，协助用户的科研工作，持续提升使用体验。
相关产品
