游戏化学习环境通过游戏机制设计（如美学、叙事、激励）来激发有利于学习的情感体验。大量研究发现，相比传统教育方法，游戏化学习能够提升学习效果、促进更积极的情绪状态并增强学习动机。

然而，游戏化学习的效果因人而异，这可能与过程中发生的复杂情绪过程有关。

为了更全面、更准确地测量和建模情绪，本文研究采用多模态方法分析了游戏化学习过程中面部表情与心率变异性之间的同步性，并评估了这种同步性与知识获得和学习增益的关系，为游戏化学习环境的设计和优化提供了科学依据（Cloude et al., 2024）。

游戏化学习中的情绪
随着教育技术的不断发展，游戏化学习（Game-Based Learning, GBL）作为一种新兴的教学模式逐渐受到关注。它通过游戏机制（如美学、叙事、激励机制）设计，旨在创造引人入胜且情感丰富的学习体验，从而促进学习效果。多项研究表明，相较于传统教育方法，能够提高学生的学业成绩、积极情绪状态和学习动机。

情绪在学习过程中扮演着重要角色，既是学习的催化剂，也可能成为障碍。控制价值理论（Control-Value Theory, CVT）指出，情绪通过影响动机过程和认知资源（如注意力、记忆、问题解决）来调节学习效果。情绪状态是多维度的，由心理生理、行为、表达、主观和认知五个成分的复杂交互作用形成。然而，传统研究方法往往依赖于单一数据通道（如主观调查或日志文件），难以全面捕捉情绪的多维度特性。

使用多模态方法分析情绪的多维性
非线性动力系统理论（Non-linear Dynamical Systems, NLDS）提供了一种研究复杂系统中多个成分如何相互作用并形成紧急状态的方法。该理论认为，系统成分随时间变化并相互作用，产生更高层次的紧急行为或状态。在教育研究中，NLDS方法已被用于研究理解、协作学习和情绪模仿等领域。通过结合NLDS理论和情绪成分过程模型，可以更全面地理解情绪的多维度特性及其对学习的影响。

尽管游戏化学习在提高学习效果方面展现出潜力，但其有效性在不同学习者群体中存在差异。因此，为了探究面部表情与心率变异性（HRV）等多情绪成分之间的同步性及其对游戏化学习成果的影响，具体研究问题包括：

• 游戏化学习后，学习者的知识评估分数是否存在差异？
• 游戏化学习过程中，面部表情与HRV如何同步？
• 面部表情与HRV的同步性与知识获取（前/后）和学习增益之间是否存在关系？

如何捕捉表情与心跳的“对话”？
实验共招募了81名被试，平均年龄为26岁，性别分布均衡，最终纳入分析的为58名。

采用一款名为Antidote COVID-19的电子游戏作为游戏化学习环境。被试到达实验室后完成前测。随后，佩戴BioNomadix无线光电容积脉搏波（PPG）和皮肤电活动（EDA）放大器，以记录心率和皮肤电反应。游戏在平板上进行，持续1小时，期间视频摄像头记录被试的面部表情。游戏结束后立即完成后测，并静坐1分钟以记录生理基线。

其中，使用诺达思的行为观察记录分析系统（The Observer XT）同步视频、音频、屏幕记录和生理数据。使用面部表情分析系统（FaceReader）对视频记录中的面部表情进行分类和强度评分（图1）。系统基于深度神经网络（DNNs）识别468个面部标志点，并根据特定配置分类六种基本情绪（愤怒、恐惧、厌恶、快乐、悲伤、惊讶）和中性表情。

面部表情分析系统 (FaceReader)
面部表情分析系统是用于自动分析面部表情的可靠的专业软件，可以识别六个基本情绪：快乐，悲伤，愤怒，惊讶，害怕和恶心，也可以识别“中立”状态并识别“蔑视”表情。除此之外，系统还可以提供情感态度分析（感兴趣，困惑和无聊等），心率，视线方向，效价和唤醒度，个人特征（如性别，年龄）等数据。 无论您的测试参与者是婴儿，儿童，成人还是老年人，面部表情分析系统都会根据您的需要，调整至适合的分析模型。

知识评估包括18道题目（4道开放题和14道选择题），基于游戏前10级的内容创建。学习增益通过标准化增益方程量化，基于前后测分数变化计算。

使用交叉小波变换（XWT）分析面部表情和HRV时间序列在时间和频率上的同步性。通过计算共同功率、总同步点和平均相对相位等指标，评估两个信号之间的同步程度和相位关系（图2）。