fNIRS在脑机接口领域的应用：识别手部运动想象
2023-08-14 来源:本站 点击次数:938
在日常生活中，上肢功能占全身功能的60%，而手指功能占上肢功能的90%。全手功能在人们的工作和日常生活中起着非常重要的作用。然而，一些患者，如手肌无力、手麻痹、中风后的手后遗症，甚至是截肢的病人，也会失去或失去部分手部功能。因此，利用脑机接口（BCI）技术来驱动外骨骼或假肢手来补偿其手部功能具有重要研究意义。
在过去的几十年里，脑机接口(BCI)系统作为那些有运动障碍的人和外部设备之间的通信媒介被广泛使用。BCI 是一种利用大脑活动模式代替周围神经和肌肉，提供与外部通信的替代技术。运动想象(MI)是脑机接口的一种，它通过检测大脑感觉运动皮层的激活来识别一个人的运动意图。感官侏儒图表明控制手部的皮质区域占总皮质区域的比例最大，其比例越大，说明运动可以得到更好的控制。因此，利用 BCI 技术进行手部 MI 是可行的。然而要利用大脑活动的优势，BCI 系统需要通信信号的支持。功能近红外光谱(fNIRS)是一种较新的脑机接口信号，具有时间分辨率高、空间分辨率高、便携性好、佩戴方便等优点引起了专家们的注意，关于 fNIRS 在脑机接口领域的应用，科学家在 MI 领域已经做了一些研究，再此基础上，研究员开展以下实验。
研究方法
研究员共设计了五种手部 MI 动作，每个动作包含四个级别。实验目的是仅使用从运动区和大脑其他相应区域获得的近红外信号来对每个动作的四个级别进行分类。这种类型的 MI 实验以前从未试验过。本实验设计的动作属于 Fugl-Meyer 评估表，可作为控制康复机器人的基本 BCI 技术，为未来使用 BCI 技术驱动外骨骼操纵器或假体手进行复杂的手部运动训练奠定了基础。
本研究采用 9 种分类方法和 9 种特征来确定如何将分类方法与特征结合起来，可为设计的 MI 分类任务提供一个合理的解决方案。
为了进一步减少 fNIRS 通道的数量，采用 EMD 方法将原始 fNIRS 信号分解成几个子模。通过计算每个 fNIRS 信号子模的最大方差，识别出与运动想象任务相关性最高的脑区，可以直接利用这些区域的 fNIRS 信号来完成运动想象任务。实验结果表明，该优化设置下的分类精度非常接近所有 fNIRS 的分类精度渠道。
实验方式
在此次实验中，共有 6 名健康志愿者包含 1 名女性和 5 名男性，年龄33.3 ± 4.7（平均±SD），均为右手参加了测试。他们均为健康，无精神疾病或心理障碍史，提前被告知测试细节，并在正式测试前进行了一个简短的热身测试。
在这项研究中，使用 Brite 24 (Artinis, Netherlands)采集近红外数据，Brite 24 包含 24 个通道和 18 个光极（10个发射器和8个接收器）。接收器-发射器距离为 3cm，采样频率设置为 25Hz。为了使测量更加准确，该装置配备了三种电极帽：大、中、小，可以根据被试头部的不同大小进行选择。
该实验是在非实验室环境中进行的。共设计了五种不同的手 MI 任务，包括手屈伸（GFE）、钩状抓握（HG）、数字对抗（DO）、圆柱形抓握（CG）和球形抓握（SG）。GFE 和 HG 任务进一步分为 4 个级别，最大手运动范围（MHMR）的0%、30%、60% 和 100%；DO、CG 和 SG 任务也分为 4 个级别，最大手握力（MHGF）的 0%、30%、60% 和 100%。值得注意的是，0% 实际上是一种放松状态，可以适用于五个 MI 动作。
图1、单次试验的时间图。在时间图中：基线间隔（BI）、随机休息（RR）、准备间隔（RI）、任务提示间隔（TCI）和任务间隔（TI）
图1 显示了 MI 任务的单次试验的时间图。在图 1 中，底部展示了整个试验的 MI 任务的四个部分：在基线间隔（BI）期间，屏幕上显示一个红色圆圈，被试看到它 20 秒，保持放松和静止；在准备间隔（RI）期间，屏幕上出现一个黄色圆圈，提醒被试准备 MI 任务；在任务提示间隔（TCI）期间，屏幕上显示任务画面，提醒被试想象；在任务间隔（TI）期间，屏幕上显示一个绿色圆圈，被试执行相应的 MI 任务，持续 20 秒。
此外，当被试想象这些动作时，也被要求低声说出相应的动作，以防止分心。一次试验耗时 44 秒，每个级别的成像任务包含 30 条试验。图 1 中间显示 5种不同的 MI 任务，左边两张图片是 GFE 和 HG MI任务并显示 0%、30%、60%和 100% 的 MHMR（手成像开合的时间周期约为6-8s）；右边三张图片表示 DO、CG 和 SG MI 任务并显示 MHGF 的0%、30%、60%和 100% 。被试需要在 2 秒内完成，并在接下来的 18 秒内持续保持。
与手部运动相关的大脑区域主要包括：初级运动皮层、运动前皮层和感觉运动皮层。由于受试者被要求对所进行的 MI 任务进行默念，因此也会考虑 Broca 区域。如图2所示，fNIRS 检测装置的探针位置为：BA6 区运动前皮层（PMC）、BA4 区运动皮层（M1）、感觉运动皮层（S1）和 Broca 区。黄色点是发射光级，蓝点是接收光级。
在正式收集数据之前，所有的被试都被多次告知实验过程，直到他们能够流利复述。对于 GFE 和 HG，他们被要求尽可能最大限度地伸展四根手指，持续大约 30 秒，以记住手部肌肉的感觉。然后，以这种感觉为参考点，他们应该将手拉伸或弯曲 MHMR 的60%、30%和0%，并记住手部肌肉在此范围的感觉。对于 DO,CG 和 SG，MHGF 取决于三个任务（数字反对，圆柱抓握，球形抓握）中测功机测得的最大力的平均值。
被试每3分钟休息一次。完成 MHGF 任务后，要求被试用手测功机做DO、CG 和 SG，目标是 MHGF 的60%、30%和0%，持续 2 秒，然后保持手静止 10 秒。每个级别的训练包括 10 项测试，以建立肌肉记忆。实验流程如图3所示。受试者坐在舒适的扶手椅上，手臂自然地放在桌子上。
实验中收集到三种类型的信号：氧合血红蛋白（Oxy-Hb)）、脱氧血红蛋白（Deoxy-Hb）和血红蛋白总量（THB）。如图4a所示，红色实线为氧合血红蛋白，蓝色虚线为脱氧血红蛋白，绿色虚线为红蛋白总量。图4显示了被试进行三次试验时的 fNIRS 信号。X 轴表示采样点，一个试验由1100个采样点组成。因此，试验一在0到1100之间，试验二在1101到2200之间，试验三在2201到3300之间。Y 轴表示 fNIRS 的浓度。在图4a中，被试的 MI 是 GFE MI任务的MHMR的30%。黄色垂直线的位置表示RI 的开始时间，黑色虚线表示 TI 的开始时间。黑色实线和黄色垂直实线之间的区域是 BI 过程，黄色垂直实线和黑色垂直虚线之间的区域为 RI 和 TCI 过程，黑色垂直虚线和黑色实线之间的区域为 TI 过程，在图 4a 中，当信号曲线与黄线交叉时，红色实线快速上升，蓝色虚线略有变化，绿色虚线跟随红色实线变化。结果表明，TI 中红色实线和绿色虚线的平均振幅高于 BI，而蓝色虚线的振幅变化不大。因此，选择红色实线的数据用于后面分析。图 4b 显示了不同的四条颜色线（红色、蓝色、绿色和粉色），分别代表四种 GFE（MHMR的0%、30%、60%和100%）的 Oxy-Hb 水平。从图 4b 中可以看出，粉红色曲线发生了巨大变化，其次从高到低变化幅度依次是绿色、蓝色和红色。这表明信号变化的强度与想象的手部运动范围的大小成正比。
图4：fNIRS信号，4a表示 GFE 期间 MHMR 的30%任务中的 Oxy-Hb、Deoxy-Hb和THB。4b表示 GFE期间四种水平的氧合血红蛋白
结果与讨论
这些实验是在非实验室环境中进行的，熟悉的环境使被试表现更为自然。同时，通过一个简单的测试证明，当被试面对熟悉的环境时，fNIRS信号波动相对较小。
在所提出的实验范式中，仅收集 fNIRS 信号。不需要考虑不同生理信号之间的同步，大大降低了系统的复杂性。此外，也更有利于收集脑机接口信号的准确性，原因是被试在长期测试中可能会摇头（脑电图信号容易受到摇头行为的干扰，而fNIRS受影响较小）。虽然此次实验设计的 MI 任务相对简单，但它们是其他复杂手部动作的基础。更重要的是，这些 MI 任务属于 Fugl-Meyer 评估表中的经典动作，这些手部动作的识别为脑机接口控制手部康复相关研究打下坚实基础。
参考文献：Li, C., Yang, H. & Cheng, L. Fugl-Meyer hand motor imagination recognition forbrain–computer interfaces using only fNIRS. Complex Intell. Syst. 8, 731–741 (2022). https://doi.org/10.1007/s40747-020-00266-w
在过去的几十年里，脑机接口(BCI)系统作为那些有运动障碍的人和外部设备之间的通信媒介被广泛使用。BCI 是一种利用大脑活动模式代替周围神经和肌肉，提供与外部通信的替代技术。运动想象(MI)是脑机接口的一种，它通过检测大脑感觉运动皮层的激活来识别一个人的运动意图。感官侏儒图表明控制手部的皮质区域占总皮质区域的比例最大，其比例越大，说明运动可以得到更好的控制。因此，利用 BCI 技术进行手部 MI 是可行的。然而要利用大脑活动的优势，BCI 系统需要通信信号的支持。功能近红外光谱(fNIRS)是一种较新的脑机接口信号，具有时间分辨率高、空间分辨率高、便携性好、佩戴方便等优点引起了专家们的注意，关于 fNIRS 在脑机接口领域的应用，科学家在 MI 领域已经做了一些研究，再此基础上，研究员开展以下实验。
研究方法
研究员共设计了五种手部 MI 动作，每个动作包含四个级别。实验目的是仅使用从运动区和大脑其他相应区域获得的近红外信号来对每个动作的四个级别进行分类。这种类型的 MI 实验以前从未试验过。本实验设计的动作属于 Fugl-Meyer 评估表，可作为控制康复机器人的基本 BCI 技术，为未来使用 BCI 技术驱动外骨骼操纵器或假体手进行复杂的手部运动训练奠定了基础。
本研究采用 9 种分类方法和 9 种特征来确定如何将分类方法与特征结合起来，可为设计的 MI 分类任务提供一个合理的解决方案。
为了进一步减少 fNIRS 通道的数量，采用 EMD 方法将原始 fNIRS 信号分解成几个子模。通过计算每个 fNIRS 信号子模的最大方差，识别出与运动想象任务相关性最高的脑区，可以直接利用这些区域的 fNIRS 信号来完成运动想象任务。实验结果表明，该优化设置下的分类精度非常接近所有 fNIRS 的分类精度渠道。
实验方式
在此次实验中，共有 6 名健康志愿者包含 1 名女性和 5 名男性，年龄33.3 ± 4.7（平均±SD），均为右手参加了测试。他们均为健康，无精神疾病或心理障碍史，提前被告知测试细节，并在正式测试前进行了一个简短的热身测试。
在这项研究中，使用 Brite 24 (Artinis, Netherlands)采集近红外数据，Brite 24 包含 24 个通道和 18 个光极（10个发射器和8个接收器）。接收器-发射器距离为 3cm，采样频率设置为 25Hz。为了使测量更加准确，该装置配备了三种电极帽：大、中、小，可以根据被试头部的不同大小进行选择。
该实验是在非实验室环境中进行的。共设计了五种不同的手 MI 任务，包括手屈伸（GFE）、钩状抓握（HG）、数字对抗（DO）、圆柱形抓握（CG）和球形抓握（SG）。GFE 和 HG 任务进一步分为 4 个级别，最大手运动范围（MHMR）的0%、30%、60% 和 100%；DO、CG 和 SG 任务也分为 4 个级别，最大手握力（MHGF）的 0%、30%、60% 和 100%。值得注意的是，0% 实际上是一种放松状态，可以适用于五个 MI 动作。
图1 显示了 MI 任务的单次试验的时间图。在图 1 中，底部展示了整个试验的 MI 任务的四个部分：在基线间隔（BI）期间，屏幕上显示一个红色圆圈，被试看到它 20 秒，保持放松和静止；在准备间隔（RI）期间，屏幕上出现一个黄色圆圈，提醒被试准备 MI 任务；在任务提示间隔（TCI）期间，屏幕上显示任务画面，提醒被试想象；在任务间隔（TI）期间，屏幕上显示一个绿色圆圈，被试执行相应的 MI 任务，持续 20 秒。
此外，当被试想象这些动作时，也被要求低声说出相应的动作，以防止分心。一次试验耗时 44 秒，每个级别的成像任务包含 30 条试验。图 1 中间显示 5种不同的 MI 任务，左边两张图片是 GFE 和 HG MI任务并显示 0%、30%、60%和 100% 的 MHMR（手成像开合的时间周期约为6-8s）；右边三张图片表示 DO、CG 和 SG MI 任务并显示 MHGF 的0%、30%、60%和 100% 。被试需要在 2 秒内完成，并在接下来的 18 秒内持续保持。
与手部运动相关的大脑区域主要包括：初级运动皮层、运动前皮层和感觉运动皮层。由于受试者被要求对所进行的 MI 任务进行默念，因此也会考虑 Broca 区域。如图2所示，fNIRS 检测装置的探针位置为：BA6 区运动前皮层（PMC）、BA4 区运动皮层（M1）、感觉运动皮层（S1）和 Broca 区。黄色点是发射光级，蓝点是接收光级。
图2、光电极排列。左侧图为二维视图；右侧图为三维视图。
在正式收集数据之前，所有的被试都被多次告知实验过程，直到他们能够流利复述。对于 GFE 和 HG，他们被要求尽可能最大限度地伸展四根手指，持续大约 30 秒，以记住手部肌肉的感觉。然后，以这种感觉为参考点，他们应该将手拉伸或弯曲 MHMR 的60%、30%和0%，并记住手部肌肉在此范围的感觉。对于 DO,CG 和 SG，MHGF 取决于三个任务（数字反对，圆柱抓握，球形抓握）中测功机测得的最大力的平均值。
被试每3分钟休息一次。完成 MHGF 任务后，要求被试用手测功机做DO、CG 和 SG，目标是 MHGF 的60%、30%和0%，持续 2 秒，然后保持手静止 10 秒。每个级别的训练包括 10 项测试，以建立肌肉记忆。实验流程如图3所示。受试者坐在舒适的扶手椅上，手臂自然地放在桌子上。
图3：MI 的实验过程,笔记本电脑是控制终端；iPad 或台式机用于屏幕提示
实验中收集到三种类型的信号：氧合血红蛋白（Oxy-Hb)）、脱氧血红蛋白（Deoxy-Hb）和血红蛋白总量（THB）。如图4a所示，红色实线为氧合血红蛋白，蓝色虚线为脱氧血红蛋白，绿色虚线为红蛋白总量。图4显示了被试进行三次试验时的 fNIRS 信号。X 轴表示采样点，一个试验由1100个采样点组成。因此，试验一在0到1100之间，试验二在1101到2200之间，试验三在2201到3300之间。Y 轴表示 fNIRS 的浓度。在图4a中，被试的 MI 是 GFE MI任务的MHMR的30%。黄色垂直线的位置表示RI 的开始时间，黑色虚线表示 TI 的开始时间。黑色实线和黄色垂直实线之间的区域是 BI 过程，黄色垂直实线和黑色垂直虚线之间的区域为 RI 和 TCI 过程，黑色垂直虚线和黑色实线之间的区域为 TI 过程，在图 4a 中，当信号曲线与黄线交叉时，红色实线快速上升，蓝色虚线略有变化，绿色虚线跟随红色实线变化。结果表明，TI 中红色实线和绿色虚线的平均振幅高于 BI，而蓝色虚线的振幅变化不大。因此，选择红色实线的数据用于后面分析。图 4b 显示了不同的四条颜色线（红色、蓝色、绿色和粉色），分别代表四种 GFE（MHMR的0%、30%、60%和100%）的 Oxy-Hb 水平。从图 4b 中可以看出，粉红色曲线发生了巨大变化，其次从高到低变化幅度依次是绿色、蓝色和红色。这表明信号变化的强度与想象的手部运动范围的大小成正比。
结果与讨论
这些实验是在非实验室环境中进行的，熟悉的环境使被试表现更为自然。同时，通过一个简单的测试证明，当被试面对熟悉的环境时，fNIRS信号波动相对较小。
在所提出的实验范式中，仅收集 fNIRS 信号。不需要考虑不同生理信号之间的同步，大大降低了系统的复杂性。此外，也更有利于收集脑机接口信号的准确性，原因是被试在长期测试中可能会摇头（脑电图信号容易受到摇头行为的干扰，而fNIRS受影响较小）。虽然此次实验设计的 MI 任务相对简单，但它们是其他复杂手部动作的基础。更重要的是，这些 MI 任务属于 Fugl-Meyer 评估表中的经典动作，这些手部动作的识别为脑机接口控制手部康复相关研究打下坚实基础。
参考文献：Li, C., Yang, H. & Cheng, L. Fugl-Meyer hand motor imagination recognition forbrain–computer interfaces using only fNIRS. Complex Intell. Syst. 8, 731–741 (2022). https://doi.org/10.1007/s40747-020-00266-w
如需了解更多，请扫描下方二维码
微信公众号
advictor
公司官网
www.advictor.com.cn
advictor
公司官网
www.advictor.com.cn
相关文章
更多 >