基于双重阈值与相位差算法:眼动脑机接口的技术突破与机器人控制实践
引言
神经退行性疾病患者正面临着躯体失控的残酷困境,渐冻症等病症会让患者大脑保持清醒,却丧失肢体活动与语言表达能力,仅能保留眼球运动、眨眼等眼部动作,眼睛成为其与外界沟通的最后桥梁。为帮助这类患者重建交互方式,脑机接口(BCI)技术成为重要研究方向,但其应用中始终受眼电伪迹干扰——眼部动作产生的强电信号,会掩盖微弱的脑电信号,传统研究均以消除该类伪迹噪声为核心。而眼电伪迹实则具备信噪比高、可由患者主观控制的优势,基于此,米兰理工大学团队提出逆向研究思路,将眼电伪迹转化为控制辅助机器人的核心指令,为开发更高效、低成本的辅助型脑机接口提供了全新方向。
论文概要
米兰理工大学团队的研究发表于Scientific Reports,题为《Braincomputer interface for robot control with eye artifacts for assistive applications》提出基于眼伪影的脑机接口系统,以EEG信号实现辅助机器人控制。研究将眼伪影作为有效信息源,借助TMSi SAGA 64+采集信号,开发新算法:双阈值法识眨眼,利用F7/F8通道特征检测侧向眼动,还能区分不同眨眼频次。经离线和实时实验验证,算法具备有效检测能力,5名参与者通过该系统成功操控TIAGo机器人完成多项任务。研究为相关设备开发了首个实时EEG处理算法,为神经退行性疾病患者提供了新的人机交互方式,也为辅助型BCI研发提供了新思路。
文章信息
研究方法
1.数据采集
本研究纳入5名受试者(3男2女,年龄27±3岁),实验方案经伦理批准,受试者均签署知情同意书。采用TMSi SAGA 64+设备以500 Hz采样频率采集EEG信号,搭配凝胶电极帽且电极阻抗<5 kΩ,接地、参考电极分置右、左耳后骨骼,选取Fp1、F7、F8通道分别检测眨眼及左右侧向眼动。
2.数据预处理
对原始信号做0.5-100Hz带通滤波,经短时傅里叶变换、傅里叶变换分析频率特征,确定眼伪影主导频率带为0.5-15Hz,采用二阶巴特沃斯滤波器完成1-13Hz带通滤波;滤波后信号按100个数据点分窗,窗口重叠50个数据点。滤波后波形如图1所示:
图1 Fp1、F7 和 F8 通道的 1–13 Hz 进行巴特沃斯带通滤波信号
3.阈值确定
针对不同通道和眼伪影类型设定个性化阈值,解决信号峰值的个体内、个体间变异性问题:Fp1通道采用双阈值法,经均值(M)和标准差(SD)计算,设156μV上阈值、80μV下阈值,分别检测常规与微弱眨眼;F7、F8通道利用相位差和峰谷模式,为左、右看各设4个阈值,明确正负峰值判定标准(如左看时F7<-20μV、F8>30μV),如图2所示:
图2 眨眼、向左看和向右看对于Fp1、F7和F8信号通道的影响
4.检测算法设计
开发离线与实时通用的检测算法,核心流程:先将信号1-13Hz滤波并初始化参数;以3×100数据点为窗口检测,优先判断Fp1通道是否超眨眼阈值,触发则记录眨眼事件;未检测到眨眼时,验证F7、F8通道峰谷/相位特征,符合则记录左/右看事件;Fp1超80μV但未达主阈值时判定为微弱眨眼;无事件触发则保留窗口数据用于下次检测。
5.机器人控制系统搭建
选用PAL ROBOTICS的TIAGo机器人,基于ROS Melodic框架在Ubuntu 18.04系统搭建BCI控制系统,含眼伪影检测算法、眨眼频次分配器、图形用户界面(GUI)、ROS通信分配器四大子系统;
图3 机器人子系统之间的通信流程
通过GUI设计机器人基座移动、预设任务选择等功能,定义侧向眼动切换按钮、双眨眼确认操作、四次眨眼返回上一页的眼伪影控制逻辑。
图4 BCI在线实验过程中使用的GUI
研究结果
1. 离线测试结果
对6组不同日期的单受试者数据进行检测,整体准确率表现为:眨眼88.7%(808/911)、左看96.9%(281/290)、右看86.5%(256/296),单组实验中各动作最低准确率分别为眨眼78.8%、左看84.6%、右看77.8%。混淆矩阵显示,误分类多因多个眼动事件连续发生导致,少量右看和眨眼事件被误判为左看,无左看事件被误判为眨眼的情况。
表1 算法离线测试的准确率
2. 实时检测结果
实时实验中受试者完成316次眨眼、82次左看、83次右看,实时检测整体准确率低于离线检测:眨眼97.9%、左看59.8%、右看50.0%;而对实时数据的离线重检测准确率则为眨眼100%、左看89.0%、右看94.2%。二者差异主要源于实时滤波为随机尺寸窗口,离线为整体滤波后分割窗口,且眨眼检测因峰值特征明显,准确率在实时与离线中差异较小。
表2 实时与离线检测精度
3.机器人控制验证结果
5名受试者通过该BCI系统成功实现对TIAGo机器人的全功能控制,包括基座前后移动/旋转、发送护理人员邮件、机器人舞蹈/复位、前往预设桌位、物体扫描与抓取等,实时实验混淆矩阵显示,左看检测的误分类率较高,大量左看事件被误判为右看,但受试者可通过侧向眼动的双向切换功能弥补该缺陷,不影响整体控制效果。
结论与展望
本研究将EEG信号中的眼伪影转化为控制指令,构建了辅助机器人控制BCI系统,首创利用F7、F8通道相位差与峰谷模式检测侧向眼动,双阈值法精准识别常规与微弱眨眼,离线检测准确率良好,且成功实现对TIAGo机器人的多任务操控,为神经退行性疾病患者的人机交互提供了新路径。
该研究验证了眼伪影作为机器人控制指令的可行性,搭建了从EEG信号采集、眼伪影检测到机器人指令输出的完整技术框架。随着算法鲁棒性提升与便携化EEG设备发展,本研究为辅助型脑机接口从实验室研究向临床应用转化奠定基础,推动其在残障人士辅助领域向更高效、贴合需求的方向发展。
原文信息链接
Karas, K., Pozzi, L., Pedrocchi, A. et al. Brain-computer interface for robot control with eye artifacts for assistive applications. Sci Rep 13, 17512 (2023).
https://doi.org/10.1038/s41598-023-44645-y
研究团队
本文的研究团队是来自米兰理工大学的Loris Roveda 教授团队。团队的主要研究方向为外骨骼设计与控制、人机协作、自主机器人、强化学习、生成式人工智能以及工业过程建模、优化和控制。
关于维拓启创
维拓启创(北京)信息技术有限公司成立于2006年,是一家专注于脑科学、康复工程、人因工程、心理学、体育科学等领域的科研解决方案供应商。公司与国内外多所大学、研究机构、企业长期保持合作关系,致力于将优质的产品、先进的技术和服务带给各个领域的科研工作者,为用户提供有竞争力的方案和服务,协助用户的科研工作,持续提升使用体验。
相关产品