上肢运动的研究在神经康复、运动控制、假肢控制等领域具有重要应用价值。传统的上肢运动分析多依赖于单一类型的信号，如表面肌电信号（sEMG）或运动捕捉数据，缺乏对触觉信息的整合。然而，在抓握等精细操作中，触觉信息对于理解人与环境的交互至关重要。

当前公开的数据集多集中于单一或两种信号类型，缺乏同时包含高密度肌电（HD-sEMG）、双极肌电、运动捕捉（MoCap）、传感器手套（包括弯曲与触觉数据）的多模态数据集（见表1）。这种数据缺失限制了多源信息融合方法的研究，尤其是在假肢控制领域中，如何融合多种信号以提高控制精度和鲁棒性仍是一个挑战。

为填补这一空白，本文构建了一个包含10名健康受试者、16种动作任务的多模态上肢运动数据集“Reach&Grasp”，涵盖了从简单单关节动作到复杂抓取操作的全过程。该数据集不仅支持传统肌电控制研究，还为触觉反馈、运动规划、模式识别等方向提供了基础数据支持。

论文摘要

本文发布了一个多模态上肢运动数据集“Reach&Grasp”，包含10名健康受试者在执行16种任务时的多种信号记录。任务包括手部开合、腕部屈伸/旋前旋后、三指抓握、圆柱/球形抓握、以及复杂的前伸抓取动作（如倒水、拧瓶盖、模拟进食等）。

数据采集包括：

• 高密度表面肌电（HD-sEMG）：使用OT Bioelettronica的Sessantaquattro设备，采样率2 kHz，64通道；
• 双极表面肌电：使用Cometa Wave Plus系统，10通道；
• 运动捕捉：Vicon系统，10摄像头，23个反光标记点；
• 传感器手套：来自Bielefeld University，提供手指弯曲（CyberGlove）与触觉分布（58个taxels）数据。

所有数据遵循Brain Imaging Data Structure（BIDS）标准组织，包含原始数据与元数据，已上传至IIT Dataverse，支持开源共享与复用。数据集可用于假肢控制、运动解码、传感器融合等研究方向。

 
研究方法
 

共招募10名右利手健康受试者（4女6男，年龄24–36岁）。每位受试者签署知情同意书，并被分配唯一ID以保护隐私。实验共包含16种任务，每项任务重复10次，总时长约1小时。

• 高密度肌电（HD-sEMG）：采用OT Bioelettronica Sessantaquattro系统，采样率2 kHz，16位分辨率，输入范围±18.75 mV。两个32通道电极贴片分别覆盖前臂屈肌与伸肌区域，参考电极置于尺骨茎突。设备通过硬件触发信号与Vicon同步。
• 双极肌电：采用Cometa Wave Plus系统，10通道，采样率2 kHz，输入范围±5 mV，电极放置于肩、臂、前臂等10个关键肌肉位置。
• 运动捕捉：Vicon系统，10台红外相机，23个反光标记点，采样率100 Hz。采用Plug-in-Gait与RHand模型计算肩、肘、腕及手指关节角度。
• 传感器手套：由Bielefeld University开发，集成CyberGlove弯曲传感器与58个压阻式触觉传感器（taxels），采样率100 Hz，通过ROS系统采集。触觉数据未经标定，但可用于相对力分布分析。

 
所有设备通过Speedgoat实时目标机与NTP协议实现时钟同步，确保多模态数据的时间对齐。

 
实验结果

对HD-sEMG与双极EMG进行功率谱密度分析（PSD），确认信号能量集中在10–500 Hz范围内，50 Hz工频干扰被陷波滤波器有效抑制（见图5）。结果表明信号质量良好，适合后续分析。

通过对不同任务中关节角度变化的统计分析，验证了运动学数据的合理性与任务特异性。例如：

手部开合任务中，手指关节（如MCP）角度变化显著，而肩肘关节变化较小（见图6）；

腕部屈伸与旋前旋后任务中，腕关节为主要运动源（见图7）；

复杂抓取任务（如球形抓握、倒水）中，多个关节协同参与，角度分布呈现双峰特征（见图8）。

触觉数据分析显示：

• 非接触任务（如手部张开）中传感器读数较低；

• 接触任务（如抓握球体）中，taxel响应显著增强，且不同抓取策略（如圆柱vs球体）在力分布上具有明显差异（见图9）；

• 部分taxel（如9、11、14）因硬件故障被排除。

• 基于运动学数据的角速度峰值，自动识别每次动作的起止点（见图10）。

任务时长分析显示：简单动作平均耗时1.53秒，复杂动作平均耗时2.61秒，表明任务难度与时长正相关（见图11）

 
总结与展望

“Reach&Grasp”数据集是首个同时包含HD-sEMG、双极EMG、运动捕捉与触觉数据的多模态上肢运动数据集。其优势在于：

• 多源同步：所有信号时间对齐，支持传感器融合研究；
• 任务丰富：涵盖16种自然动作，贴近日常生活；
• 标准化格式：采用BIDS结构，便于复用与扩展。
• 假肢控制：可用于训练基于多模态信号的意图识别模型；
• 运动科学：分析肌肉协同与关节运动关系；
• 机器人学习：作为模仿学习或触觉反馈控制的训练数据；
• 触觉研究：探索不同抓取策略下的力分布模式。

 
研究团队介绍：

本研究团队由意大利技术研究院（IIT）牵头，联合热那亚大学（University of Genoa）、比勒费尔德大学（Bielefeld University）等多所机构的研究人员共同完成。团队核心成员包括Dario Di Domenico、Inna Forsiuk、Marianna Semprini等，专业背景涵盖神经工程、机器人控制、生物力学与触觉传感等领域。团队在假肢控制、肌电解码、多模态数据融合等方面具有丰富经验，曾参与多项欧盟及国家级科研项目（如NeuTouch、iHannes）。依托IIT先进的人形机器人实验室和神经康复平台，团队致力于推动上肢运动理解与智能假肢控制技术发展。

原文链接：
https://doi.org/10.1038/s41597-025-04552-5

未来可扩展至患者群体（如截肢者、卒中患者），结合脑电（EEG）或功能性电刺激（FES）等信号，构建更全面的神经康复数据集。同时，数据集也可用于验证深度学习模型在跨被试、跨任务中的泛化能力。

产品介绍
 

 
联系我们

电话: 15920901903
官网：https//www.ruihongan.cn