同一肢体不同运动方向的解析能够为BCI(脑机接口)系统提供更多的控制指令.相较于多肢体控制[1],单肢体控制在一些领域有着天然的优势(如鼠标,假肢的控制).目前,利用脑电图(EEG)解析简单肢体运动(如左、右手运动)[2-3]的工作已能在训练条件下达到针对一般被试较高的两分类识别率.在此基础上,神经生理学研究表明,运动方向、速度等复杂脑神经活动与EEG之间存在关联关系[4-5].然而,进一步通过EEG解析运动方向等信息主要有三方面困难:一是简单意识判别中常用的提示信号会对复杂意识判别产生严重干扰;二是复杂意识活动中的脑区定位范围更精细和复杂;三是复杂脑神经活动的EEG频段范围较窄且有差异[6].
指导上述问题的解决途径包括:2004年,Meckes等[7]研究定位前臂运动方向相关联脑区时,发现与运动方向关联脑区并不在运动区,需进一步通过实验确定.2009年,Wang等[8]采用延迟执行动作任务的实验范式设计技术,减少提示信息干扰,进一步利用独立分量分析PPC(后顶叶皮层区)的EEG数据得到80.25%的两分类正确率.2014年,Keum等[9]结合EEG与fNIRS(近红外光学脑功能成像)两种方法对手臂运动方向(向左、向右、向前、向后与停止)采用单次两分类识别,得到了平均高于80%的正确率.
前期的研究者主要针对单次两分类任务进行研究,笔者针对单次三分类运动方向进行识别,增加运动方向的识别类别.围绕上述目标,首先,设计被试者自主运动的实验范式;然后,采用全通道(64导)数据,分析运动准备和运动执行两个过程的脑区电势变化,确定运动方向关联脑区;最后,通过WPD与CSP融合的方法进行特征提取和分类,实现三分类运动方向解析.笔者设计了可有效避免提示信息干扰的实验,并增加了任务识别类别,为基于EEG的手臂运动方向研究提供了参考.
提示信息会显著增加EEG的成分复杂性[10],为了避免干扰,设计无提示信息的实验范式,实时记录被试者运动状态.
精心选择被试者5名(两女三男,右利手),身体健康,被试者在完全自愿的情况下参与实验被试者与脑电采集系统均在屏蔽室中,室内灯光适中.被试者坐在一个舒适的高靠背椅子上,全身肌肉处于放松状态.
实验开始后,被试者开始自主执行规定动作,手腕放置位置如图1.在每个Trial的开始被试者的右臂自然放在原点,被试者自主进行右臂运动,运动结束时按下相对应的按键;每个Trial结束后,被试者休息约2 s后(避免返回时运动规划信息干扰)右臂重新回到原点.然后,自主进行下一个Trial的实验;被试者听到“实验结束”的提示音后实验结束,实验流程如图2所示.
图1 手腕位置示意图
Fig.1 Wrist position sketch map
图2 实验流程图
Fig.2 Experimental flow chart
每组实验4 min,每名被试者一次做5组实验,各组实验之间有4 min休息时间.脑电信号采集采用美国Neuroscan公司的64导EEG采集系统,EEG的采样频率为1 000 Hz,10~20国际标准电极位置,实验过程中电极阻抗值小于5 kΩ.
使用手臂运动感应装置和肌电记录手臂的运动情况,给EEG数据添加标签点.
利用EEG识别前臂运动方向要解决与运动方向信息相关联脑区的定位问题.由于脑电信号中包含了大量的噪声干扰和伪迹信号,因此要进行数据预处理.实验表明,运动方向相关的脑区并不在运动区[7],确定关联脑区是获取正确EEG的前提.首先,采用平均叠加技术获得运动规划与执行过程EEG中的ERP(事件相关电位)成分,并通过分析各个通道ERP在不同运动方向时的变化分析相关脑区,最后通过绘制脑地形图确定与运动方向最相关的关联脑区.
首先,将被试者的数据分为左、右和静止三类,图3为每个Trial的数据构成,将运动执行时刻作为数据起始点,取[-1 999,200] ms的数据进行离线分析,静止类的数据用休息时的2 200 ms数据;然后,对每名被试者的数据的每个通道分别进行1~45 Hz的带通滤波;最后,将每类信号的对应通道进行多次叠加并画出整个头部脑地形图(图4)和相应通道ERP(图5).
图3 由休息、运动规划和执行三个阶段构成的离线数据
Fig.3 The offline data consisted of three stages: rest, movement planning and execution
图4 不同方向任务时脑地形图
Fig.4 The Brain topographic maps of different directions
图5 关联通道的ERP
Fig.5 The ERP of associated channel
图4表明,在前臂做左右不同方向的运动时,在大脑顶枕部出现同侧电势受到抑制对侧电势受到激发的现象;在前臂保持静止时大脑顶枕部没有出现单侧电势增加的现象.关联通道波形如图5所示,在被试者前臂向右运动开始前的300 ms左右(被试在500 ms时刻运动)在顶枕区左侧通道(P1、P3、P5、CP3、CP5、TP7)的ERP出现峰值.分析结果表明,被试者在没有刺激程序的实验条件下,自主运动的思维规划阶段发生在运动执行之前约400 ms,运动方向相关脑区在PPC区及其附近.
被试前臂不同方向的运动过程中,脑区相应的神经元被激活引起颅外电势在空间和时间上改变[11],因此如何获取EEG的空间和频域特征是手臂运动方向解析的关键.
首先采用WPD(小波包)分解EEG重构低频部分,然后采用CSP共空间模式提取多通道EEG的空域特征.采用WPD与CSP相结合的方法提取特征,不仅能有效利用WPD的时频特征,而且能弥补CSP缺乏频域信息的缺陷.特征提取过程如图6所示.
图6 基于WPD与CSP的算法流程图
Fig.6 Algorithm flow chart based on WPD and CSP
从预处理后的数据中,截取每个Trial的运动执行阶段之前600 ms和之后300 ms数据进行模型训练和分类.
从预处理后的数据中选取与运动方向相关的导联(CP1、CP2、CP3、CP4、CP5、CP6、P1、P2、P3、P4、P5、P6),采用WPD以‘db4’小波对每个导联的信号进行8层分解.
输入信号采样频率为1 000 Hz,得到S(8,0)~S(8,255)共256个窄带信号.其中S(8,0),S(8,1),S(8,2),S(8,3),S(8,7)对应的子带频率为[0, 9.8]Hz.前臂运动方向信号集中在1~10 Hz[12],选取S(8,0),S(8,1),S(8,2),S(8,3),S(8,7)共5个子带进行信号重构.
得到具有频域特征的矩阵EH×L,其中H是通道数,L是采样点数,归一化后的脑电数据的协方差矩阵为:
(1)
用C1和C2分别表示右手向左和右手向右两种状态下的空间协方差矩阵,得到协方差矩阵Ct:
Ct=C1+C2.
(2)
将Ct表示成Ct=UtλtUtT,Ut为矩阵Ct的特征向量,λt是对应特征值.通过该变化,特征值按照降序进行了排列,与其对应的特征向量也重新进行了排列.然后用主成分分析法进行白化:
(3)
则C1、C2可变为:
S1=PC1PT,S2=PC2PT.
(4)
S1与S2有相同特征向量,即若S1=Bλ1BT,则S2=Bλ2BT,且λ1+λ2=I.S1、S2有相同特征向量B,I是单位矩阵.由于两类矩阵特征值之和为I,则S1最大特征值所对应的特征向量使S2有最小特征值.
将白化后的脑电数据投影在特征向量B的前m和后m列特征向量上,能够得到最佳的分类特征.投影矩阵为:
W=BTP.
(5)
截取的脑电数据E最终可变为:
Z=WE.
(6)
取将投影后的信号Z2 m×n做如下变化:
(7)
将变化后的f作为运动方向特征值,利用SVM(支持向量机)进行分类识别[13-14].
CSP属于两分类算法,不能直接应用解决三分类运动方向信息解析.针对该问题,笔者采用两次二分类的方法解决运动方向单次三分类问题.即先对静止和运动状态进行识别,再对运动方向进行识别,最后采用SVM(支持向量机)通过构造超平面对高维特征进行分类.
分别对5名被试者(S1~S5,20~25周岁,右利手)进行了6组实验,得到400个样本数据.其中,每名被试的80%数据做训练,20%数据做测试,结果如表1所示.
表1 5名被试分类识别正确率
Tab.1 The correct rate of 5 subjects %
实验次序S1S2S3S4S5第1次8385888685第2次8688839190第3次8591908886第4次8583908191第5次9085868686平均8686878788
表1显示,5名被试者平均三分类识别率大于85%,最低识别率为81.6%,最高识别率为91.6%,结果优于文献[8]的80.25%二分类识别率;优于文献[9]的二分类平均80%以上识别率;优于文献[15]利用小波包系数用作特征平均65%的三分类识别率.
对基于EEG的前臂运动方向解析方法进行了研究.设计被试者自主运动的实验范式,利用WPD与CSP结合的方法提取出信号特征,通过SVM对右手前臂进行三分类(左、右和静止)识别.结果表明上述方法,在增加了运动方向分类数的前提下,达到了两分类的识别率.该工作增加了现有BCI系统的控制指令编码,为探索非侵入式解析精细运动规划信息提供可能性.
[1] 李明爱,田晓霞,孙炎珺.基于改进GHSOM的运动想象脑电信号自适应识别方法[J]. 仪器仪表学报, 2015, 36(5):1064-1071.
[2] ONOSE G, GROZEA C, ANGHELESCU A, et al. On the feasibility of using motor imagery EEG-based brain-computer interface in chronic tetraplegics for assistive robotic arm control: a clinical test and long-term post-trial follow-up [J]. Spinal cord, 2013, 50(8):599-608.
[3] WANG D, MIAO D, BLOHM G, et al. Multi-Class motor imagery EEG decoding for brain-computer interfaces[J]. Frontiers in neuroscience, 2012,6: 151-158.
[4] YANG L, LEUNG H, PLANK M, et al. EEG activity during movement planning encodes upcoming peak speed and acceleration and improves the accuracy in predicting hand kinematics[J]. IEEE journal of biomedical and health informatics, 2015, 19(1): 22-28.
[5] EISENBERG M, SHMUELOF L, VAADIA E, et al. Functional organization of human motor cortex: directional selectivity for movement[J]. Journal of neuroscience, 2010, 30(26): 8897-8905.
[6] LACHAUX J P, AXMACHER N, MORMANN F, et al. High-frequency neural activity and human cognition: past, present and possible future of intracranial EEG research[J]. Progress in neurobiology, 2012, 98(3): 279-301.
[7] MECKES M P, SEPULVEDA F, CONWAY B A.1st order class separability using EEG-based features for classification of wrist movements with direction selectivity[C]∥26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Franciso, CA: IEEE, 2004: 4377-4379.
[8] WANG Y, MAKEIG S. Predicting intended movement direction using EEG from human posterior parietal cortex[C]. San Diego: Lecture Notes In Artificial Intelligence, 2009.
[9] KHAN M J, HONG M J,HONG K S, et al. Decoding of four movement directions using hybrid NIRS-EEG brain-computer interface[J]. Frontiers in human neuroscience, 2014, 8(5): 412-432.
[10] TRACY W, ARIAN M, FRANCESCO M, et al. Nicotine effects on brain function during a visual oddball task: a comparison between conventional and EEG-informed FMRI analysis[J]. Journal of cognitive neuroscience, 2012, 8(24):1682-1694.
[11] GROSBRAS M H, BEATON S, EICKHOFF S B. Brain regions involved in human movement perception: A quantitative voxel-based meta-analysis[J]. Human brain mapping, 2012, 33(2):431-454.
[12] PUUYA A, STEFAND C, LUCA A. How capable is non-invasive EEG data of predicting the next movement? A mini review[J]. Frontiers in human neuroscience, 2013, 7(124): 124.
[13] 张震,张英杰.基于支持向量机与Hamming距离的虹膜识别方法[J].郑州大学学报(工学版), 2015,36(363):25-29.
[14] 李凌均,陈超,韩捷,等.全矢量支持向量机回归频谱预测方法[J]. 郑州大学学报(工学版), 2016,37 (3):78-82.
[15] 曹玉珍,张庆学.基于运动相关脑电特征的手运动方向识别[J].天津大学学报,2014(9):836-841.