第41 卷第9 期自动化学报Vol. 41, No. 92015 年9 月ACTA AUTOMATICA SINICA September, 2015基于HHT 运动想象脑电模式识别研究孙会文1 伏云发1 熊馨1 杨俊1刘传伟1 余正涛1摘要脑机接口是一种变革性的人机交互, 其中基于运动想象(Mo-tor imagery, MI) 脑电的脑机接口是一类非常重要的脑机交互. 本文旨在探索有效的运动想象脑电特征模式提取方法. 采用在时域、频域同时具有很高分辨率的希尔伯特{ 黄变换(Hilbert-Huang transform,HHT), 进而提取自回归(Auto regressive, AR) 模型参数并计算运动想象脑电平均瞬时能量, 从而构造特征向量, 最后利用能较好地适应运动想象脑电单次试验分类的支持向量机(Support vector machine,SVM) 进行分类. 结果表明在Trial 的5.5»7.5 s 期间, HHT 特征提取方法平均分类正确率为81.08 %, 具有良好的适应性; 最高分类正确率为87.86 %, 优于传统的小波变换特征提取方法和未经HHT 的特征提取方法; 在Trial 的8»9 s 期间, HHT 特征提取方法显著优于后两种特征提取方法. 本研究证实了HHT 对运动想象脑电这一非平稳非线性信号具有很好的特征提取能力, 也再次验证了运动想象事件相关去同步(Event-related desynchronization, ERD) 现象, 同时也表明运动想象脑电的脑{ 机交互系统性能与被试想象心理活动的质量密切相关. 本文可望为基于运动想象脑电的在线实时脑机交互控制系统的研究打下坚实的基础.关键词脑机交互控制, 脑机接口, 运动想象, 脑电, 希尔伯特{ 黄变换引用格式孙会文, 伏云发, 熊馨, 杨俊, 刘传伟, 余正涛. 基于HHT 运动想象脑电模式识别研究. 自动化学报, 2015, 41(9): 1686¡1692DOI 10.16383/j.aas.2015.c150007Identi¯cation of EEG Induced by MotorImagery Based on Hilbert-HuangTransformSUN Hui-Wen1 FU Yun-Fa1 XIONG Xin1YANG Jun1 LIU Chuan-Wei1 YU Zheng-Tao1Abstract Brain-computer interface is a revolutionary human-computer interaction. The brain-computer interface based onelectroencephalogram (EEG）induced by motor imagery (MI) isa very important kind of brain-computer interface. The pur-pose of this paper is to explore the e®ective features extrac-tion method for EEG induced by motor imagery. Hilbert-Huangtransform (HHT) is used, which has a high resolution both intime domain and frequency domain. Auto regressive (AR) pa-rameters are then extracted and the average instantaneous en-ergy of motor imagery is calculated. Thus structural featurevector is constructed. Finally, support vector machine (SVM)is used for classi¯cation of EEG induced by motor imagery.The results show that for the 5.5 to 7.5 seconds of the trial,the average classi¯cation accuracy of HHT feature extractionmethod is 81.08 %, and thus this method has a good adaptabil-ity.　Moreover, the highest classi¯cation accuracy of 87.86% isachieved by HHT which is superior to the feature extractionmethods using the traditional wavelet transform and withoutHTT. For the 8 to 9 seconds of the trial, HHT feature extrac-tion method is also signi¯cantly better than other two featureextraction methods. This study con¯rms that HHT has goodfeature extraction ability for EEG induced by motor imagerywhich is nonstationary and nonlinear signal. It also con¯rmsthe event-related desynchronization (ERD) phenomenon of mo-tor imagery. It is shown that the performance of brain-computerinteraction system based on EEG induced by motor imageryis closely related to the performance of the subject0s imagina-tion mental activity. This paper can lay a solid foundation forresearch of online real-time brain-computer interaction controlsystem based on motor imagery.Key words Brain-computer interaction control, brain-computer interface, motor imagery (MI), electroencephalogram(EEG), Hilbert-Huang transform (HHT)Citation Sun Hui-Wen, Fu Yun-Fa, Xiong Xin, Yang Jun, LiuChuan-Wei, Yu Zheng-Tao. Identi¯cation of EEG induced bymotor imagery based on Hilbert-Huang transform. Acta Auto-matica Sinica, 2015, 41(9): 1686-1692直接用思维来控制机器人或假肢装置而没有大脑外周神经和肌肉的参与, 这一思想萌芽于1929 年Berger 发现脑电(Electroencephalogram, EEG) 信号之后. 然而, 这方面的真正研究始于20 世纪70 年代[1]. 在过去的40 多年里,这一新方向已经吸引了许多研究者, 一些实验已经表明这样做是可能的, 这就是脑{ 机接口(Brain-computer interface,BCI)/脑{ 控机器人接口(Brain-controlled robot interface,BCRI), 该方向已成为国际前沿研究热点和突破点[2¡5].脑控是近十多年兴起的一种新的控制思想和概念, 在众多脑机交互控制范式中, 基于运动想象(Motor imagery, MI)的脑机接口是一类非常重要的脑{ 机交互策略, 其特点是用户通过思维\想" 或\感觉" (运动知觉回忆和模拟) 相关的脑信号来控制机器人或外部机器, 有别于用户通过\看" 或\听" (视觉/听觉注意和选择) 相关的脑信号与外部设备交互的模式[6]. 然而, 运动想象脑电空间分辨率低(厘米级)、信噪比低、易受强伪迹的干扰(如工频干扰、眼球运动引起的眼电、肌肉运动引起的肌电等)[7¡8]. 已有研究也表明, 运动想象脑电具有高度的非平稳性和非线性[9], 这给提取运动想象脑电的特征模式提出了巨大的挑战[10]. 这也是基于运动想象脑电的BCI 尚没有走出实验室, 没有真正意义上的商业产品的主要原因.迄今为止, 研究者已提出了若干运动想象脑电特征模式提取方法, 如自回归(Auto regressive, AR) 模型、自适应自回归(Adaptive auto regressive, AAR) 模型[11¡12]、小波变换(Wavelet transform, WT)、小波包变换(Wavelet pack-age transform, WPT)[13¡14] 以及共同空间模式(Commonspatial pattern, CSP)[15] 等特征提取方法. 小波等方法的本质是傅里叶变换, 不能同时在时域和频域有高的分辨率. CSP方法被广泛应用, 该方法在多通道条件下能够取得良好的效收稿日期2015-01-08 录用日期2015-05-28Manuscript received January 8, 2015; accepted May 28, 2015国家自然科学基金(81470084, 61463024), 云南省应用基础研究计划(2013FB026), 云南省级人培项目(KKSY201303048), 云南省教育厅重点项目(2013Z130), 昆明理工大学脑信息处理与脑机交互融合控制(学科方向团队建设经费)资助Supported by National Natural Science Foundation of China(81470084, 61463024), Research Project for Application Foundationof Yunnan Province (2013FB026), Cultivation Program of Talentsof Yunnan Province (KKSY201303048), Focal Program for Educa-tion O±ce of Yunnan Province (2013Z130), and Brain InformationProcessing and Brain-computer Interaction Fusion Control of Kun-ming University Science and Technology (Fund of Discipline Direc-tion Team)本文责任编委贾云得Recommended by Associate Editor JIA Yun-De1. 昆明理工大学信息工程与自动化学院昆明6505001. Faculty of Information Engineering and Automation, KunmingUniversity Science and Technology, Kunming 6505009 期孙会文等: 基于HHT 运动想象脑电模式识别研究1687果, 近几年也有研究基于CSP 的改进算法应用到少通道情况下, 并取得了较好的分类效果[16]. 上述这些特征提取方法虽然已取得了一定的成果, 但仍然没有最终解决好运动想象脑电的模式分类问题.本文针对运动想象脑电信号非平稳非线性的特点, 拟采用在时域、频域同时具有很高分辨率的希尔伯特{ 黄变换(Hilbert-Huang transform, HHT)[17¡21], 可望有效地提取运动想象脑电的特征模式, 并利用在Mu 节律(8»13 Hz)和Beta 节律(13»30 Hz) 有显著表现的事件相关去同步(Event-related desynchronization, ERD) 现象[22¡24], 由平均瞬时能量和AR 模型参数构造特征向量, 最后利用支持向量机(Support vector machine, SVM) 进行模式分类. 本研究可望为进一步深入研究基于运动想象脑电的在线实时脑机交互控制系统打下坚实的基础.1 材料和方法1.1 被试、实验范式和数据采集实验被试: 性别: 女; 年龄: 25 岁; 健康状况: 良好. 所有的试验(Trials) 都在同一天进行, 实验包括7 组, 每组有40个Trials, 总共280 个. 每个Trial 持续时间为9 s, 被试在前2 s 保持放松状态; t = 2 s 时, 显示器屏幕呈现\+" 字型图案, 同时有提示音提示被试试验开始, 准备运动想象; t = 3 s时, 显示器屏幕中央出现向左或向右的箭头, 提示被试按提示的箭头方向想象左、右手的运动. 运动想象脑电采集范式如图1 所示. 所有实验数据采集于C3、Cz、C4 三个电极, 脑电信号由双导联方式记录, 采样频率为128 Hz. 最终的实验数据由140 个训练样本和140 个测试样本组成, 训练样本类别已知. 样本数据集都是1 152 £ 3 £ 140[25] (实验数据详见文献[25]).图1 运动想象脑电采集范式Fig. 1 Paradigm of EEG acquisition for motor imagery第2 组数据来自于第4 次脑{ 机接口竞赛Data sets 2b,包括3 个训练数据集: B0X01T、B0X02T、B0X03T; 2 个测试数据集: B0X04E、B0X05E. 数据采自于左右手二分类实验[26].1.2 数据预处理已有研究表明, 运动想象诱发的脑电主要在Mu (8»13 Hz) 和Beta (14»30 Hz) 节律段表现显著[22¡24]. 本文首先对原始脑电信号数据进行8»30 Hz 的数字带通滤波, 采用椭圆滤波器, 通带截止频率为8»30 Hz, 阻带截止频率为7 Hz 和32 Hz, 通带衰减为0.5 dB, 阻带衰减为50 dB. 然后对带通滤波后的信号进行线性校正, 目的是消除线性漂移带来的伪迹.1.3 希尔伯特¡黄变换脑机交互控制系统中一个关键部分是特征提取, 通过特征提取把能够表征被试想象任务状态或活动的特征量提取出来. 脑活动状态之间差异显著的特征量可以减小模式识别分类器的错误分类率, 从而有效地提高分类的准确率.希尔伯特{ 黄变换(HHT) 由美国工程院院士黄锷所提出[27], HHT 能够很好地适用于分析非线性非平稳信号.HHT 主要包括两部分: 1) 经验模态分解(Empirical modedecomposition, EMD); 2) Hilbert 谱分析(Hilbert spectrumanalysis, HSA).经验模态分解是为了获得本征模函数(Intrinsic modefunction, IMF), 它具有自适应性、正交性、完备性、IMF 分量的调制特性[28]. EMD 满足如下两个条件[29]: 1) 信号极值点的数量与零点数相等或相差1; 2) 信号的由极大值定义的上包络和由极小值定义的下包络的局部均值为0.EMD 过程[29¡30] 如下:1) 对输入信号求取所有的极大值点和极小值点.2) 对极大值点和极小值点采用三次样条进行拟合, 求上、下包络的曲线, 计算均值函数, 进而求出待分析信号和均值的差值h.3) 考察h 是否满足IMF 条件, 如果满足, 则把h 作为第1 个IMF; 否则, 对其进行前两步操作, 直到第k 步满足IMF条件, 然后求得第1 个IMF, 求出原信号与IMF 的差值r.4) 把差值r 作为待分解的信号, 直到剩余的r 为单调信号或者只存在一个极点为止, 得到的表达式如下:S(t) =XNi=1Ci(t) + Rn(t) (1)其中, S(t) 为原信号, Ci(t) 表示第i 次筛选得到的IMF 分量, N 为筛选次数, Rn(t) 为最终的剩余分量.EMD 过程后, 进行Hilbert 谱分析(HSA), 下式对每个IMF 分量进行Hilbert 谱变换:Yi(t) =1¼Z +1¡1Ci(¿ )t ¡ ¿d¿ (2)解析信号为Xi(t) = Ci(t) + jYi(t) = Ai(t)ejPi(t) (3)进而, 由式(4) 和式(5) 分别求得瞬时幅值和瞬时相位:Ai(t) =pYi(t)2 + Ci(t)2 (4)Pi(t) = arctanYi(t)Ci(t)(5)利用提取的瞬时幅值来求能量值.1.4 AR 模型参数特征利用第1.3 节的HHT 方法首先对运动想象脑电信号进行经验模态分解(EMD), 分解后各阶IMF 如图2 所示. 前期实验分析表明, 前三阶IMF 对分类贡献最大, 包含Mu 和Beta 节律信息, 将其结合起来, 可望能提高分类正确率. 所以对前三阶IMF 采用Hilbert 变换求取平均瞬时幅值. 本研究1688 自动化学报41 卷图2 运动想象脑电信号EMD 后各阶IMFFig. 2 Each order IMF after EMD of EEG indued by motor imagery使用3、4、6、8、10、12、16 阶AR 模型分别求取分类正确率, 阶次为6 时正好对应了最高的分类结果. 所以, 最后基于Burg 算法提取6 阶的AR 模型系数AR1; ¢ ¢ ¢ ;AR6, 由C3和C4 通道的AR 模型系数组成12 维特征向量: fC3AR1,¢ ¢ ¢ , C3AR6, C4AR1, ¢ ¢ ¢ ;C4AR6g.1.5 平均瞬时能量特征Hilbert 谱变换后, 由瞬时幅值按式(6) 和式(7) 求取平均瞬时能量如下:ECN =1NXNn=1C2n; N < Fs (6)ECN =1NXNn=N¡Fs+1C2n; N > Fs (7)式(7) 中, C2n 指Trial 中某通道Hilbert 谱变换后第n个采样点瞬时幅值的平方, ECN 代表最后求出的平均瞬时能量, Fs 是采样频率. 当N < Fs 时, 1 s 之前数据点不足Fs 个时, 计算N 个采样点之前所有数据幅值平方的平均;当N > Fs 时, 计算N 个采样点之前Fs 个采样点(即1 s时间段) 的幅值平方的平均.为计算能量特征, 分别对每个Trial 的C3 和C4 通道EEG 数据提取由希尔伯特{ 黄变换后的瞬时幅值, 并求取平均瞬时能量. 滑动窗长度为1 s, 不足1 s 时求采样点之前所有数据幅值平方的平均. 由上述计算构成的能量特征向量为fC3E, C4Eg, 含有2 个分量.图3 是HHT 后计算的功率比(表征能量值) 随时间变化的关系. 功率比计算如式(8)»(10):Emax = max(C3Emax;C4Emax) (8)Emin = min(C3Emin;C4Emin) (9)Yn =(Eni ¡ Emin)Emax ¡ Emin(10)(a) 左手运动想象能量图(a) Energy diagram of left hand movement imagination(b) 右手运动想象能量图(b) Energy diagram of right hand movement imagination图3 左右手运动想象脑电能量曲线Fig. 3 EEG energy curve of motor imagery involvingright or left hand9 期孙会文等: 基于HHT 运动想象脑电模式识别研究1689其中, C3Emax 是求一个Trial 中C3 通道的最大值, C4Emax是C4 通道的最大值, Emax 是求C3Emax 和C4Emax 的最大值, 同理可求得Emin, Eni 是指C3 或者C4 通道(i 是通道) 的第n 个数值, Yn 为归一化处理后的值.最后把C3 和C4 电极由AR 模型系数构成的12 维特征与频带能量构成的2 维特征组合成14 维的特征向量: fC3E,C4E;C3AR1; ¢ ¢ ¢ ;C3AR6;C4AR1; ¢ ¢ ¢ ;C4AR6g. 这14 维的特征向量由第1.6 节的支持向量机方法进行分类. 整个特征提取过程如图4 所示.图4 特征提取过程Fig. 4 Process of feature extraction1.6 支持向量机分类运动想象脑电模式基于运动想象脑电的脑{ 机接口/脑{ 机交互中: 1) 脑电信号为非线性非平稳信号, 使其线性不可分; 2) 提取的脑电特征和电极组合后, 用于分类的特征向量往往是高维的; 3)运动想象脑电的单次试验分类往往是小样本, 在线脑{ 机交互系统可供学习的样本往往更少[31].支持向量机(SVM) 是基于统计学习理论的机器学习方法, 在处理分类问题上具有很好的表现. 它利用结构风险最小化理论, 在特征空间中构建最优分割超平面, 尽可能多地将两类数据点分开, 并使分开的两类数据点距离分类面最远;它可以利用少量支持向量构建判别函数, 适宜小样本分类问题, 泛化能力强; 此外, 它采用非线性映射方法将低维输入线性不可分样本映射到高维特征空间, 使其线性可分, 不需要过多考虑维数对机器学习性能的影响. 因此, SVM 可望能较好地适应运动想象脑电信号特征的单次试验分类.在本研究中, 运动想象脑电数据由140 个训练样本和140 个测试样本组成, 训练样本和测试样本的类别标签已知.首先用140 个训练样本和样本标签训练模型, 再利用得到的模型对测试样本进行标签预测, 最后通过预测标签和真实标签对比, 计算分类的正确率.2 结果为验证本文所述方法的有效性, 对第1 节所述左、右手运动想象脑电数据进行了特征提取和模式分类. 图5 (a) 呈现了对未经HHT 变换提取得到的特征进行分类的结果, 在该种情况下, 由AR 模型系数和平均能量构造特征向量, 然后利用SVM 对测试集进行分类. 测试集在5.5»7.5 s 区间的平均分类正确率是67.89 %, 最高分类正确率是77.86 %;在8»9 s 区间的平均分类正确率是61.25 %, 最高分类正确率是63.57 %.图5 (b) 呈现了利用小波变换提取特征的分类曲线. 实验采样频率为128 Hz, 根据香农采样定理, 小波变换初始频率为64 Hz, 选用db4 小波对数据进行3 层分解, 分解后频率范围分别为0»8 Hz、8»16 Hz、16»32 Hz、32»64 Hz 四个频带. 选取Mu 节律的信号8»16 Hz 进行能量计算, 然后,构造基于AR 模型系数和平均能量的特征向量, 最后采用SVM 对测试集进行分类. 测试集在5.5»7.5 s 区间的平均分类正确率是78.12 %, 最高分类正确率是83.57 %; 在8»9 s区间的平均分类正确率是56.96 %, 最高分类正确率是65 %.图5 (c) 呈现了利用HHT 变换后提取AR 模型系数并计算平均能量, 再构造特征向量, 然后基于SVM 对测试集进行分类的结果. 在该种情况下, 测试集在5.5»7.5 s 区间的平均分类正确率是81.08 %, 最高分类正确率是87.86 %; 在8»9 s 区间的平均分类正确率是71.33 %, 最高分类正确率是84.29 %.表1 呈现了在无HHT、小波变换(WT)、希尔伯特{ 黄变换(HHT) 三种特征提取方法下, 基于SVM 在3»4 s、5.5»7.5 s 和8»9 s 分类时间段的平均分类正确率和最高分类正确率.表2 呈现了第4 次脑{ 机接口竞赛数据Data sets 2b 的分类正确率. 表2 中, 1T、2T、3T 是训练集, 4E 和5E 是测试集. 其中训练集2T 可能存在数据错误, 导致分类正确率均为50 %, 其他两组有较高的分类正确率, 说明HHT 方法应用在左、右手运动想象分类中效果良好.此外, 本文针对运动想象全部时间过程的平均能量特征,采用无HHT、小波变换(WT)、希尔伯特{ 黄变换(HHT) 特征提取方法的分类正确率分别是57.44%、60.7%、62.86 %.3 讨论基于运动想象脑电的脑{ 机交互控制接口是一类非常重要的脑{ 机接口, 然而由于运动想象脑电具有高度的非平稳性和非线性, 这使得表征运动想象的脑电特征模式难于提取,分类难度大. 迄今为止, 研究者已提出了若干运动想象脑电特表1 采用无HHT、小波变换(WT)、希尔伯特{ 黄变换(HHT) 特征提取方法并基于SVM 的分类正确率Table 1 The classi¯cation accuracy based on SVM and three feature extraction methods: without HHT,wavelet transform (WT), and Hilbert-Huang transform (HHT)特征提取方法无HHT 小波变换(WT) 希尔伯特{ 黄变换(HHT)分类时间段(s) 3»4 5.5»7.5 8»9 3»4 5.5»7.5 8»9 3»4 5.5»7.5 8»9平均分类正确率(%) 55 67.89 61.25 49.49 78.12 56.96 51.16 81.08 71.33最高分类正确率(%) 61.43 77.86 63.57 57.86 83.57 65 60.71 87.86 84.291690 自动化学报41 卷(a) 没有采用HHT 提取特征的分类正确率曲线(a) Classi¯cation accuracy without HHT(b) 采用小波变换提取特征的分类正确率曲线(b) Classi¯cation accuracy with wavelettransformation (WT)(c) 采用HHT 提取特征的分类正确率曲线(c) Classi¯cation accuracy with HHT图5 无HHT、小波变换(WT) 和HHT 运动想象脑电模式分类曲线Fig. 5 Classi¯cation accuracy curves of EEG pattern inducedby motor imagery using without HHT, WT and HHT表2 基于HHT 第4 次脑{ 机接口竞赛数据Data sets 2b 的分类正确率(%)Table 2 The classi¯cation accuracy based on HHT for the 4thbrain-computer interface competition data Data sets 2b (%)分类1T 2T 3T4E 96.25 50 96.255E 91.88 50 91.25征模式提取方法[11¡15], 但仍然没有最终解决好这个模式分类问题. 在运动想象脑电的模式中, 事件相关去同步(ERD)已被作为一个脑{ 机交互控制信号[22¡23], 然而运动想象脑电模式也与被试的想象心理活动质量紧密相关.本文脑电采用双导联方式记录. 该方法不使用无关参考电极, 两个活动电极互为参考, 两个电极的差值即记录的数据, 相对于单极导联法没有外加电极的干扰, 但两电极之间距离需要在3»6 cm 以上. 而脑电采集的单极导联法中放大器的一个输入端接活动电极(即记录电极), 另一端一般置于耳垂或乳突(即参考电极), 能够记录活动电极下脑电位变化的绝对值, 其波幅较高且较稳定. 本文所用到的数据注重电极之间的差值而不是单个电极幅值, 故采用双极导联法.在本文的研究中, 在Trial 的5.5»7.5 s 分类期间, 希尔伯特{ 黄变换(HHT) 特征提取与小波变换(WT) 特征提取相比, 最高分类正确率提高了4.29 个百分点, 平均分类正确率也提高了2.96 个百分点; HHT 特征提取与无HHT 特征提取相比, 最高分类正确率提高了13.19 个百分点, 平均分类正确率提高了10 个百分点. 在该期间, 小波变换(WT) 特征提取也比无HHT 特征提取的分类性能好. 这些结果与已有研究相比[25; 32¡33], 具有特色和可比性.此外, 在Trial 的8»9 s 分类期间, 希尔伯特{ 黄变换(HHT) 特征提取与小波变换(WT) 特征提取相比, 最高分类正确率提高了19.29 个百分点, 平均分类正确率也提高了14.37 个百分点; HHT 特征提取与无HHT 特征提取相比, 最高分类正确率提高了20.72 个百分点, 平均分类正确率提高了10.08 个百分点.上述这些结果表明, HHT 在基于运动想象脑电特征模式提取中优于小波变换(WT) 特征提取方法, 更优于无HHT特征提取方法. 尽管与傅里叶变换(Fourier transformation,FT) 相比, 小波变换(WT) 能通过伸缩和平移运算对脑电信号进行多尺度细化分析, 可以从运动想象脑电信号中提取对分类有用的信息, 但小波方法本质上是傅里叶变换, 不能同时在时域和频域有高的分辨率. 然而希尔伯特{ 黄变换(HHT)在时域和频域同时具有很高的分辨率, 这可能是该方法优于WT 方法和无HHT 的主要原因. 在三种特征提取方法中, 分类性能较差的是无HHT 方法, 这也表明了在基于运动想象脑电的脑{ 机交互系统中, 表征运动想象的脑电模式特征提取极为重要且关键, 必须采取有效的特征提取方法, 否则分类正确率将受到很大的限制.除上述之外, 在Trial 的3»4 s 分类期间, 三种特征提取方法的分类效果均不好, 可能因为在3»4 s 期间为运动想象执行的初始阶段, 被试心理活动有一个滞后和适应过程, 尚没有形成较好的运动想象心理活动. 但在随后的5.5»7.5 s期间, 被试运动想象活动趋于稳定, 质量较好, 三种特征提取方法的分类正确率均提高非常大, 其中最好的是HHT 方法,其次是WT 方法. 在8»9 s 运动想象执行的最后期间, 被试运动想象心理活动质量有所降低, 分类正确率有下降趋势.这可能在一定程度上表明了在Trial 期间, 分类正确率随时间而波动的原因. 此外, 在0»2 s 期间, 要求被试心理处于放松空闲的基线状态, 在2»3 s 期间, 为被试运动想象准备期间, 在这两个期间, 三种方法的分类正确率在机会概率水平.综合以上, 说明基于运动想象脑电的脑{ 机交互系统的性能还与被试想象心理活动的质量紧密相关.已有研究把HHT 应用到运动想象任务实验, 实验中以C3 和C4 通道瞬时能量值为特征分类左右手和脚运动想象,并取得了良好的效果[34]. 本文在此基础上, 求取一定时间段的AR 系数特征向量和平均瞬时能量值特征, 然后把两个特9 期孙会文等: 基于HHT 运动想象脑电模式识别研究1691征相结合进行分类. 实验结果表明分类正确率有了一定的提高.HHT 算法侧重于提取非平稳非线性的脑电信号中具有可分类特征信息的瞬时幅值, 而近年来广泛应用的CSP 算法能够构造出适用于分类的空间滤波器, 从而提高分类效果,为此, 可以考虑将HHT 和CSP 进行互补以提高分类正确率.最后, 已有研究表明运动想象和实际运动共享某些类似的神经机制[34¡37], 这也是基于运动想象脑{ 机交互的神经科学基石. 其中, 被试在执行运动想象心理活动期间, 发生了事件相关去同步(ERD) 现象, 并利用这一现象实现运动想象脑{ 机交互控制[22¡23; 38]. 本研究通过希尔伯特{ 黄变换(HHT), 计算了左、右手运动想象脑电的能量变化, 由图3 (a)可知, 从4 s 开始左手C3 通道的能量值开始显著大于C4 通道, 而图3 (b) 中右手的C3 能量值小于C4 通道, 这也再次证实了被试在运动想象期间发生了事件相关去同步(ERD)这一现象.4 结论运动想象脑电的特征提取和模式分类面临巨大的挑战,其中最根本的原因之一是难于提取到能够表征运动想象心理活动的脑电特征. 本文基于在时域和频域同时具有良好局部化性质的HHT 提取表征运动想象脑电的AR 模型参数特征和平均瞬时能量特征, 采用能够较好地适应运动想象脑电信号单次试验分类方法的SVM. 结果表明, 在Trial 的5.5»7.5 s 分类期间, HHT 特征提取方法平均分类正确率为81.08 %, 具有良好的适应性; 最高分类正确率为87.86 %, 远远高于未经HHT 处理得到的分类正确率, 提高了近十个百分点, 也优于小波变换特征提取方法; 尤其在Trial 的8»9 s分类期间, HHT 特征提取方法显著优于后两种特征提取方法. 本研究证实了希尔伯特{ 黄变换(HHT) 能够有效地提取表征运动想象脑电的特征模式, 也再次证实了运动想象ERD现象, 同时也表明基于运动想象脑电的脑{ 机接口正确分类率与被试想象心理活动的质量紧密相关.在本研究的基础上, 我们进一步的研究工作是: 1) 继续完善本研究所采用的方法, 并把这些方法集成到在线实时的基于运动想象脑电的脑{ 机交互控制系统中; 2) 在未来的在线实时系统中, 引入优化的先进神经反馈技术| 所想即所得, 以实时调节被试/用户的脑电活动, 进一步提高正确识别率和系统的响应速度, 从而提高系统的性能; 3) 采用三边协同自适应机器学习算法适应脑电的变异性, 减轻被试的训练负担.References1 Schmidt E M, McIntosh J S, Durelli L, Bak M J. Fine controlof operantly conditioned ¯ring patterns of cortical neurons.Experimental Neurology, 1978, 61(2): 349¡3692 Gao Shang-Kai. Comments on recent progress and challengesin the study of brain-computer interface. Chinese Journal ofBiomedical Engineering, 2007, 26(6): 801¡809(高上凯. 浅谈脑{ 机接口的发展现状与挑战. 中国生物医学工程学报, 2007, 26(6): 801¡809)3 Wang Xing-Yu, Jin Jing, Zhang Yu, Wang Bei. Brain con-trol: human-computer integration control based on brain-computer interface. Acta Automatica Sinica, 2013, 39(3):208¡221(王行愚, 金晶, 张宇, 王蓓. 脑控: 基于脑{ 机接口的人机融合控制.自动化学报, 2013, 39(2): 208¡221)4 Fu Yun-Fa, Wang Yue-Chao, Li Hong-Yi, Xu Bao-Lei, LiYong-Cheng. Direct brain-controlled robot interface technol-ogy. Acta Automatica Sinica, 2012, 38(8): 1229¡1246(伏云发, 王越超, 李洪谊, 徐保磊, 李永程. 直接脑控机器人接口技术. 自动化学报, 2012, 38(8): 1229¡1246)5 Yao De-Zhong, Liu Tie-Jun, Lei Xu, Yang Ping, XuPeng, Zhang Yang-Song. Electroencephalogram based brain-computer interface: key techniques and application prospect.Journal of University of Electronic Science and Technologyof China, 2009, 38(5): 550¡554(尧德中, 刘铁军, 雷旭, 杨平, 徐鹏, 张杨松. 基于脑电的脑{ 机接口:关键技术和应用前景. 电子科技大学学报, 2009, 38(5): 550¡554)6 Fu Y F, Xu B L, Li Y C, Wang Y C, Yu Z T, Li H Y. Single-trial decoding of imagined grip force parameters involvingthe right or left hand based on movement-related corticalpotentials. Chinese Science Bulletin, 2014, 59(16): 1907¡19167 Li Ming-Ai, Cui Yan, Yang Jin-Fu. Research on removingocular artifact automatically from EEG signals. Acta Elec-tronica Sinica, 2013, 41(6): 1207¡1213(李明爱, 崔燕, 杨金福. 脑电信号中眼电伪迹自动去除方法的研究.电子学报, 2013, 41(6): 1207¡1213)8 Zeng H, Song A G, Yan R Q, Qin H Y. EOG artifact correc-tion from EEG recording using stationary subspace analysisand empirical mode decomposition. Sensors, 2013, 13(11):14839¡148599 Lehnertz K. Non-linear time series analysis of intracranialEEG recordings in patients with epilepsy | an overview. In-ternational Journal of Psychophysiology, 1999, 34(1): 45¡5210 Gao S K. Grand Challenges in EEG Based Brain-computerInterface [Online], available: http://lifesciences.ieee.org/lsg-cc/ 2012-ieee-life-sciences-grand-challenges-conference/ pres-entations/session-1/, March 15, 2014.11 SchlÄogl A, Flotzinger D, Pfurtscheller G. Adaptive au-toregressive modeling used for single-trial EEG classi¯-cation. Biomedical Engineering-Biomedizinische Technik,1997, 42(6): 162¡16712 D0Croz-Baron D, Ramirez J M, Baker M, Alarcon-Aquino V,Carrera O. A BCI motor imagery experiment based on para-metric feature extraction and ¯sher criterion. In: Proceed-ings of the 22nd International Conference on Electrical Com-munications and Computers (CONIELECOMP). Cholula,Puebla: IEEE, 2012. 257¡26113 Zhou Z X, Wan B K. Wavelet packet-based independentcomponent analysis for feature extraction from motor im-agery EEG of complex movements. Clinical Neurophysiol-ogy, 2012, 123(9): 1779¡178814 Hsu W Y. EEG-based motor imagery classi¯cation usingneuro-fuzzy prediction and wavelet fractal features. Journalof Neuroscience Methods, 2010, 189(2): 295¡30215 Yang H,Wu S. EEG classi¯cation for BCI based on CSP andSVM-GA. Applied Mechanics and Materials, 2013, 459: 228¡23116 Zhang R, Xu P, Liu T J, Zhang Y S, Guo L J, Li P Y, Yao DZ. Local temporal correlation common spatial patterns forsingle trial EEG classi¯cation during motor imagery. Com-putational and Mathematical Methods in Medicine, 2013,2013: Article ID 59121617 Fu K, Qu J F, Chai Y, Dong Y. Classi¯cation of seizure basedon the time-frequency image of EEG signals using HHT andSVM. Biomedical Signal Processing and Control, 2014, 13:15¡221692 自动化学报41 卷18 Gong P, Chen M Y, Zhang L. EEMD-based selection of time-frequency patterns for motor imagery EEG. Journal of Com-putational Information Systems, 2013, 9(22): 9211¡921819 Bajaj V, Pachori R B. Classi¯cation of seizure and non-seizure EEG signals using empirical mode decomposi-tion. IEEE Transactions on Information Technology inBiomedicine, 2012, 16(6): 1135¡114220 Pachori R B, Bajaj V. Analysis of normal and epilepticseizure EEG signals using empirical mode decomposition.Computer Methods and Programs in Biomedicine, 2011,104(3): 373¡38121 Li S F, Zhou W D, Yuan Q, Geng S J, Cai D M. Feature ex-traction and recognition of ictal EEG using EMD and SVM.Computers in Biology and Medicine, 2013, 43(7): 807¡81622 Pfurtscheller G, Neuper C. Event-related synchronization ofmu rhythm in the EEG over the cortical hand area in man.Neuroscience Letters, 1994, 174(1): 93¡9623 Wolpaw J R, Birbaumer N, McFarland D J, Pfurtscheller G,Vaughan T M. Brain-computer interfaces for communicationand control. Clinical Neurophysiology, 2002, 113(6): 767¡79124 Alvarez-Meza A M, Velasquez-Martinez L F, Castellanos-Dominguez G. Time-series discrimination using feature rel-evance analysis in motor imagery classi¯cation. Neurocom-puting, 2015, 151(1): 122¡12925 Lemm S, Schafer C, Curio G. BCI competition 2003 | dataset III: probabilistic modeling of sensorimotor ¹ rhythms forclassi¯cation of imaginary hand movements. IEEE Transac-tions on Biomedical Engineering, 2004, 51(6): 1077¡108026 BCI Competition IV [Online], available: http://www.bbci.de/competition/iv/, August 13, 2015.27 Huang N E, Shen Z, Long S R, Wu M C, Shih H H, Zheng Q,Yen N C, Tung C C, Liu H H. The empirical mode decom-position and the Hilbert spectrum for nonlinear and non-stationary time series analysis. Proceedings of the Royal So-ciety A: Mathematical, Physical and Engineering Sciences,1998, 454(1971): 903¡99528 Huang N E. Review of empirical mode decomposition. In:Proceedings of the 2001 SPIE, Wavelet Applications VIII.Orlando, FL: SPIE, 2001. 71¡8029 Hilbert-Huang Transform from Wikipedia [Online], avail-able: http://en.wikipedia.org/wiki/Hilbert-Huang transf-orm, August 13, 2015.30 Li Ming-Ai, Cui Yan, Yang Jin-Fu, Hao Dong-Mei. An adap-tive multi-domain fusion feature extraction with methodHHT and CSSD. Acta Electronica Sinica, 2013, 41(12): 2479¡2486(李明爱, 崔燕, 杨金福, 郝冬梅. 基于HHT 和CSSD 的多域融合自适应脑电特征提取方法. 电子学报, 2013, 41(12): 2479¡2486)31 Fu Yun-Fa, Xu Bao-Lei, Li Yong-Cheng, Li Hong-Yi, WangYue-Chao, Yu Zheng-Tao. Recognition of actual grip forcemovement modes based on movement-related cortical po-tentials. Acta Automatica Sinica, 2014, 40(6): 1045¡1057(伏云发, 徐保磊, 李永程, 李洪谊, 王越超, 余正涛. 基于运动相关皮层电位握力运动模式识别研究. 自动化学报, 2014, 40(6): 1045¡1057)32 Zhou S M, Gan J Q, Sepulveda F. Classifying mental tasksbased on features of higher-order statistics from EEG sig-nals in brain-computer interface. Information Sciences, 2008,178(6): 1629¡164033 ChenMY, Fang Y H, Zheng X F. Phase space reconstructionfor improving the classi¯cation of single trial EEG. Biomed-ical Signal Processing and Control, 2014, 11: 10¡1634 Wang J, Xu G Z, Wang J, Yang S, Yan W L. Applicationof Hilbert-Huang transform for the study of motor imagerytasks. In: Proceedings of the 30th Annual International Con-ference of the IEEE Engineering in Medicine and BiologySociety. Vancouver, BC: IEEE, 2008. 3848¡385135 Decety J. The neurophysiological basis of motor imagery.Behavioural Brain Research, 1996, 77(1¡2): 45¡5236 Pfurtscheller G, Neuper C. Motor imagery and direct brain-computer communication. Proceedings of the IEEE, 2001,89(7): 1123¡113437 Pfurtscheller G, Lopes da Silva F H. Event-related EEG/MEG synchronization and desynchronization: basic princi-ples. Clinical Neurophysiology, 1999, 110(11): 1842¡185738 Neuper C, WÄortz M, Pfurtscheller G. ERD/ERS patternsre°ecting sensorimotor activation and deactivation. Progressin Brain Research, 2006, 159: 211¡222孙会文昆明理工大学信息工程与自动化学院硕士研究生. 主要研究方向为脑信息处理与脑机交互控制, 模式识别与智能控制.E-mail: sunien@163.com(SUN Hui-Wen Master student at the Institute of Informa-tion Engineering and Automation, Kunming University of Sci-ence and Technology. His research interest covers brain infor-mation processing and brain-computer interaction control, andpattern recognition and intelligent control.)伏云发昆明理工大学信息工程与自动化学院副教授. 主要研究方向为模式识别与智能控制, 脑信息处理与脑控机器人接口, 脑{ 机交互控制理论和方法, 脑网络连通性. 本文通信作者. E-mail: fyf@ynu.edu.cn(FU Yun-Fa Associate professor at the Institute of Infor-mation Engineering and Automation, Kunming University ofScience and Technology. His research interest covers patternrecognition and intelligent control, brain information processingand brain-controlled robot interface, theories and methods forbrain-machine interaction control, and brain network connectiv-ity. Corresponding author of this paper.)熊馨昆明理工大学信息工程与自动化学院讲师. 主要研究方向为医学图像处理与模式识别, 脑网络连通性, 脑信息处理与脑机交互.E-mail: xiongxin840826@163.com(XIONG Xin Lecturer at the Institute of Information Engi-neering and Automation, Kunming University of Science andTechnology. Her research interest covers medical image pro-cessing and pattern recognition, brain network connectivity, andbrain information processing and brain-computer interaction.)杨俊昆明理工大学信息工程与自动化学院实验师. 主要研究方向为脑机交互控制与通信, 脑网络连通性.E-mail: paradisewolf@126.com(YANG Jun Experiment teacher at the Institute of Infor-mation Engineering and Automation, Kunming University ofScience and Technology. His research interest covers brain-computer interaction control and communication, and brain net-work connectivity.)刘传伟昆明理工大学信息工程与自动化学院硕士研究生. 主要研究方向为脑信息处理与脑机交互控制, 模式识别与智能控制.E-mail: binghe111@126.com(LIU Chuan-Wei Master student at the Institute of Informa-tion Engineering and Automation, Kunming University of Sci-ence and Technology. His research interest covers brain infor-mation processing and brain-computer interaction control, andpattern recognition and intelligent control.)余正涛昆明理工大学信息工程与自动化学院教授. 主要研究方向为智能信息处理. E-mail: ztyu@hotmail.com(YU Zheng-Tao Professor at the Institute of Information En-gineering and Automation, Kunming University of Science andTechnology. His research interest covers intelligent informationprocessing.)