基于CNN-LSTM的运动想象脑电四分类研究
时间：2023-03-04 08:10:05 来源：千叶帆 本文已影响人
郭 峰，陈金川，谢 云
（广东工业大学 自动化学院，广东 广州 510000）
脑-机接口（Brain-computer Interface，BCI）是一种新的交互手段[1]，它的原理是通过采集并分析大脑的神经活动来实现对机器的控制。近年来，随着人工智能技术的迅速发展，越来越多的研究人员进入了BCI相关研究领域，特别是基于运动想象（Motor Imagery，MI）的BCI技术，无论是在科学研究上还是在应用上，该技术都具有相当高的价值，目前在康复医疗、通信安全、环境保护等领域都得到了广泛应用[2]。
脑电图（Electroencephalogram，EEG）是一种由大脑神经活动所产生的电压波，可以直接在人体头皮表面记录到。因为脑电图具有无创、便捷等特点，因此目前是应用最广泛的脑电信号采集方法。大量的研究表明，运动想象与事件相关去同步/事件相关同步（Event-Related Desynchronization，ERD/Event-RelatedSynchronization，ERS）现象[3]紧密相连。根据ERS/ERD这一现象，研究者们采用了许多不同的传统机器学习算法对MI脑电信息进行处理分析[4-7]。虽然这些方法在一定程度上获得了较高的分类准确率，但也存在着许多不足，原因是传统的机器学习算法需要大量的先验知识和不断对分类器的参数进行优化，这样会导致整个处理过程变得更加的繁琐，最终的分类精度和效率也会大大下降。并且，脑电信号是一种复杂的非线性非平稳随机信号，具有较低的信噪比，仅通过传统的机器学习方法对脑电信号进行处理会损失一部分有用信息。因此，探寻更有效的方法来识别脑电信号，仍然是研究者目前面临的难题。
近年来，随着深度学习[8]在众多领域都获得了不错的效果，越来越多的研究人员开始运用深度学习方法对脑电信号展开研究。文献[9]是基于深度信念网络（Deep Belief Network，DBN）对二分类MI脑电信号进行分类，文献[10]是基于CNN对四分类MI脑电信号进行分类，文献[11]是基于LSTM对情感脑电信号进行分类。以上文献的分类结果均取得较高的准确率。不同的深度学习方法有着不同的特点和优势，只有通过结合的方式才能让它们均能发挥出自身的优势，因此多种方法的综合运用是脑电信号模式识别的发展趋势。基于此，本文提出一种基于CNN和LSTM的混合神经网络模型对运动想象脑电信号进行模式识别。
1.1 实验数据集
本文选用的数据集是由格拉茨工业大学脑机接口实验室提供的BCI竞赛Ⅳ的数据集2a（http：//www.bbci.de/competition/iv/），该数据集包含9名被试者，每个被试者共进行288次实验，每次实验都进行四类运动想象的任务，想象左手、右手、双脚和舌头运动。每个被试者都采集了两组数据：一组用于训练和一组用于测试。竞赛数据集Ⅳ2a的单次采集实验流程图如图1所示。
图1 单次采集实验流程
1.2 数据预处理
该竞赛数据集需要经过以下的预处理：
1）数据的采样频率为250 Hz，在0.5～100 Hz之间进行带通滤波；
2）使用带阻滤波器限制50 Hz的工频干扰；
3）使用Matlab工具手工剔除3个眼电数据的干扰。
最终得到单个受试者的脑电数据为（288，22，2 000），其中288表示样本数量，22表示通道数，2 000表示实验数据点。
1.3 基于脑电特征的训练样本处理
运动想象EEG是自发脑电的一种，它能够反映人脑组织的电活动及大脑功能状态。研究表明，脑电波[12]主要由5个波段组成，分别是δ波（0.5～3 Hz）、θ波（4～7 Hz）、α波（8～13 Hz）、β波（14～30 Hz）和γ波（31～50 Hz）。这些波段通常出现在不同的大脑功能区，并且它们的活动变化能够反映大脑的不同状态，例如，当大脑进行想象单侧手运动时，β波会出现事件相关去同步现象。此外，文献[13]中发现，对这些单独的波段进行分析能够得到更准确的信息。
根据以上分析内容，在将信号输入模型分类之前进行了分段、滤波和提取频带能量的信号处理，具体描述如图2所示。原始的EEG数据由22个信号组成，分别来自C3、C4、Cz、Fz、Pz等22个通道，每个通道的原始EEG信号包含以下几种脑电波：α、β、θ、δ和γ波。首先采用滑动窗口的方法对数据分段，对受试者的2 000个采样数据点使用0.1 s的连续重叠窗口截取，其中采样频率为250 Hz。然后对每个通道进行快速傅里叶变换（Fast Fourier Transform，FFT）处理后，分别提取5个波段的频带能量（通过pyeeg模块的bin_power函数），一共得到110个能量值，分别表示受试者在想象左手、右手、双脚和舌头时，110个脑电波的能量值，并将其作为后续输入模型的样本。
图2 基于脑电特征的训练样本处理示意图
在确定滑动窗口大小时，选取不同大小（2 s，2.5 s，3 s，3.5 s，4 s，4.5 s）的窗口作为模型性能测试[14]，根据测试结果（准确率）来确定最终的窗口大小。
如表1所示，将进行6次测试实验，因为在每次的实验中，运动想象的时间是2～4 s，所以没有选择超过4.5 s的窗口大小。
表1 测试不同窗口大小对模型性能的影响
根据测试的不同窗口大小，得到不同的模型输入（训练样本数、特征值）。其中训练样本数通过下面公式计算得到：
通常将样本分为三个数据集：
1）训练数据集是用来建立模型；
2）验证数据集是训练阶段未见过的数据，用于模型参数的调优；
3）测试数据集是用于验证最终模型的性能。
本试验是将总数据的1 4作为测试数据集，3 4作为训练数据集，验证集和训练集用一样的数据集。
由于卷积神经网络和长短时记忆网络分别在特征提取和处理动态时序信息方面具备相应的优势[15]，基于此本文提出一个基于CNN和LSTM混合网络模型的深度学习架构，如图3所示。首先，利用一维卷积神经网络自动提取信号处理后的相关脑电特征；
然后，利用LSTM网络在序列上的建模能力提取时序特征；
最后，结合全连接层和softmax层对运动想象脑电信号进行四分类。
图3 CNN-LSTM混合神经网络模型
通过减少预测值和实际标签之间的误差来调节CNN-LSTM模型中的超参数，包括CNN的层数、LSTM的层数、每层神经元的个数、dropout值、优化器的选择等，直到模型获得最佳性能。模型的细节描述如下：
1）首先是模型的输入，以110个脑电波频带能量值作为输入，即（110，1）；
2）第一层是一维CNN层，包含64个大小为15的一维卷积核，卷积步长为2，输出大小为（None，48，64）；
3）第一层输出经过ReLU函数处理后，再经过两层一维CNN，且这两层都包含64个大小为3的一维卷积核，第二层的卷积步长为2，然后将输出进行批量归一化处理，最后输出大小为（None，22，64）；
4）接着是3层的LSTM网络，这3层分别选用512，256和128个神经元来提取特征，并且前2个LSTM层进行0.5的dropout处理，防止过拟合，最后输出大小为（None，128）；
5）最后是全连接层，激活函数为softmax，选用4个神经元表示四分类，得到输出大小为（None，4）。
在多分类时，通常选用softmax函数来表示不同类之间的相对概率，公式为：
式中：m是y的索引；
T是总类别数。
当使用softmax函数输出时，通常会使用交叉熵作为损失函数来描述预测值yp和标签值yl的概率分布间的差距，计算公式如下：
在进行模型训练时，为了减少损失函数L(yp,yl)，选用“adam”作为优化器来更新CNN-LSTM网络的权重，准确率（正确的预测/所有的预测）作为评价标准，选择迭代次数（Epoch）为200，批量训练的大小（batch_size）为256。
本实验是基于Matlab+TensorFlow的环境运行的，采用Matlab对原始脑电数据进行预处理，然后基于TensorFlow框架搭建网络，显卡的配置为NVIDIA GeForce GTX 1650。将表1中不同的输入送入CNNLSTM模型中进行测试，选用准确率作为评估模型的指标，并用训练准确率和测试准确率作对比。测试结果如表2所示。
表2 测试结果
4.5 1 125 99.33 91.87
由表2可知，随着窗口大小的增加，测试准确率也随之增加，当窗口大小为3.5 s时，其训练准确率达到99.6%，测试准确率达到91.5%，再增加窗口大小，训练和测试准确率变化不大。虽然窗口大小为4 s和4.5 s时的测试准确率更高，但训练的时间成本更高、效率更低。所以综合考虑，窗口大小为3.5 s是分段长度的最佳选择。图4是窗口大小为3.5 s时，CNN-LSTM模型的训练过程，横坐标为迭代次数（Epoch），纵坐标为分类准确率（Accuracy）。经过200次的迭代训练，最终训练准确率和测试准确率趋于稳定。这结果相较于FBCSP（Filter Bank Common Spatial）[12]在BCI Competition IV竞赛的数据集2a上的分类准确率82.1%和深度卷积神经网络[13]的分类准确率84%，都有较高的提升。
图4 CNN-LSTM模型准确率
然后进一步研究不同受试者的数据集对模型分类效果的影响。采用3.5 s的滑动窗口对9名被试者的数据进行相关处理，再送入图3的CNN-LSTM模型进行训练，并选用训练准确率、测试准确率和Kappa系数（在多分类中衡量模型评估准确度的一种方法）作为评价标准，实验结果如表3所示。
表3 9名被试者的实验结果
平均值 99.32 90.38 0.871 9
由表3可知：受试者2的数据集A02T表现最佳，测试准确率有93.02%，Kappa系数为0.906 9；
受试者5的数据集A05T表现最差，测试准确率为87.53%，Kappa系数为0.833 7；
最终9名被试者的平均测试准确率为90.38%，平均Kappa系数为0.871 9。该分类结果验证了CNN-LSTM模型对运动想象脑电信号四分类的有效性和可行性。
本文提出一种有效的四类运动想象脑电分类方法，以深度学习理论为基础，包含了信号预处理和分类识别2个部分。
1）为了获得更准确的脑电信息，对原始脑电信号进行分段和滤波，并提取出相关脑电波（α、β、θ、δ和γ）的频带能量，其中分段的目的是扩充样本。
2）提出CNN-LSTM混合网络模型，该模型是深度学习模型，包含了特征提取和特征分类两部分。通过调整模型的参数对四类运动想象脑电进行分类识别，在BCI IV竞赛数据集2a上的表现为：平均分类准确率为90.38%，平均Kappa系数值为0.871 9。
相比于2008 BCI IV竞赛的第一名Kai Keng Ang的平均Kappa系数0.57，BCI IV竞赛数据集2a有了大幅提升，在四类运动想象脑电识别过程中具有更好的分类性能。当然，文中在调整CNN-LSTM网络模型的结构及参数时，只是凭借经验进行，后续需要总结调参的经验与规律，这是将来的工作重点。
猜你喜欢 脑电电信号准确率 基于联合聚类分析的单通道腹部心电信号的胎心率提取成都信息工程大学学报(2021年4期)2021-11-22乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析健康之家(2021年19期)2021-05-23不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨医学食疗与健康(2021年27期)2021-05-132015—2017 年宁夏各天气预报参考产品质量检验分析农业科技与信息(2021年2期)2021-03-27基于Code Composer Studio3.3完成对心电信号的去噪科技传播(2019年24期)2019-06-15高速公路车牌识别标识站准确率验证法中国交通信息化(2018年5期)2018-08-21基于随机森林的航天器电信号多分类识别方法北京航空航天大学学报(2017年9期)2017-12-18现代实用脑电地形图学(续)现代电生理学杂志(2016年3期)2016-07-10现代实用脑电地形图学(续)现代电生理学杂志(2016年4期)2016-07-10现代实用脑电地形图学(续) 第五章 脑电地形图的临床中的应用现代电生理学杂志(2016年1期)2016-07-10 相关热词搜索：四分，想象，运动，
