基于多层脑功能网络特征的动作意图识别

常文文，聂文超，袁月婷，闫光辉，杨志飞，张冰涛，张学军

(兰州交通大学电子与信息工程学院 兰州 730070)

在康复训练过程中，使用机器人设备比传统的人工康复更具优势，能增加患者训练的动机和自主训练的机会，从而提高康复训练的质量和效果。在步态康复方面，外骨骼和智能助行机器人被广泛应用，并取得了良好的效果[1-2]。随着脑机接口(brain computer interface, BCI)技术的发展，基于BCI 的主动式康复可以通过更快、更有力地检测大脑的运动意图来改进康复策略，提高康复效果，是未来神经康复系统发展的趋势[3-4]。理解大脑认知活动和运动过程之间的关系，对于发展基于脑机接口的主动康复技术具有重要作用。

目前的研究主要通过测量脑电信号(elecrroencephalogram, EEG)对运动意图进行特征解码和模式识别研究[1,5]，EEG 测量由于其简单、便携和高时间分辨率，被广泛应用于运动意图的检测中。文献[6-7]表明，EEG 中包含了丰富的步态和运动信息，而针对行走和步态等下肢运动意图的解码研究刚刚起步。在步态过程中最基本的一个动作过程就是起立和坐下， 文献[3]开发了一种实验协议，完成了对被试者在起立－坐下和屈膝－伸展动作过程中脑电信号和肌电信号的同步采集，通过事件相关同步/去 同 步(event related synchronization/desychronziation)和慢皮层电位以及与下肢相关的肌电模式分类来分析被试的动作意图，并结合支持向量机和人工神经网络完成对不同运动阶段的分类识别，得到了很好的效果。文献[6]通过对EEG 信号中低频波段信号的解码，研究了10 名被试者从坐姿到站姿以及从站姿到坐姿转变过程中对应的脑电信号特征，在保留EEG 数据丰富的统计特征基础上，结合高斯混合模型(Gaussian mixture model,GMM)，从时间嵌入的低频EEG 信号中成功识别“站到坐”和“坐到站”的动作意图，也证实了类似基于BCI 的下肢解码技术在外骨骼康复机器人中应用的可行性。文献[4]同样专注于动作执行前的皮层慢电位，对Delta 波段在运动意图解码中的可行性展开分析，基于动作开始前1.5 s 的慢波数据，通过设计自我触发和外界提示触发两种模式对起立、坐下和安静3 种状态下的EEG 信号特征展开分析，通过伪迹子空间重构算法消除对EEG 信号中的高幅噪声，通过构建时间嵌入的EEG 特征向量并应用Fisher 判别分析降低其时空特征的维数，最后结合GMM 分类器完成对3 种状态的识别，得到了较好的效果。文献[8]最早基于高密度的EEG 测量，就被试在站立和行走过程中执行视觉反应任务时的大脑认知过程做了详细研究，对EEG 数据的独立分量分析显示，在站立、慢走和快走期间的视觉事件相关电位在不同运动条件下没有差异，证明了在运动过程中记录和认知有关的大脑活动的可行性。文献[9]对被试者在坐着、站立和行走过程中从事某种认知任务时大脑认知负荷的变化过程进行研究，基于干电极的脑电信号采集，通过设计听觉诱发的事件相关电位分析，发现与坐着相比，行走时P3 显著降低，表明行走时的认知负荷高于其他两项活动，而坐着和站着的P3 无显著差异。文献[10]提出了一种基于熵的信号复杂度度量方法，并通过共空间模式滤波器选择了可用于特定动作分类的特征量，最后利用线性判别分类器实现对站立和行走动作的识别。综上可以看出，有关运动意图的解码研究主要集中为两种信号，一种是事件相关的同步/去同步电位，另一种是运动相关脑电位(movement related potentials, MRPs)[1,4]。此外，文献[8-9]针对不同动作过程中认知能力变化的研究，实现了对该类动作的有效检测和识别。但是，这些研究主要集中在感觉运动脑区少数电极通道的慢电位上，缺乏从全脑角度出发的空间域特征信息表示以及相应的识别方法研究。

步态是一个复杂的认知和运动控制过程，下肢动作也涉及全脑各个脑区的协调和配合，在一个站立或坐下动作完成之前，人的大脑必然表现出一定的特征信息，可以通过对该类特征信息的解码最终确定其运动意图[4]。这些信息除了通过上述皮层慢电位的表征之外，通过对脑区间相互依赖关系的动态变化过程分析，有望揭示运动意图解码的新特征[11-12]。文献[13]就站立和行走过程中的脑功能网络特征展开分析，发现相比站立状态，行走过程中感知运动脑区的功能连接会减弱。文献[11]就是否有外骨骼辅助下运动过程中的脑功能网络特征展开分析，也表明了基于图论的脑网络分析方法在步态康复研究过程中具有一定的特殊作用。文献[12]通过构建功能性脑网络，对脑创伤性病人行走过程中的平衡性问题展开分析，也证明了基于脑功能网络的空间域信息对表征步态特征具有特殊效果。针对动作意图检测开展多角度、深层次的分析和探究显然是必要的。为此，本文设计了从静坐到站立、然后再到静坐的动作转换实验，并同步采集了被试者的脑电信号，通过构建多层脑功能网络，就动作执行前后脑区间依赖关系的动态变化过程展开分析，并就不同动作对应多层网络特征参数进行了统计分析。

为实现对站立、坐下和静止状态的识别，结合统计差异的网络特征参数和机器学习算法，本文提出了一种该类动作意图识别方法，其技术路线图如图1 所示。

图1 本文技术路线图

1.1 实验方案

13 名被试者完成此次实验，被试者均为在校学生，身体健康，没有任何的精神疾病病史，均为右利手，实验之前和被试者签署了实验知情协议书。实验过程中被试者坐在显示器前，显示器显示计时时间，要求被试者先静坐1 分钟，然后被试者起立，由静坐转为站立，被试者站立持续1 分钟，之后被试者坐下，由站立转为静坐，静止持续1 分钟，依次反复交替完成上述动作，如图2 所示[3]。

图2 站立−静坐实验过程示意图

在该过程中全程记录被试者的脑电信号，持续10 min 为实验的一个Session，每名被试者总共完成6 个Session 的数据采集，各Session 中间休息1～2 min。

1.2 数据采集和预处理

整个动作实验过程中的数据采集使用SAGA 32+脑电采集系统(荷兰TMSi 公司)，在线采样频率为1 024 Hz，在线采样频段为0～200 Hz，数据记录中采用平均参考模式，额顶处为接地电极。该系统除了采集30 通道的脑电信号之外，还有4 组附加通道，通过附加通道接入了两组外接传感器，其中一组是惯性测量单元(inertial measurement unit，IMU)传感器，将其固定在被试者左上腿位置，另一组是4 路足底压力传感器(FSR 型压力传感器)，以足底压力鞋垫的形式固定在被试者左脚下方，通过IMU 和足底压力传感器数据，来确定起立和坐下的起始时间点，实现和脑电数据的同步，传感器安装位置如图3 所示。实验中记录的信号包括30 通道脑电信号、4 路足底压力传感器数据以及IMU 数据，所有数据的预处理均在EEGLAB 中完成。对所有被试者的处理逐个进行，首先将每名被试者所有Session数据整合到一起，然后对数据降采样到250 Hz，并完成0.1～48.0 Hz 的带通滤波，使用Cleanline工具完成对信号的线性滤波，根据SAGA 系统电极位置完成对所有脑电信号通道的电极定位，并剔除坏电极和无关通道。在完成数据读入的基本处理后，对IMU 的各路数据进行低通滤波(Butterworth滤波器，截止频率10 Hz)，并借助下肢上IMU 和脚后跟的足底压力信号确定每个站立动作和坐下动作的起始时间点，作为EEG 信号事件的标记点(将事件标记为起立、坐下和静态3 个状态)。根据该标记点完成对所有数据的截断，为了讨论动作前后的脑电特征，每个Epoch 的长度设置为动作起始点之前4.5 s 到之后的2.5 s，最后得到356 个Epoch数据段，所有的Epoch 数据段都进行了基线校准。然后通过视觉检查剔除受伪迹影响较大的Epoch数据段，利用运行独立成分分析(run independent component analysis, RUNICA)操作完成对所有信号的ICA 分解，并基于半自动的独立成分分析选择(semi-automated selection of independent component analysis, SASICA)工具包完成对伪迹成分的判断，并剔除其中的伪迹成分，主要包括眨眼、眼动、肌肉伪迹以及由于动作过程引起的其他伪迹成分。在ICA 剔除伪迹之后，如有需要，对坏电极进行插值处理，最后对所有数据进行平均重参考，从而完成数据的预处理过程。

图3 足底压力鞋垫和传感器位置固定示意图

2.1 同步似然分析

行走是人类一项复杂的认知活动，涉及视觉判断、运动控制、空间感知和规划等多个方面，需要整个大脑不同脑区间的协调和配合。在一个动作执行之前，通常大脑就表现出一定的动作意图，通过讨论动作执行前后相当时间内不同脑区间的相互依赖关系，有助于全面了解动作执行过程中大脑的活动状态，并有望发现针对动作意图检测的新特征。基于多层脑功能网络的复杂网络分析方法为此类动作过程对应脑区间依赖关系的研究提供了工具。

表征脑电信号之间相互依赖关系的度量方法有很多种[14]，其中同步似然分析(sychronization likehood, SL)被广泛应用于非线性和非平稳信号间依赖关系的分析中，特别适合于脑电信号的分析，对EEG 信号中的线性和非线性特征都具有较好的表征能力，且对容积传导等问题具有较好的鲁棒性[15-16]。SL 是神经生理学数据中估计广义同步性的常用指标，它的理论依据是系统在某一时刻的状态可通过一个插值向量来表示，当该状态再次出现时，可以用一个相似的插值向量来对其进行表示。因此，本文采用SL 来构建不同通道脑电信号之间的相互依赖关系，从而构建多层脑功能网络。分为以下4 个步骤。

1) 对来自通道C的EEG 信号xC,i(i=1,2,···N，N为样本点数)进行重建，得到m维空间嵌入之后的信号：

式中，l为时间延迟。同理，对通道D的EEG 信号进行重构得到XD,i。

2) 对通道C上的第i个样本，设定各向量之间彼此的距离小于s的概率为：

4) 在完成上述步骤之后，就可以实现对通道C和通道D之间EEG 信号同步似然指数SL 的计算，其表示的是通道C信号和D信号同时重现其状态向量的可能性，即当XC,j和 给定XC,i之间的距离小于邻接距离sC,i， 同时XD,j和XD,i之间的距离也小于sD,i的可能性。本文在计算SL 时，对应参数依 次 设 置 为：l=10、m=10、 ω1=100、 ω2=400、pref =0.01。

2.2 多层脑功能网络构建

对某段时间内脑功能网络拓扑结构动态关系的一种表征就是对该时间段内信号按一定时间窗进行截断，依次构建功能网络并形成超邻接矩阵，然后借助多层网络分析方法进行特征分析。为了通过脑功能网络来表征站立、坐下以及静止状态的脑信号特征，首先提取了和运动意图相关的delta 慢波信号，如图1 所示，然后根据站立和坐下以及静止状态的时间点，将3 类状态对应的delta 波段信号分割为[−4.5 s, 2.5 s]的Epoch 数据段(长度为7 s)，并以3.5 s 的时长作为时间窗，0.5 s 的步长对每个Epoch 依次进行截断，从而得到8 个时间段的子窗口(依次为w1,w2,···,w8)，这样对一个Epoch 样本进行操作，就可以得到30×875×8 的数据样本，然后对每个窗口内以及每对窗口间使用SL 来计算两个通道间的相互依赖关系。图4 为层间和层内各通道SL 计算示意图，通过层间和层内各通道之间SL 计算最终可以得到多层网络结构并以超邻接矩阵的形式表示。

图4 多层脑功能网络构建

图5 为3 种状态下所有被试、所有Epoch 数据段对应超邻接矩阵的总平均显示，该矩阵为240×240 的SL 值矩阵表示，对角线位置为8 个子窗口(w1～w8)的窗内连接关系(层内连接)，而上三角或下三角矩阵为不同子窗口之间的连接关系(层间连接)，可以看到层内连接强度要远高于层间连接。由于图示超邻接矩阵中SL 为总平均值，3 种状态之间的差异并不明显。为此，图6 计算了该超邻接矩阵中SL 的总平均值，可以看到3 种状态之间，SL 均值在动作发生期间要高于静止状态，且坐下和起立动作对应均值接近，但是统计分析并没有发现3 种状态之间存在显著差异。

图5 3 种状态对应EEG 信号SL 超邻接矩阵

图6 3 种状态SL 超邻接矩阵总平均值

2.3 多层脑功能网络特征参数分析

为了就整个动作过程对应的特征量进行量化分析，本文重点讨论4 类多层网络特征参数，首先是层−层相关系数(layer-layer correlation, LLC)，将其定义为两个网络层之间的皮尔逊相关系数[17-18]，用于表示各网络层之间，特别是不同子窗口对应网络层之间的相关性程度。为了就多层网络中不同层之间整合和分离程度进行度量，文献[17]引入了一个度量指标，该指标量化了第m层中的链路关系仍然存在于第n层中的条件概率(conditional probability, CP)，将其定义为：

式中，Am(m=1,2,···,8)为层内邻接矩阵。如果P值较高，表示各层之间整合关系较强，而如果各层之间关系相对比较独立，则P值较低。此外，不同层之间的分离特征也可以用多层模块值来进行量化，文献[19-20]将其定义为：

最后，多层网络还可以使用多层参与系数(multilayer participant coefficient, MPC)来量化其特征。该系数与熵有关，主要用来量化给定节点i的链路是均匀分布在各个层中，还是主要集中在一个或几个层中[17-18]。节点i的MPC 值被定义为：

2.4 阈值选择和单层脑功能网络特征参数分析

上述SL 值构成的超邻接矩阵表征了层内和层间的相互依赖关系，是对同一时间段或不同时间段各通道之间相互依赖关系的一种表征，在这种连接关系中也存在着大量的弱连接边，可能是由于噪声或其他非特征性相互作用造成的，并不能有效表征不同动作状态下脑区间的真实依赖关系。因此，在一般性问题的讨论过程中，需要设定一个合适的阈值对上述超邻接矩阵中的连接边权值进行筛选，保留在不同状态间具有一定区分度的重要连接边。为此，首先将3 种状态对应SL 超邻接矩阵权值展平，并组合在一起构成一个一维向量，然后通过选择该向量取值分布图上的上分位点作为最终的阈值点，图7 为该向量的频率直方图分布以及确定的阈值(阈值T= 0.1)。

图7 3 种状态对应SL 超邻接矩阵值统计分布

对上述3 种状态对应所有超邻接矩阵使用本阈值进行重点权值边的筛选，发现由于层间连接都较弱，保留下的重点连接边都表征了层内各通道之间的连接关系。因此，对各层内连接以单层网络的方法进行对比分析，重点考虑了各层网络的度、聚集系数、全局效率、同配系数、传递性系数和节点的介数中心性[14,21]。网络中最基本的一个参数就是节点度(degree, D)，定义为与该节点相连的边的权值之和，并将网络中所有节点度值的平均作为网络的度(average degree, AD)。同时，主要对网络的聚集系数(clustering coefficient, C)、全局效率(global efficiency, GE)、网络的同配系数(assortativity coefficient, ASS)、网络的传递性系数(transitivity,Tra)以及节点的介数中心性(betweenness centrality,BC)等网络参数展开分析。

3.1 多层脑功能网络特征

在得到如图5 所示各状态对应的超邻接矩阵之后，本文分别计算了各Epoch 片段对应的超邻接矩阵的4 种多层网络特征参数，图8 为对应的Q值和MPC 值，可以看出Q值保持在0.8 左右，而MPC值在0.9 以上，两组参数值都较高，表明不管是静止状态，还是起立和坐下动作，各网络层之间的连接关系较为密切，整个动作过程中大脑活动表现出很强的连续性。对3 种状态之间的统计分析也发现，Q值在3 种状态间有较为明显的差异(t-test,p<0.05)，而MPC 值并没有表现出显著性差异。

图8 不同状态超邻接矩阵对应Q 值和MPC 值

图9 分别对应3 种状态下各网络层之间条件概率CP 矩阵和层−层相关系数LLC 矩阵。可以看到各层之间的CP 值都普遍较高，均在0.6 以上，表明各子窗口对应网络层之间存在较强的整合关系，不管是相邻时间窗的网络层(如w1 和w2)，还是间隔较远的时间窗的网络层(如w1 和w8)，各层之间均存在较为紧密的联系，但是3 种状态之间并无显著差异。相比之下，图9 中两层之间相关性值情况有所不同，可以看到两层之间的LLC 值随着两层间距离的增加而降低，表现出相邻层有较高的LLC 值，而间隔较远的层之间有较低的LLC 值。为了能够找到可应用于不同运动状态分类的特征量，对LLC 值同样进行了统计分析，图9 中标记为两种状态之间存在统计性显著差异的情况(ttest，p<0.05，其中 “*” 为起立 vs. 坐下， “★”为起立 vs. 静态，“▲” 为坐下 vs. 静态)。可以看到，对于总平均后的LLC 矩阵值并没有明显不同，但是统计分析发现在w4 和w6,w7,w8 之间，以及w6 和w7,w8 之间的相关性存在统计性显著差异，这可能和站立和坐下动作开始的时间点有一定关系。特别是从w4 子窗口开始，出现了起立和坐下的动作起始点，因此和后续子窗口的网络在层相关性上表现出显著性差异。

图9 不同状态对应网络层−层相关系数矩阵

3.2 阈值筛选后网络特征

为了突出上述网络连接中的重点连接边，将阈值设定为0.1，完成对上述3 种状态所有Epoch 数据网络权值的筛选，大于该阈值的连接边保留，小于该阈值的连接边权值设置为0。权值筛选后的网络最终为各层内连接网络，层间连接权值相对较小，因此均被忽略。图10 为3 种状态各子窗口对应阈值筛选后总平均网络连接拓扑图。可以看出，3 种状态在8 个时间窗上拓扑结构变化比较平稳，对站立和坐下状态，均从w4 开始，网络连接较之前的w1、w2、w3 开始变得稀疏，并且一直持续到最终的w8，这和图10 中网络层之间相关系数显著性差异结果一致。本文认为这主要是由于在整个时间窗的移动过程中，站立和坐下动作的起始点最开始均出现在w4 窗口，而在站立和坐下过程中的动作电位相应地影响了不同脑区间的这种依赖关系，且在动作完成之后的一段时间内，这种依赖关系得到了一定程度上的保持。从图中也可看出，在静止状态下，网络拓扑结构保持平稳，不同脑区间的拓扑关系几乎没有发生变化，整个网络拓扑结构的变化同起立及坐下状态有一定区别，但无法通过该动态拓扑图来区分起立和坐下状态。

图10 3 种状态各子窗口对应脑功能网络拓扑连接

为了便于进行量化分析，确定可用于不同状态 识别的新特征量，本文重点分析了3 种状态下各窗口对应的网络特征参数。如表1 所示，分别计算了聚集系数C、全局效率E、平均度AD、同配系数Ass、介数中心性Bet 和网络传递性系数Tra 这6 类基本的网络特征参数。其中，“*”表示ttest，p<0.05。由表可知，动作状态对应网络特征参数在8 个递进子窗上整体呈现出变小的趋势，但是变化差异很小，而在静止状态网络参数变化没有明显的趋势性。对上述各网络参数在3 种状态之间的统计分析表明，只有w7 窗口对应的网络传递系数Tra 表现出显著的统计性差异。

表1 各状态对应的网络特征参数

3.3 机器学习分类

通过上述对各网络特征参数的对比和统计分析，本文选择了多层网络特征参数Q、有显著差异的层间相关系数LLC 以及w7 子窗口对应网络传递性系数Tra 构成特征向量：

使用支持向量机(support vector machine, SVM)、逻 辑 回 归(logistic regression, LR)、线 性 判 别 分析(linear discriminat analysis, LDA)和朴素贝叶斯(navive bayes, NB)4 类机器学习算法对该特征向量进行测试，完成对两类状态的识别，在机器学习分类过程中将70%的数据作为训练集，剩余30%作为测试集。图11 为5 折交叉验证得到的平均分类准确率。可以看到，针对两类状态的分类准确率均在71%以上，其中SVM 分类器的效果最好，针对站立和坐下、站立和静态以及坐下和静态的分类准确率分别达到74.4%，77.0%和76.9%，证明了该方法的有效性。

图11 不同分类器对应分类结果

本文通过设计静坐到站立的动作转换实验，完成对被试者在起立、坐下和静止状态下对应不同脑区脑电信号的同步似然分析，通过构建动作执行前后8 个时间窗口上的脑功能网络，以超邻接矩阵表示的多层网络形式展开对不同动作状态下网络拓扑结构的特征分析。基于对多层网络特征和各子窗口网络参数的统计分析，确定对不同动作状态敏感的网络特征参数，并使用SVM、LR、LDA 以及NB 等分类算法实现对起立、坐下和静止状态的分类识别，分类准确率最高达到77%，证明了基于动作前后动态网络特征进行下肢运动意图检测和识别的可行性。针对多层动态脑功能网络的分析结果表明，站立和坐下动作的发生会弱化脑区间的相互依赖关系，从而导致网络拓扑连接结构变得逐渐稀疏，该结果也为基于脑电的动作意图检测提供了新思路，对开展基于脑机接口的下肢助行和康复机器人的开发具有一定的参考价值。

致谢：本文得到了兰州交通大学天佑青年托举人才计划的基金资助，同时也感谢博睿康开放课题(BRKOT-LZJTU-20220329C)对文章的支持。

猜你喜欢邻接矩阵被试者特征参数轮图的平衡性长春师范大学学报(2022年12期)2023-01-13故障诊断中信号特征参数择取方法中国特种设备安全(2021年5期)2021-11-06基于特征参数化的木工CAD/CAM系统装备制造技术(2021年4期)2021-08-05德西效应共产党员(辽宁)(2019年7期)2019-11-18德西效应共产党员·上(2019年4期)2019-04-26基于PSO-VMD的齿轮特征参数提取方法研究制造技术与机床(2017年11期)2017-12-18儿童花生过敏治疗取得突破环球时报(2017-08-18)2017-08-18基于邻接矩阵变型的K分网络社团算法网络空间安全(2016年3期)2016-06-15为什么我们会忍不住发朋友圈？奥秘(2016年3期)2016-03-23统计特征参数及多分类SVM的局部放电类型识别电测与仪表(2015年7期)2015-04-09 相关热词搜索：多层，意图，识别，