【学术论文】多模态意识任务的脑电信号空间源定位分析
人机交互技术在近些年被广泛研究，尤其是将人体生物电发展为交互的媒介。脑机接口（Brain Computer Interface，BCI）就是一种用大脑的信号控制辅助设备的人机交互技术[1]。它为运动功能障碍者提供新的康复手段，让使用者获得了全新的沟通和交互途径。BCI系统已成功用于电动轮椅的控制、文字输入、机器人和智能家居的操控等[2]。
检测大脑的活动有多种方式，其中脑电信号（Electroencephalography，EEG）拥有安全性高、造价廉价等优点，所以该方式在BCI领域应用最为普及。有多种实验范式能产生可区分的脑电信号[3]。不同的算法被用于分析这些实验范式的EEG，P300诱发电位常应用方差分析、相干平均和相关分析等时域分析算法[4]。稳态视觉诱发和运动想象所产生的脑电信号具有一定的频率特性，可用短时傅里叶变换、小波变换等时频分析算法进行分析[5]。在研究多通道EEG信号时，还可使用引入通道选择的稀疏共空间模式（Sparse Common Spatial Pattern，SCSP）等时空分析算法[6]。
在考虑通过实验设计的方式增加BCI操作维数和分类准确率的研究工作中，本课题组提出了附加相关汉字默读的多模态意识任务实验范式，并从时间、空间、频率综合验证了该实验范式的有效性和合理性[7]。相比较于单一的思维活动，附加汉字默读的多模态意识任务为多个高级思维活动的组合，这涉及更多的大脑皮层。本文通过空间源定位分析的方法来研究EEG信号，分析和比较不同意识任务所激活的大脑皮层以研究多模态意识任务的生理机理，并帮助BCI的研究和设计。
本文的实验已在文献[7]中做了详细描述。该实验有10位年龄为22~28岁的受试者(其中7位为男性，3位为女性)参与，依次被标识为S1~S10，其中有6位受试者参加过类似的实验外，其他人首次参加脑电实验。受试者均为右利手，身体状态良好，在实验前有足够的休息。受试者坐着完成整个实验，通过注视前方1 m处的22英寸液晶显示屏来获得提示信息。受试者在明白实验目的和注意事项后，签署了《知情同意书》。
为了比较意识任务附加汉字默读后的效果，整个实验包括两步子实验，第一步子实验为多模态实验范式，第二步子实验为单一模态实验范式。本实验为无反馈实验，具体内容如图1所示。“左”和“壹”这两个汉字作为提示信息会随机出现。空闲期时，屏幕会显示一个星号“*”，受试者保持2 s放松状态。接着显示1 s的小十字“+”，让受试者做好准备。之后出现一个汉字，持续1 s。然后显示4 s的黑屏，表示为想象期，如果汉字是“左”，受试者在第一步子实验中想象身体左旋的同时默读“左”，其在第二步子实验中仅想象身体左旋；如果汉字是“壹”，受试者在第一步子实验中想象写“壹”的笔画时默读“壹”，其在第二步子实验中仅想象写笔画。4 s的意识任务结束后，一次实验完成，可放松0.5~1.5 s。每个提示在一组实验中会出现15次，每位受试者在同一天内完成5组实验。一组实验后，受试者可休息5 min。
默读汉字属于语言活动，想象身体向左旋转涉及空间想象，想象书写汉字需要语言皮层和运动皮层协调工作。实验的电极如图2所示，它们遵照国际10/20系统导联设置，并覆盖了威尔尼克区、布洛卡区和运动感觉皮层等大脑皮层的35导电极。实验所用的仪器为美国Neuroscan公司的SynAmps 2系统。安放两个双极性电极分别从水平和垂直方向记录眼电。为了降低50 Hz工频干扰，需在头部前额设置接地电极。此外，在采集脑电信号时，还需在头顶放置参考电极。为了减少实验过程中的信号失真，所有电极的接触电阻需维持在5 kΩ以下。系统的带通滤波器设置为0.1~100 Hz，信号采样率设置为250 Hz。
3.1 预处理
数据采集后，首先通过系统自带的SCAN 4.5软件的Ocular Artifact Reduction功能来去除眼电信号。成年人的EEG信号中有用的信息主要在α波和β波， 因此信号经过一个4~45 Hz的带通滤波器来滤除噪声。
3.2 独立分量分析
独立分量分析（Independent Component Analysis，ICA）是信号处理领域重要的研究方法，属于盲信源分离算法[8]。经过ICA分解后可将有用信号与噪声信号分离，以做特征提取或者脑电地形图的绘制等工作。
3.3 时频分析
EEG信号在经过ICA分解为各自独立的分量后，可通过时频分析来判断该独立分量是否和思维活动相关。事件相关谱扰动（Event-Related Spectral Perturbation，ERSP）是在常规时频分析算法上进行了改进，它可突出意识任务时EEG的能量相对空闲时的变化量[9]。ERSP可分析整个时间轴的能量谱与提示出现的基线能量谱的相对变化值。
如果进入想象期后，能量谱有提高或者降低，则说明该独立分量与思维活动相关，反之则没有。以受试者S6想象身体左旋的同时默读“左”为例，他的第1个和第4个独立分量经过4~45 Hz带通滤波后的ERSP图如图3所示。汉字提示出现在图3中ERSP图0 s的位置，1 s后，受试者开始相应的想象活动。受试者S6的第4个独立分量在9~15 Hz范围内的能量随着思维的进行而增加，他的第1个独立分量则没有类似的特征。因此可以判断，思维活动与第4个分量相关，与第1个分量无关。
3.4 等价偶极子源定位分析
通过时频分析得到与意识任务相关的独立分量后，可用空间源定位分析将其反推得到脑内神经活动源的位置、强度和方向等重要信息，这样可判断意识任务所激活的大脑皮层。
本文选择了等价偶极子分析。该算法将事件相关的神经源视为一个或者几个在大脑内活动的电流偶极子[10]，这些偶极子的方向和位置等信息采用最小化残余误差来确定：
其中L为导联场矩阵，j为跃迁偶极矩，U为ICA分解后的独立分量矩阵。
详细的操作流程为：
(1)用EEGLAB工具箱对脑电信号做ICA分解[11]，其中分解算法采用扩展Infomax法；
(2)头部模型选择BEM，接着独立分量通过该工具箱中的DIPFIT 2.2插件计算相应的偶极子；
(3)用一个三维的粗疏网络扫描出偶极子的大概位置；
(4)将上一步得到的位置作为初值，继续用非线性交叉拟合算法计算出偶极子的精确位置。
本文的目的是通过对与意识任务相关的EEG信号进行空间源定位，来对比多模态意识任务和单一意识任务间的内在差异，最终从时间、空间和频率之外的角度来证明多模态意识任务的可行性和合理性。
以受试者S6想象身体左旋的同时默读“左”为例，图3给出了空间源定位的流程。两步子实验均采用了35个电极来记录EEG信号，所以经过ICA分解后首先可得到35个分量，分量1和分量4为其中的两个。所有分量经过等价偶极子分析计算后分别得到各自对应的偶极子，并标出其在大脑的位置和方向。最后，采用ERSP来分辨与意识任务相关的独立分量和偶极子。由ERSP图可判断分量4和思维有关系。图3最终给出了与身体左旋时默读“左”这一思维相关的5个偶极子的位置和方向，它们位于大脑右半皮层的顶部和颞叶。
分别对10位受试者两步子实验的两类想象做了分析，与意识任务相关的偶极子数量结果如图4所示。根据10位受试者的平均结果，想象写“壹”的笔画时默读“壹”的偶极子数量最多，达到了5个，说明这类思维活动较复杂，涉及较多的大脑皮层。其他意识任务的结果为：想象身体左旋时默读“左”(4.3个)、仅想象写笔画(3.6个)和仅想象身体左旋(2.5个)，这恰好和四者平均分类准确率的排序一致(分类准确率来自文献[7])。相比较于单模态，多模态的意识任务涉及更复杂的思维活动，因此有更多大脑皮层参与，这使得EEG信号具有更高的可分性。本文的结果在综合脑电信号特征提取和分类的结果后[7]，发现了脑电信号分类准确度提高的内在原因，最终全面验证了多模态实验范式的可行性和合理性。
等价偶极子分析方法可将EEG信号逆运算以定位信号源的空间位置，此方法相对低廉和方便。本文通过对多模态和单模态这两步子实验进行空间源定位分析，并对比了这两步子实验的偶极子数量和分布，发现多模态子实验具有更多和思维活动相关的偶极子。更多的偶极子也意味着更多的大脑皮层被激活，也验证了多模态意识任务分类准确率提高的内在原因。因此从空间源定位的角度验证了多模态实验的合理性和可行性。
参考文献
[1] RABIE A R，ATHANASIOS V V. Brain computer interface：control signals review[J].Neurocomputing，2017，223：26-44.
[2] He Wei，Zhao Yue，Tang Haoyue，et al.A wireless BCI and BMI system for wearable robots[J].IEEE Transactions on Systems，Man，and Cybernetics：Systems，2016，46(7)：936-946.
[3] HWANG H J，KIM S，CHOI S，et al.EEG-based brain-computer interfaces: a thorough literature survey[J].International Journal of Human-Computer Interaction，2013，29(12)：814-826.
[4] Jin Jing，ALLISON B Z，SELLERS E W，et al.An adaptive P300-based control system[J].Journal of Neural Engineering，2011，8(3)：036006.
[5] WACKER M，WITTE H.Time-frequency techniques in biomedical signal analysis: a tutorial review of similarities and differences[J].Methods of Information in Medicine，2013，52(4)：279-296.
[6] FATTAHI D，NASIHATKON B，BOOSTANI R.A general framework to estimate spatial and spatio-spectral filters for EEG signal classification[J].Neurocomputing，2013，119：165-174.
[7] Wang Li，Zhang Xiong，Zhong Xuefei，et al.Improvement of mental tasks with relevant speech imagery for brain-computer interfaces[J].Measurement，2016，91：201-209.
[8] HYVARINEN A，KARHUNEN J，OJA E.Independent component analysis[M].New York：Wiley，2001.
[9] 王力，张雄，仲雪飞，等.频分析在语言想像脑机接口中的应用[J].东南大学学报(自然科学版)，2014，44(6)：1126-1130.
[10] MUSHA T，OKAMOTO Y.Forward and inverse problems of EEG dipole localization[J].Critical Reviews in Biomedical Engineering，1999，27(3-5)：189-239.
[11] DELORME A，MAKEIG S.EEGLAB：an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis[J].Journal of Neuroscience Methods，2004，134(1)：9-21.
作者信息：
王 力1，董倩妍1，黄志鹏1，谢玉怀2，胡 晓1
（1.广州大学 机械与电气工程学院，广东 广州510006；2.广州莱铭生物科技有限公司，广东 广州510330）