使用时空-频率模式分析从脑电数据的一些试验中提取N400成分
更多技术干货第一时间送达
今天介绍的内容是清华大学高小榕教授团队的研究成果，从脑电数据中提取N400成分。
关于高小榕教授的介绍，可以查看本社区之前分享的《第1期 | 国内脑机接口领域专家教授汇总》
神经工程简介
神经工程是神经科学和工程技术的交叉领域。它应用工程技术手段，通过认识、修复、增强、替代神经系统的各项功能，充分利用神经系统的诸多性质，解决开发神经组织和人工设备之间的接口问题。脑-机接口一种在脑与外部设备之间建立的直接通讯渠道，此项技术常用于辅助增强或修复人体的感觉-运动功能或提升人机交互能力。
研究方向
研究重点是脑机接口技术、神经信号检测和处理的理论和方法，并基于此技术研究生物神经系统信息相关的脑功能分析方法。涉及的信号包括宏观层次记录到的皮层电位及头皮脑电信号，和在微观层次上记录到的神经元放电信号及其形成的局部场电位的处理。
更多信息
http://www.med.tsinghua.edu.cn/Person?method=102&perId=55
N400是事件相关电位(event-related potentials, ERPs)的一个组成部分，与语义异常相关。在视觉或听觉刺激后200 ~ 300 ms出现一种负偏转，在400 ms达到峰值(Lau et al2008)。它主要分布在顶叶中央区域。N400可以被多种类型的刺激诱发，包括图片或声音呈现的单词、手语、图片、可发音的非单词以及人脸等。N400能够反映人类的认知能力语义异常, 因此它在神经心理学疾病的临床研究中起着重要作用，包括阿尔茨海默氏病、阅读障碍、癫痫、自闭症、失语症、脑瘫和缺氧脑损伤。因此，从EEG信号中准确提取N400波形具有重要意义。
N400的信噪比(SNR)非常差，这是由于N400的低振幅以及自发的脑电图活动和眼伪影的存在。在早期的研究中，用于增强N400信噪比的传统方法是从averaged inconsistentsweeps中减去averagedconsistent sweeps。这种方法需要很长时间的实验来记录足够多的实验脑电图数据(John et al 1978)。但在针对个体患者的实际临床研究中，患者在长期的实验过程中会感到疲劳甚至不适。因此，能够从个体的脑电图数据试验中提取N400波形是至关重要的。
在这项研究中，清华大学高小榕教授团队研究人员提出了一种时空频率模式分析(spatial and temporal-frequency pattern analysis , STPA)的方法。首先，由于N400成分具有锁相特性，可以分别从每个数据集中随机重采样获得一致波形和不一致波形，然后取平均值。从而使N400的差分波形具有更高的锁相分量信噪比。通过重复上述过程，可以增加的N400样本的数量。较高的信噪比和较大的N400样本集有助于简化空间滤波器的设计。其次，为了去除自发脑电图活动，采用完整的Daubechies (DB)小波字典对ERP进行传统方法的频率分解(Samaret al 1999, Quiroga et al 2003)。本研究充分考虑N400分量与自发脑电图活动的相位分布和频率分布的差异，利用字典学习自适应构建特定的DB小波字典，仅重构N400分量，不重构其他分量。利用学习字典，可以尽可能地去除自发的脑电图活动。第三,为了自动选择N400成分, 受ESSP启发(Wu等，2016), 由于ERP组件数量很多，因此可以利用低秩正则化方法来最小化稀疏分解过程中的空间模式数量。
具体来说，STPA方法首先利用重采样平均差增强脑电信号的信噪比。然后利用字典学习自适应地选择对应于ERP的小波基，并得到相应的时频模式。最后，利用低秩约束稀疏分解来估计空间模式，自动确定ERP组件的数量。
在STPA, resampling-average差分法用于提高信噪比的N400脑电图样本,和一个交替优化框架是由结合字典学习和低秩约束稀疏分解。STPA方法的原理图如下图所示。
STPA算法伪代码(原理)
仿真数据
为了确定STPA的参数并评价算法的效率，采用多参数概率模型生成仿真数据。分析了不同试验次数和采样次数的STPA在不同信噪比下的性能，然后确定了重采样平均差的优化参数。
根据论文中给出的EEG模型，对ERP成分S和空间模式A进行了仿真。ERP成分S包括N400成分和两个非目标ERP。N400成分是由多个Gamma函数生成的，而两个峰值在不同时间窗口内的非目标ERP成分则通过Gaussian函数进行了仿真。采用Schmidt算法使三个ERP成分正交。此外，由列正交矩阵随机生成了三种ERP的空间模式。由于波形差异是通过从不一致的波形减去一致的ERP来获得的，因此一致的波形可以视为基准信号。
通过随机混合物矩阵的1 / f多维噪声模拟自发性EEG活性。测量噪声由白高斯噪声表示。测量噪声的功率通常设置为ERP和自发EEG活动功率的1/100（Wu等人2017）。信号模型的主要组成波形如下图所示。
上图主要波形成分:(a) N400成分，(b)第一个非目标ERP成分，(c)第二个非目标ERP成分，(d)基准信号B， (e)一致和不一致波形，以及(f)不同的波形。
此外，将STPA与ESSPs、SIM和r-ICA等算法进行了比较。在执行重采样平均差步骤之后，所有这些算法都用于提取N400波形。分别分析了提取的ERP信噪比和提取的ERP成分数。
为了准确量化所有算法的性能，在上图中分析了提取波形的SNR。结果表明，与其他算法相比，STPA在各个信噪比水平上都更有效地提高ERP的SNR。
提取的ERP成分的数量决定了是否可以自动识别所需的ERP。下图显示了STPA和其他三种算法从50个数据集中提取的- 10 dB的多通道波形的奇异值。STPA自动获得正确的组件数量。
实验
从真实脑电图数据中提取N400
15名22-26岁的研究生参加了该实验。所有受试者都是右撇子。他们的听力正常，视力正常或矫正。
实验过程
N400效应实验程序
N400效应是由语义启动范式引起的。实验过程如上图所示。首先，空白屏幕播放200- 300毫秒。接下来，中文单词在空白屏幕上显示了200毫秒。在另一个空白屏幕持续200毫秒后，听觉或视觉刺激显示700毫秒。以女播音员念中文的语音作为听觉刺激(AS)，以女播音员念中文时面部的无声视频作为视觉刺激(VS)。将听觉粉红噪声添加到AS和VS材料中，其中噪声的功率等于每个语音信号的功率。之后要求受试者尽快判断语音或无声视频是否与中文单词一致。最后，一个空白屏幕显示1000毫秒，然后下一个试验开始。对于每种听觉和视觉刺激条件，记录了70个EEG信号试验，其中35个试验在一致的条件下进行，另外35个试验在不一致的条件下进行。总共以伪随机顺序显示了140个试验。
脑电图记录。由NeuroScanSynAmps系统在屏蔽室内记录EEG信号，其中EEG信号采用平均乳突参考。62个Ag/AgCl电极按10-20国际标准放置。脑电图信号采样率为1000 Hz。信号在0.5-45 Hz波段进行滤波。在刺激前200毫秒和刺激后700毫秒之间提取脑电图epoch。使用刺激前200 ms窗口中的平均幅度校正每个试验的基线。
数据分析
下表列出了在听觉和视觉条件下受试者的识别准确度。配对t检验的结果表明，在两种情况下受试者的识别准确度存在显着差异（p值<0.001）。在AS和VS条件下，来自15位受试者的Cz电极上的N400波形和总体平均脑电图数据的地形图如图10所示。在350–600ms窗口内，由AS诱发的N400的幅度大于VS诱发的N400的幅度。VS N400的空间分布与AS one相似。为了评估不同算法在个体脑电图数据试验中的性能，我们对提取的N400波形在350 - 600ms内的平均振幅进行分析，以区分刺激条件的类型(AS或VS)。
重新采样平均差的试验数设为35，抽样数设为30。重测平均差重复100次。然后通过STPA对100个样本进行分析，得到空间滤波器、空间模式、时间-频率模式和ERP成分。
在AS和VS条件下，下图为来自所有15位受试者的Cz电极上的N400波形和全部平均EEG数据的地形图。
研究人员将AS数据集的STPA结果与每个受试者的平均结果进行了比较，为了更好地可视化，得到的波形的振幅、模式权重和地形被归一化。如下图所示，对于所有受试者，通过STPA (a)和(b)提取的N400的空间图和时频图，平均EEG数据的地形图(c)以及Cz电极上的反投影/平均N400波形(d)
从上图可以看到，STPA提取的N400的空间模式与拓扑的空间分布相似。对于时域频率模式，在0–64 Hz范围内的时间频率系数表示时间频率分量非常稀疏。STPA提取的N400成分反投影到每个对象的Cz电极上。恢复的N400波形具有比Cz电极上平均波形更高的SNR。在350–600 ms的窗口中，延迟和幅度在恢复的N400波形和平均N400波形之间近似。每个受试者的所有结果均不同，这表明N400在各个受试者之间均不同。
N400时间演变分析
为了分析N400的时间演变，将每个受试者的数据集分为两组。第一组由实验中的前20个试验组成，第二组由后20个试验组成。从两组中提取ERPs。下图展示了一些受试者的ERP空间模式和波形。为了更好地可视化，对空间模式和分量的振幅进行了归一化。红色矩形代表所选的N400成分，其他矩形代表非N400成分。两组之间的N400空间模式和波形非常相似。N400成分在整个组中的空间和时间变异性通常小于其他成分。结果表明，N400成分在实验中被稳定诱发，并且不受疲劳影响。
少量试验提取和足够的试验平均数之间的比较
为了验证STPA在少数试验情况下的有效性，将少数试验提取的结果与黄金标准（即总平均波形）进行了比较。受N400数据集试验数量的限制，研究人员分析了mismatch negativity (MMN)数据集，它是一个较弱的ERP，而不是N400数据集。[MMN数据集记录在Lin et al(2013)的研究中]。将所有试验均分为三组，以进行少量试验提取。
将每组Cz电极上的平均波形与上图(a)中的大平均波形进行比较。它们的振幅和延迟相似。通过STPA从三组中提取MMN成分，并将其反投影到Cz电极上。将三组的恢复波形与上图(b)的总平均波形进行比较。STPA恢复的三个波形非常接近，它们都与总平均波形相似。
结论
清华大学高小榕团队成员在本研究提出了STPA方法，该方法可以从脑电图数据中提取N400成分。仿真和真实脑电图数据分析结果表明，STPA优于ESSPs、SIM和r-ICA。可以说STPA方法为认知科学、临床神经心理学疾病和脑机接口系统的研究提供可靠的工具。
论文信息
N400 extraction from a few trials of EEG data using spatial and temporal-frequency pattern analysis