深圳大学梁臻博士提出EEGFuseNet高维脑电图混合无监督深度特征表征与融合模型及其在情绪识别中的应用
近期，深圳大学医学部生物医学工程学院梁臻博士（张治国教授团队MIND LAB核心成员）提出一种实用的基于无监督学习的卷积循环混合生成对抗网络，用以实现有效的脑电特征表征与融合，简称为EEGFuseNet。EEGFuseNet以无监督的方式进行训练和学习，并自动提取涵盖空间和时间动态变化性的深度EEG特征。与现有传统脑电特征相比，所提取的深度EEG特征被证实更具通用性，并且不受限于特定的脑电任务。
深圳大学是该论文的第一单位。深圳大学医学部生物医学工程学院助理教授梁臻博士为第一作者，周如双同学为第二作者，张治国教授为通讯作者。该论文已发表在IEEETransactions on Neural Systems and Rehabilitation Engineering,题目为《EEGFuseNet: Hybrid Unsupervised Deep Feature Characterization andFusion for High-Dimensional EEG with An Application to Emotion Recognition》，
DOI: 10.1109/TNSRE.2021.3111689.
如何高效地从高维脑电图（EEG）中提取有效、可靠的特征，特别是将大脑的时空动态信息实现更好的特征表达与融合，是脑数据分析中的一个关键问题。当前的脑电研究大多是以任务驱动的方式进行，使用有监督学习的模型来探索有效的脑电特征，这在很大程度上受到于标签的限制。在本文中，作者提出一种实用的基于无监督学习的卷积循环混合生成对抗网络的脑电特征表征与融合模型，称为EEGFuseNet。基于三个公共脑电情感数据库，作者对EEGFuseNet所提取出的深度低维脑电特征的性能进行了仔细地评估。结果表明，所提出的EEGFuseNet是一个鲁棒高、可靠性强的模型。该模型易于训练，在动态脑电特征的表征和融合方面具有良好的性能。特别是，EEGFuseNet良好地解决了跨个体脑电特征性能稳定性的问题，并证实了所提取的深度特征具有与不同大脑状态变化相对应的大脑皮层动力学意义。
情绪解码框架图
研究方法
在本节中，将介绍所提出的EEGFuseNet及其相应的设计和配置，并解释了如何在无监督的情况下高效地描述非平稳高维EEG信号。首先对采集到的原始EEG信号进行全面的脑电信号预处理，以去除诸如生理伪影（如眼部活动和肌肉活动）和非生理伪影（如交流电和电磁推断）等噪声。预处理后，将每个试次的EEG数据进一步分割成若干固定长度的段。基于分段的EEG数据记为，表示在一段时间点（）上从电极通道（）采集的信号。然后，将其作为混合EEGFuseNet的输入，并基于无监督学习对相应的深度特征进行表征和融合。接下来，作者将详细阐述所提出的混合深度编码器-解码器网络架构。
(1)如何从经典CNN出发构建EEGFuseNet的基本架构
对于时序EEG信号而言，空间和时间信息都很重要，它们代表了大脑不同位置的活动关系以及大脑模式随时间的动态变化。受EEGNet结构的启发，作者提出基于CNN的深度编码器-解码器网络。该网络采用连续的二维卷积层构建覆盖不同频带EEG空间信息的特征映射，并利用批归一化（BN）对每个训练小批进行归一化，通过减少内部协变量的漂移来加快网络训练过程。此外，在卷积层和反卷积层中添加激活函数，即指数线性单元（ELU），以帮助模型快速稳定收敛。值得注意的是，由于输入EEG信号是由通道和时间点()组成的，这里采用的不是一维卷积函数，而是二维卷积函数。在该结构中，编码器进行卷积和下采样，而解码器进行反卷积和上采样来重构输入脑电信号。具体来说，编码器网络由4个卷积层组成。训练过程中的权重是随机初始化的。在编码器-解码器体系结构的设计中，每个编码器层将具有相应的解码器层。因此，在解码器部分也有4个反卷积层。解码器的最终输出是以最小差值重构出的输入EEG信号。在模型训练过程中，作者使用均方误差（MSE）作为目标函数，来测量输入EEG信号()与解码器重构的EEG信号()间的差异 （解码器基于网络提取出来的深度特征进行EEG信号的重建），设loss=。一个完美的模型损失为0。多重卷积层能够提供一种有效的方法，从不同大脑位置采集的时序EEG信号中学习时空动态，并将样本点集成到一个紧凑的深度特征表示向量中，且该向量表示已被证明有利于对数据进行准确有效的描述。
基于CNN的深度编码器-解码器模型架构设计
(2)如何将GAN纳入到基于CNN的网络中以生成高质量的特征
该网络可以为无监督深度特征的表征和融合提供基准。为了进一步提高模型的学习效力，作者提出结合CNN和GAN的混合编码结构。在构建基于CNN-GAN的混合网络时，生成器为基于CNN的编解码网络。鉴别器架构与最终提出的EEGFuseNet中使用的鉴别器相同。在训练过程中，生成器G表征连续EEG信号的潜在特征表示（o）,鉴别器测量输入（真实训练样本或生成器生成的假样本）为真还是假的概率。训练过程中的目标函数是建立一个能够区分真实样本和生成的假样本的鉴别器D，同时开发一个能够生成与真实样本尽可能相似的假样本的生成器G（两方的极小极大博弈）。
GAN网络中判别器的模型架构设计
(3)如何将RNN整合到基于CNN-GAN的网络中以更好地融合时间和空间信息，形成EEGFuseNet的最终架构
为了增强时序EEG信号的特征表示，作者将CNN-GAN网络扩展为一种混合结构，并结合循环网络和卷积网络的优点来提取脑电特征，提出的基于无监督学习的卷积循环混合生成对抗网络（EEGFuseNet）。在EEGFuseNet模型架构中，原始EEG信号在经过卷积层之后被表征为特征向量序列（视为空间动态表征），然后循环神经网络学习该序列特征，并综合时序EEG信号的过去和未来动态信息提取时间动态表征。具体来说，编码器的卷积层从每个时间点从EEG信号中提取特征（浅特征提取），循环层将每个时间点提取的特征编码为整个EEG输入信号的完整特征表示（深度特征提取）。解码器由循环层和反卷积层组成，前者从编码器输出预测每个时间点的特征，后者将特征重构为原始EEG信号。在EEGFuseNet的混合网络中，浅层特征提取模块中的卷积和反卷积层超参数与CNN网络相同。深层特征提取模块根据浅层模块生成的特征映射（行和列分别表示来自不同通道和时间点的特征），对序列特征进行表征。为了提高循环层的计算效率，在实现过程中作者采用双向GRU，并在训练过程中对GRU的输入进行批量更新。网络最终提取的o则作为后续无监督脑电解码中使用的深度脑电特征。在脑电信号处理过程中，该模型采用了一种有效的时空联合的融合方法，对包含时空动态的信息特征进行了表征，成功地融合了所提取的不同深度、不同脑区和不同时间点的特征表征，有助于非平稳时序EEG信号的时空动态表示。此外，作者利用超图理论来解决情感分类问题。以EEG样本为顶点，基于由EEGFuseNet所提取的EEG深度特征来计算EEG样本之间的相似关系，并分析样本间的相似度分布，形成超边缘，构建多个EEG样本的超图结果。在解决情感分类问题中，通过计算所构建超图的拉普拉斯算子并用最优特征空间求解，将构造的超图划分为特定数量的类来实现。
本文所提出的EEGFuseNet的模型架构设计
实验结果
本文旨在提出一种在无监督情况下对高维EEG信号进行有效、可靠的特征表征和融合的理论和实用方法。作者在DEAP、MAHNOB-HCI和SEED这三个常用的公共脑电情感数据库上进行了广泛的实验。这里，情绪都由维度情绪模型来定义，即效价、唤醒度、支配度、喜好程度和可预测性。作者充分评估了所提出的基于无监督学习的卷积循环混合生成对抗网络的有效性和可靠性，仔细量化了不同情绪维度上的情绪识别性能，并与多种经典算法进行了比较。本文对不同设计与配置的EEGFuseNet进行了全面的比较。并在情绪识别应用中验证了所提取特征的有效性和高效性。结果表明，本文提出的混合EEGFuseNet（基于CNN-RNN-GAN）总体优于其他网络（CNN、混合CNN-GAN和混合CNN-RNN），这也证明了作者在网络设计中的原始假设。值得注意的是，本文提出的表征、融合和分类框架是一种自学习范式，在训练过程中不需要任何标签信息。本研究可以作为高维EEG研究的基础框架，并可用于评估除非平稳时序EEG信号以外的其他无监督方法的有效性。另一方面，由于缺乏标签指导，当前无监督结果的性能仍然低于有监督方法的性能。在EEG的情绪解码应用中，仍然需要进一步开发无监督算法，并提高其性能。在大多数的现实应用场景中，没有足够的标签信息用于有监督模型的搭建，在新数据出现时也很可能没有便携式的计算平台来支持模型的再训练。因此，无监督解码方法对脑电模型的学习、更新和工作起着重要作用。
对比不同的特征提取方法（DEAP数据库）
对比不同的特征提取方法（MAHNOB-HCI数据库）
对比不同的特征提取方法（SEED数据库）
对比不同的解码模型算法（DEAP数据库）
对比不同的解码模型算法（MAHNOB-HCI数据库）
对比不同的解码模型算法（SEED数据库）
消融实验（DEAP数据库）
消融实验（MAHNOB-HCI数据库）
消融实验（SEED数据库）
论文详情：
ZhenLiang, Rushuang Zhou, Li Zhang, Linling Li, Gan Huang, Zhiguo Zhang, and ShinIshii, “EEGFuseNet: Hybrid Unsupervised Deep Feature Characterization andFusion for High-Dimensional EEG with An Application to Emotion Recognition,”IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol.29, pp. 1913-1925, 2021.
文章仅用于学术交流，不用于商业行为，