伍冬睿教授：脑机接口中迁移学习的完整流程
更多技术干货第一时间送达
大家好，今天Rose分享一篇关于脑机接口中的迁移学习的完整流程。本文由华中科技大学伍冬睿教授授权分享。
关于脑机接口中迁移学习方面的研究，伍教授团队做过大量的工作。之前社区分享过《脑机接口中的流形嵌入知识迁移学习》、《华中科技大学伍冬睿教授：非侵入式脑机接口中的迁移学习综述（2016-2020）》等都来自于伍教授团队的研究成果。
脑机接口（Brain-Computer Interface, BCI）可以让用户使用脑电信号直接与计算机或其他外部设备进行交互。该名词是由美国加州大学洛杉矶分校Vidal教授1973年发明的，但是早在1969年美国耶鲁大学和华盛顿大学的研究者们已经分别在牛和猴子上进行了闭环脑机接口实验，比如可以通过脑机接口系统让奔跑中的公牛突然停下来，让猴子可以通过控制单个脑细胞的活动来操控仪表指针以获取食物奖励。脑机接口最初是为病人设计的，特别是像霍金那样全身瘫痪又不能说话的病人。近年来，脑机接口的应用范围逐渐扩展到正常人，用于游戏、神经营销、情感识别、精神状态评估等。
用于脑机接口系统的输入信号可以分为非侵入式、半侵入式和侵入式三种。其位置和特征如图1所示。
图1. 脑机接口系统的信号来源和特征
非侵入式脑机接口无需动手术，直接从头皮表面采集大脑信号。常用的非侵入式信号有头皮脑电（EEG）、功能近红外光谱（fNIRS）和功能核磁共振成像（fMRI）等，其中以EEG最为常见。EEG通常由头戴式的脑电帽通过电极从头皮上采集，可以在头皮上监测到群体神经元的放电活动。
基于EEG的闭环脑机接口架构图如图2所示，包括EEG信号采集、信号处理、特征工程、分类回归和控制器几个部分：
图2 基于EEG的闭环脑机接口系统架构
下面我们对每个部分分别介绍一下：
信号采集：通过脑电帽进行。传统的脑电帽使用湿电极，佩戴不太方便和舒适。现在越来越多的脑电帽使用干电极，佩戴更加方便，但是一般信号质量比湿电极稍差。
信号处理：因为EEG信号幅值很小，并且容易受到肌电、眼电、心电、交流电工频干扰等的影响，必须通过信号处理提高其信噪比。信号处理一般包括时域滤波和空域滤波两步。时域滤波一般用陷波滤波器去除50或60Hz的交流电工频干扰，然后用带通滤波器，比如【8,30】Hz，去除高频噪声和低频漂移。空域滤波通过独立成分分析(ICA)、共同空间模式(CSP)、典型相关分析(CCA)等把原始EEG通道通过加权的办法组合成新的通道，提高信息量，并降低通道数目。
特征工程：主要是特征提取，有时候也包括特征选择。常用的特征包括时域、频域、时频域、黎曼空间、topoplots等。
分类回归：使用机器学习算法从EEG特征中解码其含义。常用的方法有线性判别分析 (LDA)、支持向量机 (SVM)等。
控制器：根据脑电信号含义，向外界设备，比如计算机、机器人等，发送指令。在有些应用（比如文字输入）中，控制器并不是必需的，脑电信号经过分类器后已经直接被解码成文字了。
经典的脑机接口系统主要包括运动想象（Motor Imagery, MI）、事件相关电位（Event Related Potential, ERP）和稳态视觉诱发电位（Steady-State Visual Evoked Potential, SSVEP）三种范式。本文主要考虑基于运动想象的BCI系统。肢体运动的执行和想象会影响大脑特定区域感觉运动皮层的节律活动的变化。比如对于左手的想象动作会导致大脑右半球激活强烈，右手的想象动作会导致大脑左半球激活强烈，而脚的想象动作会导致大脑顶部激发强烈。根据这些特征可以把运动想象转化成输出指令，用于外部设备的控制。
EEG信号很微弱，容易受到身体其它电信号和外界环境干扰，具有很大的个体差异，并且是非平稳的（同一个用户不同时间的EEG信号会有差异），所以很难设计一个脑机接口系统，其机器学习模型参数固定且对不同用户、不同脑电帽和不同任务都是最优。通常需要对新用户、新设备和新任务进行校准，但是此校准过程费时费力，对用户不友好，所以缩短或消除此校准过程对于脑机接口系统的推广应用非常重要。
迁移学习是目前脑机接口中减少校准的最重要的方法，也是本文的主题。其主要思想是通过相似或相关的其它用户、设备或任务的数据来帮助当前用户、设备或任务进行校准。虽然文献中已经有很多迁移学习方法，但是大部分都只是针对信号处理、特征工程、分类回归3个组件中的1个进行考虑的，特别是分类回归部分。个别文献考虑了其中的2个组件。附件中的最新文章“Transfer Learning for Brain-Computer Interfaces: A Complete Pipeline”提出，这3个组件中可以同时考虑迁移学习，并且在信号处理之前应该显式地加入一个数据对齐组件，让来自不同用户的数据分布更加一致，有利于后续的迁移学习。我们提出的脑机接口中迁移学习的完整流程如图3所示。
图3. 脑机接口中迁移学习的完整流程
我们介绍了数据对齐、信号处理、特征工程和分类回归中一些基本的迁移学习方法，及改进的、效果更好的迁移学习方法，并通过实验验证了如下结论：
在脑机接口的迁移学习中加入显式的数据对齐组件非常重要。常用的数据对齐方法在我们最新的综述文章“D. Wu, Y. Xu and B.-L. Lu, “Transfer Learning for EEG-Based Brain-Computer Interfaces: A Review of Progress Made Since 2016,”IEEE Trans. on Cognitive and Developmental Systems, 2020, accepted”中有很完整的介绍，如下表所示。
在脑机接口的多个组件中同时考虑迁移学习往往比只在部分组件中考虑迁移学习效果好。复杂的迁移学习方法往往比简单的效果好。
本工作由华中科技大学人工智能与自动化学院脑机接口与机器学习实验室伍冬睿教授、硕士生彭睿旻和黄剑教授、曾志刚教授共同完成，受到湖北省人工智能重大专项支持，目前在IEEE Computational Intelligence Magazine审稿中.
原文在附件中。原文和Matlab源代码也可以从这里下载：
https://github.com/drwuHUST/TLBCI