用机器学习和神经科学解码大脑信号
更多技术干货第一时间送达
人脑是一个非常了不起的器官，它大约三磅重，却能控制着我们身体的所有功能。它处理我们所有的思想，它是人类智力、创造力、情感和记忆的神经生物学基础。我们的大脑分为几个部分，每个部分都有一个主要的功能。
在本实验中，我们的重点关注的是枕叶。这是我们的视觉处理中心，在这里处理我们的视觉信息。它处理并使我们的大脑能够识别我们正在看的东西。
我们可以从大脑中收集到的数据类型
脑机接口(BCI)的目的是在大脑和外部设备之间建立一个直接的通信通道。这使得用户能够通过大脑活动与计算机进行交互。
BCI不是像Cerebro这样的读心工具。相反，它检测大脑发出的能量的变化。人脑包含约860亿个神经元，每个神经元分别与其他神经元相连。每当我们思考或移动肌肉时，这些神经元就会被能量激活。BCI可以识别大脑中的这些能量模式。
脑电图监测脉冲和波放电[来源]
(https://en.wikipedia.org/wiki/Electroencephalography)
脑电图(EEG)是一种记录大脑信号的常用技术。它是非侵入性的，所以我们不需要切开我们的头骨来收集我们的大脑信号。
脑电图描记器通过放置在头皮上的一系列电极记录大脑产生的能量。这需要受试者戴上脑电帽，电极放置在特定的位置。这些电极检测大脑活动，也就是大脑释放出的电能。
对于此实验，我们想记录与眼睛所见有关的大脑信号。通过将电极放置在枕叶区域，电极将从我们所看到的信号中拾取信号。在这种情况下，指示灯会闪烁。这种类型的EEG信号称为稳态视觉诱发电位。
在这个实验中，我们想要记录大脑信号与我们的眼睛所看到的东西有关。通过将电极放置在枕叶区域，电极将接收我们所看到的信号。在这里，指示灯会闪烁。这种类型的脑电图信号称为稳态视觉诱发电位。
稳态视觉诱发电位
稳态视觉诱发电位(SSVEP)是当我们看到闪烁的物体时产生的信号，通常在1到100Hz之间。在这个实验中，这些闪烁的灯是闪烁的LED灯。这些闪烁的灯是“刺激”。
考虑一个脑-机接口系统，其目标是解码用户的输入，使之符合“左”或“右”两种可能的选择之一。有两种刺激，一种是选择“左”，另一种是选择“右”。
两种刺激以不同的频率闪烁，11Hz表示“向左转”；而“向右转”的频率为15 Hz。参与者通过专注于其中一种刺激来选择选项。例如，通过关注“左”刺激，选择“左”选项。
当参与者专注于其中一种刺激时，该特定刺激的频率可以在枕叶处被获取到。我们可以通过从EEG信号中提取刺激频率来确定用户关注的是哪种灯。这就是脑机接口(BCI)系统如何将SSVEP大脑信号解释为对外部设备的指令。
该视频现场演示了SSVEP信号是如何被我们的眼睛所关注的东西所影响的。
实验装置
韩国的一所大学设计了利用SSVEP控制下肢外骨骼的实验环境。参与者可以通过将注意力集中在所需的刺激上来控制外骨骼。
参与者可以从五种操作中选择一种来操作外骨骼。这相当于五个发光二极管以不同的频率闪烁。
walk forward (9Hz)--向前走（9Hz）
turn left (11Hz)--向左转（11Hz）
turn right (15Hz)--向右转（15Hz）
stand up (13Hz)--站立（13Hz）
sit down (17Hz)--坐下（17Hz）
受试者佩戴外骨骼并专注于视觉刺激发生器产生的LED
如果打算向前移动，则受试者将注意力集中在以9 Hz闪烁的LED二极管上。同样，通过关注以15 Hz频率闪烁的LED二极管，它将使外骨骼向右转。
在实验过程中，提供了语音指导来指导用户。他们的任务是遵循给定的指令说明，并通过专注于相应的LED灯来操作外骨骼。
使用8个通道进行SSVEP采集的EEG通道布局
为了建立监督学习分类器，将采集到的脑电图信号作为输入数据，将分配的任务作为标签。在本实验中，作者在脑电图帽上选取了八个电极，与输入数据的八个通道相对应。
研究人员对获取的脑信号进行了快速傅里叶变换操作，将信号从时域转换到频域。这样就获得了120个样本的输入数据。因此，输入数据是一个120x8维的信号。
卷积神经网络分类器
No-Sang Kwak等人提出了一种使用卷积神经网络的SSVEP分类器。在论文中，他们将其命名为CNN-1。它具有两个隐藏层，内核大小分别为1x8和11x1。接下来是具有5个单元的输出层，该输出层表示外骨骼运动的五个可能动作。学习率为0.1，权值按正态分布初始化。
CNN-1体系结构。由两个卷积层和一个输出层组成
作者还实现了另外两种神经网络和三种信号处理方法，以比较CNN-1的性能：
CNN体系结构2 (CNN-2):类似于上述CNN体系结构，但在输出层之前包含一个额外的3单元全连接层.
前馈NN
前馈(NN):一个简单的3层全连接前馈神经网络
典型相关分析(CCA):典型相关分析是寻找目标频率和信号之间相关性的常用方法。CCA一直是SSVEP分类的首选方法
多变量同步指数(MSI):多变量同步指数估计两个信号之间的同步作为解码刺激频率的指标
CCA + k最近邻(CCA- knn): k近邻的典型相关分析
这些方法用于将性能与上述CNN-1架构进行比较。
评价
作者对13500个训练数据和1500个测试数据进行了10倍交叉验证。下表显示了每个分类器的分类准确性。
基于受试者的10倍交叉验证结果，比较不同的分类方法
该表显示CNN-1的性能优于其他神经网络体系结构。CNN-1的性能也优于CCA，后者是SSVEP分类的流行方法。总体而言，神经网络的结果比CCA更可靠，因为CCA表现出明显较低的性能。
深度神经网络通常在处理大量数据时表现更好。找出优于传统方法所需的数据量。作者在不同的训练样本容量下验证了算法的有效性。
10倍交叉验证结果，改变训练数据量，比较不同的分类方法
CNN-1在每一个数据量上都优于其他神经网络。然而，CCA-KNN在少于4500个训练数据样本的情况下表现出更好的分类性能。
下图是使用静态SSVEP的受试者S1的CNN-2的特征表示。使用静态SSVEP数据表示CNN-2中每一层的平均特征。在F3层中，蓝色为9 Hz；红色，11 Hz;绿色，13 Hz;黑色，15 Hz;青色，17 Hz。
下图为使用动态SSVEP的受试者S1的CNN-2的特征表示。使用动态SSVEP数据表示CNN-2中每一层的平均特征。在F3层中，蓝色为9 Hz；红色，11 Hz;绿色，13 Hz;黑色，15 Hz;青色，17 Hz。
总结
在这项研究中，研究人员的目标是建立一个具有深度学习分类器的鲁棒的BCI系统。卷积神经网络在SSVEP分类中表现出了良好的且高度鲁棒的性能。
BCI系统在帮助残疾人控制外骨骼(如铁人服)或轮椅(如X教授)等设备方面有着巨大的潜力。
但是，构建一个可靠的BCI系统仍具有挑战性，而且将这些设备从实验室带到大众市场还需要大量的努力。
论文信息：
Aconvolutional neural network for steady state visual evoked potentialclassification under ambulatory environment