使用CNN-LSTM混合深度学习分类基于MUSE采集的运动想象EEG信号

更多技术干货第一时间送达

脑机接口(BrainComputer Interfaces)技术是将人脑与外部设备建立起直接的通路,在智能助残、人机工程、神经康复训练等领域有巨大的应用潜力。随着技术发展,BCI不仅可以用于运动障碍患者,甚至可以用于健康人群以增强他们的行动能力。为了将BCI应用进一步推广,本文采用了一种便携、低侵入性的头带式设备来采集被试主动式运动想象的脑电信号,并使用卷积神经网络和长短时记忆网络混合对脑电信号进行分类识别。研究结果表明,配合混合神经网络,这种低侵入式的检测方法依然可以达到很高的运动意图识别准确率(96.5%)。该论文是一篇结合了实验方案、采集设备、深度学习算法的综合性原创BCI研究论文,既可以用于BCI行业入门学习,了解BCI的一般研究方法,也可以为BCI领域内研究人员提供新方法的参考。
‍‍‍
今天和大家分享的这篇论文是西班牙研究团队在2020年第16届国际IE会议上发表的《A CNN-LSTM Deep Learning Classifier for Motor Imagery EEG DetectionUsing a Low-invasive and Low-Cost BCI Headband》,文章提出一种混合了CNN和LSTM的深度学习方法,并将它用于基于运动想象的脑机接口(BCI)中。使用该方法,即使使用极少的EEG电极仍可以达到很高的识别准确率,可以大大推进BCI技术在日常生活中的应用。本文主要讨论新的BCI技术与深度学习方法的融合。
背景介绍
正如摘要中所介绍的,本篇论文以运动想象BCI作为研究对象。BCI技术也是深度学习、人工神经网络的重要应用领域。尽管BCI技术在如今发展得如火如荼,基于BCI操控的轮椅、打字、无人机、机械臂等花样应用层出不穷,但是基于运动想象的BCI目前依然是技术难点。作为一种主动式的BCI系统,与SSVEP、P300等被动式BCI不同,运动想象BCI目前被公认是最理想的BCI系统,因为它可以通过想象某种运动来直接对外部设备进行操控,可以“实现所想即所得”。因此运动想象BCI非常适合用于智能助残、运动康复、体能增强等领域。由于运动想象诱发的脑电信号相比于被动式系统更为微弱,因此有两个技术难度限制它的应用:1.采集设备的限制;2.低识别准确率。因此本文也是围绕这两个问题开展研究。
脑电采集与实验
研究团队使用了一种头带式的EEG采集设备来解决第一个技术问题:该设备只有5个干电极(TP9,AF7,AF8,TP10和Fpz,排布见Fig.1),而Fpz用做参考,相当于只有四个通道。相比于目前常用的20/32/64导联脑电设备可谓是精简到了极致。如此精简的采集设备不能用传统的脑电帽来称呼它了,只能叫他脑电头带(EEG Band)。
Fig. 1. Muse electrodes position
该设备由加拿大的InteraXon开发,目前该公司在脑电采集、情绪控制等领域非常火热,甚至谷歌都有将它收购的计划。这个头带实物见Fig. 2,只有一条很细的带子环绕额头,看上去还有些时尚。信号通过蓝牙传输到手机或pad等移动设备,未来科技感十足,日常都可以带出去,成为这条街最靓的仔。这款叫做Muse的脑电设备目前在IndieGoGo上进行预售式众筹,零售价只要200美元,可以说是相当亲民了。值得一提的是,近期很多AI科技类产品都喜欢用希腊神话中的人和物进行命名(参见我上一篇“BERT-of-Theseus:基于模块替换的模型压缩方法”)。Muse是希腊神话中执掌诗歌、音乐和文学艺术的女神,InteraXon将他们的产品如此命名,应该是寄托了艺术与科技融合,科技产品也可以做出艺术之美的愿景。因此它的表现非常值得我们期待。
Fig. 2. A user during a recordingsession
本文的实验方法也是较为常见的运动想象范式:被试分别想象自己使用左手或右手拿起一个杯子,身体保持不动。最终目的就是通过脑电信号解码,知道被试想的是左手还是右手。一般EEG设备都有专门的EOG电极采集眼电以用于后续的伪迹剔除,而对于如此精简的设备,它使用眼睛附近的AF7和AF8电极来记录眼电,真的是将每个电极都用到了极致,不愧是Muse。
数据预处理
在进行深度学习之前,首先要对数据进行预处理。原始信号使用传统方法进行分段、滤波,每个电极根据不同频带提取出五种脑电成分,分别是Alpha波、Beta波、Delta波、Theta波和Gamma波。因此每类样本都有4*5=20种EEG信号(Fig.3)。图中可见,到这一步数据还是比较杂乱,很难看出两种运动想象的信号差异。然后对20s的数据使用3s时间窗进行分割,50%重叠。最终每个被试每动作产生329个样本量的数据集,每个样本大小是750*20。750是时间序列(Timesteps),20是空间成分。下一步就要靠深度学习来一展身手啦。
Fig. 3. Sample of a user’s EEG signalfor the five waves by channel.
(Top) Brain waves for Left-hand motorimagery. (Bottom) Right-hand.
网络模型
模型的选择对于BCI性能相当关键。该网络模型混合了CNN和LSTM。二者分工明确,其中CNN负责从数据集中提取相关特征,LSTM是一种在自然语言处理中常用的方法(Fig.4),在本文被拿来用于将提取后的特征时间序列进行分类。模型使用一层CNN(32 filters),一层LSTM(32 neurons with0.2 dropout and 0.001 regularizer),最后使用一个全连接层来输出分类结果。这些模型的原理在网上都有较多介绍,在此不再赘述。算法使用Python中的Keras工具包实现,模型结构如Fig.5所示。该模型和它的采集设备一样,都非常精简。正所谓重剑无锋、大巧不工,美的东西一定是简单的。即使是如此简单的模型,也要经过复杂的调参,不断优化性能、降低过拟合,才能达到美的结果。该网络使用90%数据集作为训练,剩下10%作为验证。
Fig. 4. Schematic diagram of LSTM
Fig. 5. Model Architecture Proposalwith 3s window size
训练结果
对于一般的BCI系统,识别率在85%以上就可以应用在日常生活中。而该模型在验证集中可以达到96.5%的超高识别准确率,且相比于98.6%的训练集准确率并没有差太多(Fig.6)。另外,使用这个模型仅仅需要不到300个Epochs就可以达到收敛,大大节约了计算资源。总而言之,该模型的方方面面可以说是非常优秀了。
Fig. 6. Evolution of training andvalidation accuracies over 300 epochs
总结
BCI是目前非常火热的研究领域。本文围绕BCI应用的核心方法思想就是Low-cost,无论是采集设备还是深度学习模型,都是非常精简。精简的方法依然可以得出优秀的结果,而且精简的方法意味着应用更加容易推广,这为我们今后进行BCI研究提供了新的思路。也让我们看到了自然语言处理方法比如LSTM,Bi-RNN等引入BCI 领域的潜力与优势。不知道Muse女神和人工智能算法在未来还可以碰撞出多少火花,让我们一起期待吧~
论文详情:
ACNN-LSTM Deep Learning Classifier for Motor Imagery EEG Detection Using aLow-invasive and Low-Cost BCI Headband
(0)

相关推荐

  • LSTM模型

    https://zhuanlan.zhihu.com/p/38888439 https://zhuanlan.zhihu.com/p/43335730

  • 脑机接口科普文

    本文首发在个人博客上(7988888.xyz),此文章中所有链接均通过博客进行访问. 每写一篇文章都是对自己知识的梳理,这也是我初衷的所在.当然在对所讲述的知识时,我也是尽可能的用浅白的话语阐述清晰, ...

  • 脑机接口技术介绍、应用与挑战

    脑机接口社区 467篇原创内容 公众号 脑机接口简介 脑机接口的概念最先于1973年提出,伴随着计算机性能的飞速提高,在美国"人类脑计划"的资金支持下,脑机接口的研究进入了高速发展 ...

  • 【学术论文】多模态意识任务的脑电信号空间源定位分析

    摘要: 为了分析附加汉字默读的多模态意识任务所激活的大脑皮层,采用空间源定位分析与意识任务相关的脑电信号.首先采用独立分量分析算法将所有电极的脑电信号分解为各自独立的分量,每个分量可视为来自一个等价偶 ...

  • 慧创fNIRS和EEG联用,能更全面的了解脑部信息

    脑电图的监测是神经内科最常用的诊断手段之一,通过脑电图监测可以辅助诊断癫痫,明确癫痫的分类和脑部病灶的部位. 近红外脑功能成像技术作为最新一种脑功能检测技术,通过光学检测手段对脑部活动的血氧的浓度变化 ...

  • 深度学习--分类,回归

    一.回归: 什么是回归?如果有一个数据集x,它所对应的真实值y1,回归就是通过将这些数据集拟合出一个函数关系,使得y2=g(x),当然拟合不可能那么完美,所以就会有误差,这个误差就是y2-y1,即拟合 ...

  • 【深度学习】基于真实情境下的深度学习:选择性必修中册第三单元大单元教学设计

    基于真实情境下的深度学习: 选择性必修中册第三单元大单元教学设计

  • R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)

    原文链接:http://tecdat.cn/?p=23184 在本文中,我们将学习如何使用keras,用手写数字图像数据集(即MNIST)进行深度学习.本文的目的是为了让大家亲身体验并熟悉培训课程中的 ...

  • 深度学习在神经营销中基于脑电的偏好分类

    0 博主的小前言 博主前几天读到了一篇文献(Deep Learning for EEG-Based Preference Classification in Neuromarketing ),甚是震撼 ...

  • 基于深度学习的钢轨伤损超声检测与分类

    随着铁路运营里程.速度.密度的不断增加,为保障铁路交通运输的安全性,对钢轨的检测要求也进一步提高.钢轨作为铁路运输系统的重要组成部件,在长期循环列车荷载作用及外部环境影响下,易产生轨头核伤.轨腰斜裂缝 ...

  • 基于人工神经网络的深度学习技术

    人工智能领域的基础技术仍然一直行驶在快车道上,实际用例也如雨后春笋一般涌现,不仅对全球经济产生了巨大影响,也渗透到了人们日常生活的各个方面.那么基于人工神经网络的深度学习技术有哪些形式? 基于人工神经 ...

  • Python深度学习基于PyTorch(附完整PPT下载)

    人工智能与算法学习 24篇原创内容 公众号 作者:吴茂贵,资深大数据和人工智能技术专家,就职于中国外汇交易中心,在BI.数据挖掘与分析.数据仓库.机器学习等领域工作超过20年!在基于Spark.Ten ...

  • NLP实操手册: 基于Transformer的深度学习架构的应用指南(综述)

    人工智能算法与Python大数据 致力于提供深度学习.机器学习.人工智能干货文章,为AI人员提供学习路线以及前沿资讯 23篇原创内容 公众号 点上方人工智能算法与Python大数据获取更多干货 在右上 ...

  • 基于深度学习的特征提取和匹配方法介绍

    转载于 :黄浴博士知乎 https://zhuanlan.zhihu.com/p/78053406 计算机视觉需要图像预处理,比如特征提取,包括特征点,边缘和轮廓之类.以前做跟踪和3-D重建,首先就得 ...