关于事件相关电位SSVEP应用于视频游戏的研究
更多技术干货第一时间送达
前面介绍过事件相关电位P300应用于视频游戏的研究:
今天主要介绍事件相关电位SSVEP应用于视频游戏的研究。
事件相关电位 ERP
事件相关电位(ERP)是由大脑产生的与特定内部或外部事件(如刺激、反应、决策)相关的电位。它们可以提供关于广泛的认知和情感过程的信息。ERP为我们提供了对感觉和认知过程的洞察。事件相关电位很多,通常被称为ERP组件。
在最常见的ERP命名约定中,字母P(表示正)或N(表示负)用来表示组件的极性,后面的数字表示波形的峰值延迟。不过使用极性来标记组件是有问题的,因为任何给定的组件都将在头的一侧产生正电位,而在另一侧产生负电位,这也取决于参考电极的位置。
此外,ERP不能直接从脑电图信号的特定电位脉冲中读取,因为该脉冲可能代表也可能不代表特定的成分(如P300),而可能是潜在并发电位的组合。ERP分析主要关注的是在特定的时间间隔内,在刺激出现后对信号的时域进行监控。
实验设计以及触发刺激的外观和行为是基于ERP的BCI的关键因素。特别是在游戏实现中,刺激的表现一直在稳定地变化。这些发展标志着在游戏环境中无缝融合刺激的趋势,目标是更直观和更有吸引力。特定实验条件下感兴趣的成分的存在和属性(振幅和潜伏期)可以通过脱机分析受试者内部和受试者之间的平均波形来验证。这种验证几乎没有论文讨论,这给复制和未来的研究提出了问题。ERP模式非常适合于许多可以发出离散命令的游戏内任务,例如街机风格的游戏或益智游戏。根据控制方案,这种模式可以集成到一个连续的控制范例中,例如赛车游戏或需要导航的游戏。虽然它的使用取决于游戏的设计,ERP模式最适合于实时控制,例如基于回合的游戏,在这些游戏中,发出命令之前的延迟在确定结果方面不起作用,尤其是在触发刺激无缝地嵌入到用户界面中。请参阅下表,可以查看具有ERP和基于诱发电位的BCI的论文列表。
SSVEP 事件相关电位
稳态视觉诱发电位(SSVEP)是一种控制范式,通常在计算机显示器上向用户呈现高对比度的闪烁图形。当受试者将注意力集中在这样一个物体/符号上时,可以在大脑的初级视觉皮层上检测到与刺激振荡频率相匹配的信号。
虽然这种方法依赖于激发对参与刺激的响应,但对响应的检测是通过在枕区寻找匹配的频率(及其谐波)响应来进行的。这使得它比其他模式更不容易产生伪影,因为参与的频率变得占主导地位,而且容易检测。
早在1977年,Vidal就设计了一款BCI控制的游戏,该游戏使用棋盘模式来指示移动方向,并在迷宫环境中促进交互,在迷宫环境中,用户被要求跳出迷宫。
在对106名参与者的表现进行测试的研究中,严格检验了SSVEP BCI的表现(如下图)。研究表明,虽然大多数参与者都能控制它,但不同的刺激频率在参与者之间产生不同程度的大脑反应。作者提到的另一个问题是来自外部光源的光污染。值得注意的是,SSVEP范例的使用还有其他的限制。
Allison et al. 2010
基于SSVEP的BCI最大的问题是,易检测频率的频带非常有限,因此可以用不同频率编码的控件的数量也有限。Zhu等人对其他问题进行了评估。综述57 SSVEP的论文,作者指出,尽管SSVEP的可以提供频率100Hz, 但中低频频段的刺激频率比高频频段的刺激频率更高,尽管后者提供高水平的舒适和安全。类似地,游戏中的大多数SSVEP实现都使用标准的监视器来显示刺激,因此只使用了较低频率的闪烁刺激。刺激的性质(颜色、显示方式、频率)严重影响BCI的性能。许多论文证实了SSVEP在游戏环境中的可行性。
在一项建议将SSVEP用于临床目的的试点研究中(如下图),游戏任务包括嵌入以太空飞船为代表的虚拟场景中的闪烁刺激。发现非常短的2分钟训练时间足以建立有意义的控制。
Parafita et al. 2013
Parafita et al. 2013
为了解决工作负载对接口效率的不利影响,一项研究设计并评估了一种上下文敏感的命令方法,其中删除了对结果没有影响的命令,以简化接口并减少工作负载。
一项研究(如下图)通过一个带有干扰的3D虚拟游戏解决了这一问题,再次证实了将SSVEP刺激嵌入VR中而不影响准确性的可能性。
Ali and Puthusserypady, 2015
Ali and Puthusserypady, 2015
概念验证研究(见下图)在通过HMD查看的虚拟场景中测试了SSVEP范式的有效性。结果与使用电脑显示器进行的相同游戏的性能进行了比较。
Koo et al. 2015
结果表明,在使用HMD时,由于对视觉干扰的敏感性较低,信息传输率得到了改善。用其他感官如触觉(稳态躯体感觉诱发电位)和声音(稳态听觉诱发电位)来代替视觉刺激也是可能的。
参考文献
Brendan Allison, Thorsten Luth, Diana Valbuena,等. BCI Demographics: How Many (and What Kinds of) People Can Use an SSVEP BCI?[J]. IEEE Trans Neural Syst Rehabil Eng, 2010, 18(2):107-116.
Parafita R et al (2013) A spacecraft game controlled with a brain–
computer interface using SSVEP with phase tagging. In: 2013 IEEE 2nd international conference on serious games and applications for health (SeGAH). IEEE, pp 1–6
Puthusserypady S , Ali A . A 3D Learning Playground for Potential Attention Training in ADHD: A Brain Computer Interface Approach[C]// 37th Annual International Conference of the IEEE EMBS. IEEE, 2015.
更多阅读
脑机头条 第30期| 《Nature》最新研究:大脑中存在分布式强化学习机制
EMD算法原理与实现
EEGNet: 神经网络应用于脑电信号