人的一切认知活动都是由许多大脑区域组成的网络协同调节的。为了理解认知，我们需要同时识别大脑在空间和时间上的反应。来自德国柏林自由大学的学者提出一种技术，将fMRI记录的人类大脑的多元反应模式与基于表征相似性的M/EEG联系起来。这种非侵入性分析技术称为M/EEG-fMRI融合，作者讨论其优缺点并强调在认知神经领域广泛的适用性。本文发表在Neuron杂志。（可添加微信号siyingyxf或18983979082获取原文）我们毫不费力地进行着一系列的日常认知活动，听说读写甚至找手机，却很少去考虑其背后复杂的神经活动。每种认知活动都涉及特定时间动态的大脑网络。某些网络瞬间响应，某些网络动辄数十数百毫秒才能实现一些功能。因此，研究神经活动如何实现认知功能的关键是在空间和时间上同时以高分辨率记录神经活动。然而这对于认知神经科学来说是一个重大挑战，因为目前的非侵入式脑测量技术要么空间上表现出色，如fMRI，要么时间上表现出色，如M/EEG，却不能二者兼顾。单独采用一种技术无法结合空间与时间讨论认知过程的机制。结合两者的想法就应运而生了，学者们希望通过结合两者的测量数据，以克服二者的缺点并且结合二者的优点。接下来讨论的M/EEG-fMRI便是这样一种技术，作者认为，M/EEG-fMRI融合将有助于提炼当前成像方法发展的精华，并将人类大脑的研究推向新的高度。要解决M/EEG和fMRI在不同时间点获得的神经反应映射，一种思路是在fMRI的空间位置和M/EEG的时间点之间引入固定的实验约束。例如，研究人员在同步EEG-fMRI中使用了可变的试次来达到这一目的。M/EEG-fMRI与之不同的是它使用的是条件而非试次的变化来衡量不同模式下的脑活动，这就将原来不能同时进行的脑测量，如fMRI和脑磁，结合起来了。其次，它以多变量的方法将测量结果关联起来，而不是简单地关联单变量的均值。使用不同的观测方式汇集信号可以提供比单变量观测更加高的灵敏度。将M/EEG-fMRI融合看作表征相似性分析(epresentational similarity analysis，RSA)的一个特例。它的目的是通过将信号抽象到共同的类似空间以关联多个变量（如MEG的传感空间和fmri的体素模型空间）。（编者按：representational similarity analysis，RSA是一种计算技术，利用刺激的成对比较来揭示它们在高阶空间的表征。在神经影像学的背景下，质量-单变量分析和其他多变量分析可以提供关于信息表示的内容和位置的信息，但在处理信息表示方式的能力方面存在局限性。社会神经科学是一个特别受益于 RSA 技术的领域。）作者接下来通过一个视觉研究实验来一步一步地说明这个过程。首先,选定一个被认为可以反映认知过程的条件(这里指的是一组不同的物体)(图1C)。然后采集这些条件下的M/EEG和fMRI数据（图1D）。接着在不同的测量空间计算测量结果的相关性。这其中就有多种相关联的方法可以使用，而为了可解释性和实用性，一般会选用一些较为简单的相关。在各种情况下，结果值都存储在以行和列为索引的表征相异矩阵（ representational dissimilarity matrices，RDMs）中。RDM概括了哪些条件在fmri区域和EEG时间点的相似或不相似的模式，最重要的是，虽然RDM来自不同的源信号，但是有着相同的结构和维度。这是他们可以进行对比的基础。由此可以通过跨越fMRI和M/EE测量空间的RDM的相似性，可以做出假设，即在特定时间点特定的空间里，测量到了相同的神经信号（即两种信号同源）。综上所述，M/EEG和fMRI数据尽管信号源空间不同，但是可以在共同的表征结构基础上相互融合。
(A)任何认知功能都是由复杂的时空神经动力学支撑的。M/EEG和fMRI分别在时间和空间上很好地解析了这些动态，但不能解决大脑区域和时间点之间的多对多映射。(B)单试次 EEG fMRI。该技术将脑电图中的时间点与功能磁共振成像中的大脑区域连接起来，其约束条件是，当信号振幅反映相同的神经反应时，它们在不同测量值之间应保持一致。(C-E)视觉实验揭示了M/EEG/fMRI融合的机制。可将其理解为RSA的一种特殊应用。(F)最后，对M/EEG和fMRI RDMs进行相似性比较，确定M/EEG中的时间点与fMRI中的区域在表征相似性约束下的映射关系。下面，将详细介绍如何利用M/EEG-fMRI融合来揭示认知功能的时空动态。我们首先关注视觉处理。M/EEG-fMRI融合的第一个应用研究基于特定感兴趣区(ROI)探讨视觉加工过程中的时空融合。让被试观看一组92张日常图像，并同时用MEG和fMRI设备对他们的大脑进行记录。针对腹侧视觉通路，作者将脑磁图数据与来自早期视觉皮质(EVC)和颞叶下部(IT)的fMRI ROI数据融合，作为皮层视觉处理层的起点和终点。结果发现EVC的神经反应出现和达到高峰的时间要早于IT区(图2B)。这一结果与腹侧视神经通路是层次处理级联的观点一致，并证明了M/EEG-fMRI融合方法在空间和时间上评价人类大脑反应模式的适用性。一项独立研究使用了一组新的日常物体图像(图2C)，在腹侧通路中复现了最初的发现，并证明了背侧通路中的处理级联，为大脑顶叶皮层的反应提供了新的时间标记。之后一些研究也应用整合技术来研究物体以外的视觉加工。有研究通过面部感知的时空动力学，揭示了一个从EVC开始的层次处理过程，并逐渐进入专门处理人脸的皮层(即面部选择性区域枕面部区域[occipital face area OFA]和梭形面部区域[fusiform face area FFA])以及顶区。另一项研究将M/EEG-fMRI融合应用于场景知觉研究。作者向被试展示了不同布局和质地的场景图。该研究发现，在图像出现后的100毫秒内，一个已知对视觉场景的处理具有选择性的区域--枕部区域(occipital place area OPA)--参与了空间布局的处理。这提供了OPA参与空间布局快速编码的证据。
图2.基于ROI的视觉加工M/EEG-fMRI融合（A和C）被试观看92个无背景图像或者118张现实场景图片，并同时记录MEG和fMRI数据。（B和D）基于ROI的分析中，MEG传感器激活模式和fMRI BOLD激活模式之间的M / EEG fMRI融合显示，早期视觉皮层（EVC）的大脑反应早于腹侧（颞下位[ IT]皮层）和背侧（腹腔内沟0–2）。（E）时间泛化方法应用于(A)中记录刺激的脑磁图数据，揭示了一种快速变化的模式。（F和G）使用时间泛化方法和fMRI分析的M / EEG数据融合显示，持久性神经反应的不同方面分别与EVC和IT皮质有关。数据的融合并不是一个单一的算法公式，而一种汇聚多变量的分析框架思路，用这种思路可以更好地与其它多变量数据分析方法结合起来以更好地描述大脑加工过程，作者也在接下来的篇幅里讨论了运算这一思路的两个重要示例。第一个基本步骤是结合融合技术和时间泛化分析（time generalization analysis）来进行瞬时性或是持续性的动力学响应（时间维度）。时间泛化的想法是通过评估多变量M/EEG信号随时间的相似性来提供对神经动力学的更深层次的理解。如果表征随时间快速变化，则状态是瞬时性的；如果表征随时间保持不变或重复，则状态是持久的。时间泛化分析通常产生2个维度的矩阵，指示M/EEG中的多变量表示空间何时相似。对脑磁数据进行时间泛化分析发现，其表现出瞬时性和持久性共存的复杂模式。几个持久成分的存在立即提出了一个问题，那就是它们来自大脑的哪个部位。M/EEG-fMRI融合通过将这些持久表征定位于EVC和IT区域。这一结果提供了视觉过程中时空神经动力学的描述，从理论上区分了瞬时性和持续性大脑反应。第二个基本步骤则是使用searchlight法扩展到空间无偏分析（空间维度）。使用这种方法并不是局限于一组预定义的区域，而基于局部血氧水平激活模式将每个体素与M/EEG进行对应。具体来说，对于M/EEG的每个特定时间点，将产生一个空间无偏图，其中大脑中的fMRI激活模式在表征上与该时间点的脑电图数据相似。把所有时间点的图放在一起，就可以得到一个时间上的时频，展示神经反应如何在空间上变化。该方法能以更颗粒度的视角来观察神经元反应如何在人类大脑的感知过程中变化。图3 基于searchlight的视觉加工M/EEG-fMRI融合(A)采用searchlight方法进行M/EEG-fMRI融合。在多元激活区域对于每个时间点t计算MEG RDM，对于每个体素v计算fMRI RDM。比较MEG和fMRI的RDMs，显著结果呈现在3D图中。MEG和fMRI的RDMs进行比较，结果在体素v的位置标注。对于每个时间点，这将产生M/EEG和fMRI数据之间表征相似性的3D地图。(B)刺激出现后140ms基于searchlight法融合M/EEG-fMRI示例。(C)在一段时间内反复进行searchlight，生成一段时间内的大脑反应变化。(D)MEG/EEG与fMRI融合的对比。红色表示显著的融合结果。从上述视觉加工方面的实验可以看到M/EEG-FMRI融合具有相当的可行性，并且在未来非常具有潜力，为认知加工背后的时空加工提供了新的线索。
如果您对fMRI及脑电数据处理感兴趣，欢迎浏览思影科技课程及服务（可添加微信号siyingyxf或18983979082咨询）：
第四十一届磁共振脑影像基础班（重庆，5.9-14）
第十三届脑影像结构班（重庆，6.8-13)
第九届任务态数据处理班（北京，5.27-6.1）
第十五届脑影像机器学习班（南京，4.18-23）
第四十届磁共振脑影像基础班（南京，4.24-29）
第一届脑网络数据处理提高班（上海，5.22-26）
第十七届DTI数据处理班（上海，4.25-30）
第十八届DTI数据处理班（上海，7.2-7)
第十六届脑影像机器学习班（上海，7.23-28)
第三届DWI数据处理提高班（南京，5.17-22）
第八届小动物脑影像数据处理班（上海，5.6-11）
第四十二届磁共振脑影像基础班（上海，6.5-10）
脑电及红外：
第十五届脑电数据处理入门班（重庆，7.12-17)
第二十七届脑电数据处理中级班（南京，6.1-6.6)
第十二届近红外脑功能数据处理班（上海，6.15-20)
第九届脑电信号数据处理提高班（上海，7.8-13)
第三届脑电机器学习数据处理班（上海，6.25-30）
数据处理业务介绍：
思影科技近红外脑功能数据处理服务
尽管融合技术最早应用在知觉领域，目前却仅限于认知领域。作者在这里重点介绍了两项将M/EEG-FMRI融合应用于高级认知的研究。最早的一个关于高级加工的例子是关于任务情景的研究。任务和行为目标强烈影响我们感知世界的方式。研究发现任务在大脑的许多不同区域进行处理，并影响视觉处理。这就引出关于这些脑区的活动在时间上的先后表现。利用融合技术就可以探究这个问题。每个试次呈现两种刺激，一个是提示被试要执行某个任务（判断物体的生命力、大小、轮廓颜色或斜度），接下来是呈现一个物体（例如牛，花或者树），伴随着一个延迟响应的空屏。这对融合的基本原则提出了挑战；因为在这个实验范式中的任务和对象的认知加工的是并发的，而前面提到的整合基本公式并没有区分加工的不同方面。解决方案是使用了共性分析（commonality analysis，也叫方差划分）。在模型RDMS中，他们制定了任务和对象类别的影响，然后分别确定了两个模型RDMS中的每一个在脑磁图和功能磁共振之间承担的方差比例。结果显示，整个大脑皮层与任务相关的信号平行上升，从早期加工到高级视觉区域，再到额叶皮质，任务对客体表征的优势逐渐增强。这种细致的时空描述在多个方面都有理论上的影响。它证明了任务信息在任务加工过程中在各个脑区间进行了快速的交流。此外，它与视觉皮层在视觉处理中起被动作用的观点背道而驰，在视觉加工中，任务可延展性的额叶皮质从视觉处理中读出信息。相反，研究表明，一项任务会使枕叶皮质的视觉加工产生偏向，并且沿着视觉加工层次结构的强度不断增加。共性分析是一种比较简洁地联合EEG和FMRI的分析方式，与之类似的还有联合推理（conjunction inference）方法。与计算协同方差的思路不同，这种思路更像逻辑'and’的操作，也就是说，只计算与特定内容的处理相关的位置和时间点，这些位置和时间点也与内容的模型RDM显著相关。
(B) M/EEG-fMRI融合的内容特异性。除了基于特定区域的fMRI BOLD激活和基于时间解析的MEG数据，也创建RDM模型以捕捉数据的不同方面，如任务或对象。例如，在任务模型RDM条件组合中属于同一任务的值为0(表征相似蓝色表示)或者1 (表征不相似黄色表示)。然后将这三种类型的RDMs结合起来，用共性分析来揭示与每个模型唯一相关的数据方面。(C - F)内容特异性融合的结果显示，(C) EVC、(D)外侧枕叶皮层、(E)后梭状沟和(F)外侧前额叶皮层的目标刺激周期为2.0-3.5 s，任务相关信号在整个皮层平行上升，随着任务的推进控制越来越强。灰色阴影区域表示M/EEG-fMRI融合可以解释的总方差。曲线上的红色和蓝色线表示显著的效果。第二个例子是研究与注意加工相关的时空神经动力学。现有大量研究已经确定了构成注意力不同组成部分的大脑网络，并描述了注意力被处理的时间动态。然而空间局部化网络和复杂时间动力学的关系还不明确。为此，Salmel学者使用融合技术研究了大脑区域和注意加工阶段之间的多对多映射。在实验中，在有或没有干扰的情况下，分别或同时执行视觉和听觉任务(方位或音调-辨别)中同时采集脑电与核磁数据。首先，作者融合了EEG和FMRI数据，揭示了一个从感觉到顶叶区域再到额叶区域的加工级联（图5A）。第二步，作者将M/EEG-fMRI分析更上一层楼，将其结果作为进一步分析的起点。在进行了基于大脑皮层的M/EEG-fMRI融合(图5B)之后，他们比较了特定于大脑皮层的M/EEG-fMRI时间源的相似性（图5C）。通过观察特定的EEG-fMRI时间进程之间的相似关系(图5D)，找出8个用于判别分析的团块（cluster）。四个判别函数解释了95%置信区间的方差。它们的系数在图5E中绘制，在图5E中绘制，在图5F中绘制，在空间上绘制。这些功能揭示了网络中时空动态的大规模模式，作者将其解释为注意力的四个不同时空成分。这些结果为研究注意加工的大尺度时空动力学提供了新的视角，并为建立人脑注意加工的定量时空模型奠定了基础。
(A) M/EEG-fMRI融合研究不同注意状态下感觉加工时空动态的结果。(B)基于脑图谱，定义M/EEG fMRI时间进程。(C)比较时间进程相似性，并存储在时间进程相似性RDM中。(D)目测发现，时间进程相似性RDM的相似性关系存在几个团块。对聚类数据进行(E和F)判别分析，将四个判别函数的系数绘制在(E)时间和(F)之间。这揭示了更大范围的跨越时空的大脑反应网络：感觉加工(功能1)，自上而下引导的注意力控制(功能2)，大脑状态转换(功能3)和反应控制(功能4)。以上研究举例说明了M/EEG-fMRI可以用来研究复杂的认知现象，如任务加工和注意控制。他们进一步展示了如何通过将M/EEG-fMRI融合的内容具体化或将其结果作为进一步分析的主题，从方法论上扩展M/EEG-fMRI融合以获得更深层次的理论见解。如上所述，作为一个通用并具有充分扩展力的分析框架，整合技术在未来的认知能力的研究中具有非常巨大的潜力。作者在此基础上提出了三个未来的应用方向：首先，融合技术可以立即用于目前使用M/EEG和fMRI的任何研究领域。因此，从理解基本的感觉编码，如触摸或声音，到复杂的认知过程(例如，工作记忆、语言)，以及研究神经动力学在临床环境(例如，中风或精神疾病)或发育过程中如何变化(例如，通过纵向或年龄比较研究)。作者详细举了三个例子说明这点：首先，M/EEG-fMRI有助于更好地理解认知功能中的信息交换是如何协调的，认知功能有几个阶段映射到潜在的不同大脑区域，如工作记忆中的编码、维护和检索。另一个例子是对运动系统的研究，特别是对导致运动的神经活动的研究。为此，M/EEG融合不会在时间上向前进行，例如，在刺激呈现之后，而是在时间上向后进行，锁定在运动开始时。一个令人兴奋的前景是，如果将时间锁定到刺激开始的M/EEG-fMRI结果和时间锁定到反应的结果结合起来，那么这就揭示了刺激呈现和行为反应之间的整个神经加工过程。最后，M/EEG-fMRI融合可以用于临床神经科学，以确定大脑损伤或精神疾病如何影响信息流，揭示时空功能生物标记物，以帮助诊断疾病或精确定位损伤，作为治疗干预的先兆。第二，M/EEG-fMRI融合可以与其他已经在M/EEG和fMRI研究中单独应用的技术相结合。这包括侵入性和非侵入性的脑刺激、眼球运动和生理测量的评估。例如，可以根据刺激对时空网络动力学的影响来评估刺激(如经颅磁刺激)对特定大脑区域的影响(图6B)。这可能有助于建立时空识别的神经反应和认知功能之间的因果关系。第三，M/EEG-MRI融合可以立即受益于相关技术的创新，为解决大脑反应提供新的解决方案。例如，让我们考虑将信息流分解为两个基本流(前馈和反馈 feedforward and feedback)所面临的挑战。这对目前的人类神经成像来说是一个具有挑战性的问题，因为输入和输出信号会出现重叠。因此，目前M/EEG-fMRI融合在这个问题上的应用使用了经过验证的实验干预，例如掩蔽，以将前馈与反馈信息流分离。另一种新出现的可能性是利用方法创新(图6C)。空间上，ultra high field MRI可以分辨不同皮层深度的信号。前馈通路和反馈通路将不同深度的皮层定为靶点，因此，区分层的特定活动可能有助于分离前馈和反馈相关的信号。在时间上，前馈和反馈信息流与不同的频率相关，低频与反馈的相关性更强，高频与前馈活动的相关性更强。因此，通过融合特定层级的功能磁共振成像和频率分辨的M/EEG数据，有可能在空间和时间上同时直接跟踪反馈和前馈信息流。这一想法也得到了以前的研究的支持，这些研究对时间-频率分辨的数据使用了多元方法，揭示了M/EEG-fMRI融合所需的那种粒度信息，以及在标准分辨率下将时间-频率分辨的脑磁图与fMRI融合。
图6 M/EEG-fMRI融合的前景
(A) M/EEG-fMRI融合可以应用于任何M/EEG和fMRI已经分离应用的领域。
(B) M/EEG-fMRI融合可与脑刺激相结合，揭示其作用，建立神经反应与行为之间的因果关系。
(C)通过fMRI融合，进行M/EEG和fMRI研究的创新，揭示神经加工的新方面。例如，前馈和反馈信息通路在不同的皮层和不同的频段与神经反应相关联。因此，将不同频段分辨率的M/EEG数据与不同皮层深度的fMRI数据融合，可以揭示大脑的前馈和反馈信息通路。
虽然融合技术有各种好处，但是实施起来却也有诸多限制，作者在接下来的篇幅里面列出来几个重要的限制：首先，M/EEG-fMRI融合的一个基本限制是它只能揭示两种成像方式都敏感的神经活动。因此，单独检查M/EEG或fMRI信号在时间和空间域上可能比M/EEG和fMRI结合融合时显示更多的信号。此外，与单独考虑每种技术的结果相比，M/EEG-fMRI融合需要更强的信噪比才能产生显著结果，因为它增加了结合两个噪声测量和噪声的分析步骤。对于M/EEG-fMRI融合的阳性结果，M/EEG和fMRI的表征结构必须相似；与单独考虑这两种技术相比，这为相信融合结果反映神经活动提供了更强的基础。因此，尽管不能完全排除其他解释，M/EEG-fMRI融合结果为神经活动的理论推断提供了良好的基础。第二个普遍的限制是M/EEG-fMRI融合方法的能力取决于条件的丰富性。当只有几个条件可以定义时，M/EEG和fMRI数据之间的表征相似性的约束就会很低，因此在时空域之间建立的联系就会变得薄弱。相反，当使用许多实验条件，以足够多样化的方式捕捉特定认知功能背后的神经过程时，这种联系就会很强。然而，条件的确切数量并不容易确定，因为它们与多种因素相互作用，包括要解决的实际时空动力学、信噪比以及确切的理论问题。第三个基本限制是结果可能是模棱两可的；如果两个脑区表征相似，但在不同的时间点激活，那么我们就不能给每个脑区赋予独特的表征动力学。然而，这种情况不太可能发生，因为在大脑区域之间传输的信息是以复杂和非线性的方式转换的，实际上也改变了表征形式。目前实现的M/EEG-fMRI融合的一个特殊限制是，它只考虑基于M/EEG的定时信息和仅基于fMRI的空间信息。这是出于这样一种想法，即只将每种技术擅长的各个方面结合起来。然而，对于许多实验设置来说，这可能不是最佳的程序。考虑fMRI的时间信息可能是有益的，当使用比平时更快的获取时，当所讨论的认知过程的动态足够慢，可以用秒的采样率有意义地捕获时，或者当实验干预可以很快激活认知活动时，可能是有益的。然后，特定位置的fMRI数据将与该位置的脑磁图测量的活动相关。例如，当两个区域具有相似的表征形式时，通过基于MEG数据中的空间信息向每个区域分配唯一的MEG信号，这对于缓解MEG/fMRI融合中的模糊性可能是有用的。M/EEG-fMRI融合的实际使用的一个限制是，融合的数据来自单独的记录，而不是同时记录。虽然这对于脑磁图和功能磁共振成像的结合来说是不可避免的，但没有什么可以阻止同时记录脑电图和功能磁共振成像数据以进行融合。EEG-fmri融合在同时记录还是分开记录的数据下效果更好还是一个有待研究的问题，这也可能取决于实验者对每种方法各自优缺点的重视程度。分开记录的一个观点是，可以根据技术的具体情况来优化实验设计；例如，不受响应延迟的限制，实验试验可以在EEG记录期间间隔得更紧密，提高EEG数据的信噪比，从而有助于融合。此外，单独的记录更容易完成，因为组合fMRI和EEG需要专门的设置和设备，在测量之间产生可能影响数据质量的交互，并且需要额外的预处理步骤。然而，同时录制也有独特的好处。数据是在完全相同的条件下获得的(例如，参与者完全相同的感觉刺激和相同的心理和生理状态)。相反，单独获取的数据随后会发生变化(例如，不完全匹配的刺激条件、不同的身体姿势或不同的暴露在相同实验条件下)。因此，与单独的记录相比，同时记录减少了不必要的变异性，因此可能有利于融合。
