SCIENCE ROBOTICS：与机器人的相互注视会影响人类的神经活动，延迟决策过程 / 开普饭

在大多数日常生活中，大脑不仅需要做决定，还需要预期和预测他人的行为。在这种情况下，注视（gaze）可以提供关于他人意图、目标和即将做出的决定的高度信息。在这里，我们研究了一个类人机器人的注视(与人相互注视或转移到别的地方不注视)是否会影响人们在社会决策环境中的策略推理方式。具体来说，参与者与机器人iCub进行策略游戏，同时我们通过脑电图(EEG)测量他们的行为和神经活动。相对于转移目光，当iCub在人类做出决定之前与人类相互注视时，参与者的反应较慢。在漂移扩散模型中，这与更高的决策阈值有关，并伴随着更同步的脑电图α活动。此外，我们发现参与者对机器人在两种情况下的行为进行了推理。然而，那些主要经历转移目光的人更有可能采用自我导向型策略，他们的神经活动对结果表现出更高的敏感性。总之，这些发现表明，机器人的注视对人类来说是一种强烈的社会信号，调节反应时间、决策阈值、神经同步，以及选择策略和对结果的敏感性。从机器人技术到临床应用，这对所有涉及人机交互的情况都有很强的影响。本文发表在SCIENCE ROBOTICS杂志。(可添加微信号siyingyxf或18983979082获取原文及补充材料，另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布)。

温故而知新，建议结合以下相关文章解读阅读（直接点击，即可浏览）：

SCIENCE ROBOTICS：脑电静息态活动模式可以预测对机器人态度的偏见

引言

许多人类决策都是在社会环境中做出的，这通常需要评估他人的意图。为了推断他人的心理状态并预测他们的行为，人类很大程度上依赖于非语言线索。特别是，眼神交流(注视)是人际交往中传达状态、目标、意图、交流意愿等信息的强有力的交流信号。相互注视已经进行了广泛的研究，表明它会影响唤醒水平和认知过程，如记忆、注意力和运动动作。众所周知，眼神交流会调节同时发生的认知过程和紧接着之后发生的认知过程。它对复杂社会决策背景下的行为和神经反应的影响，很少在人-人或人-机器人交互领域的研究中被提及。

行为经济学和神经经济学研究使用适应于博弈论的任务来研究复杂的社会动力学。战略游戏，如小鸡游戏，是专门设计来解决冲突情况下的社会决策，可能涉及协调、互惠、冒险、竞争、利他主义和其他机制。最近，各种各样的研究将策略游戏与神经成像技术相结合，以寻求更好地理解在社会决策中发挥作用的神经机制。例如，“小鸡”游戏以前曾被用来调查个人特质或熟人对参与者行为和神经活动的影响。然而，这些研究通常是在实验室中的屏幕上，缺乏实时交互的生态效度。在这方面，机器人提供了对受控的（但自然的、具身的）交互强大的解决方案。之前在人机交互方面的工作也提出了基于策略博弈的实验，比较不同类型的机器人策略、报酬激励等。其中一些研究还使用功能性磁共振成像(fMRI)记录参与者在玩游戏时的大脑活动，有时是在与扫描仪外的不同机器人互动后。然而，机器人注视和交流行为在游戏中与现实存在的实体机器人实时互动的影响仍未被探索。

此前的人机交互研究表明，与人类的注视相似，机器人的注视也可以作为一种社会信号，调节交互。例如，眼神交流可以改善机器人的评价和互动等。此外，根据不同的参数，它可以影响人机交互的质量。此外，已经证明，为机器人增加联合注意能力可以促进参与者在人-机器人任务中的表现。上述研究大多采用主观报告或关注于互动的感知质量。尽管主观报告提供了有价值的见解，但明确的测量并不总是针对发生在实时交互中的特定认知机制，这些机制往往是隐性的、超越有意识的觉知。最近，使用客观测量方法的研究表明，与iCub类人机器人的目光接触引发了更高程度的注意力投入(即，在目光接触条件下，对机器人的面部的注视时间更长)。此外，启动或暴露在与人形机器人的眼神接触中会调节人类的大脑振动活动，且这种调节发生在与人类眼神接触的相同的频率范围内(即α频率范围)。

在这里，我们提出了一项研究，在交流行为(本案例中的注视)的影响下的人类决策情况，这种交流行为通过类人-机器人在互动设置中来进行，并使用行为和神经科学技术来测量。更准确地说，我们通过脑电图(EEG)测量相互注视与转移注视对参与者行为和神经活动的影响，他们玩的是战略游戏“小鸡”，即两个模拟汽车的驾驶员相向而行，结果取决于玩家是让步还是继续前进。在研究人类互动的文献基础上，我们假设相对于转移注视，相互注视需要更多的认知过程。这种效果可能与较高程度的心理化(通过注视来预测iCub的行动)或抑制无关的显著信号(独立于iCub的注视做出决定)有关。因此，我们预期这将反映在行为测量(较长的反应时间)，脑电图信号(α同步)，以及选择序列和策略上。

人类-机器小鸡游戏的执行

参与者坐在iCub机器人前面，游戏被显示在他们和机器人之间的桌子上水平放置的屏幕上(图1A)。实验采用了小鸡游戏。在每一轮(以后的试验)开始时，屏幕的两边分别显示两辆汽车的图像，每个玩家一辆。汽车开始向对方移动，在到达中心时停了下来。然后，屏幕变黑，并显示注视点1秒。在注视点消失后，屏幕保持黑色5秒，双方玩家必须选择他们的移动是直走还是偏离。关键的是，在这段时间里，参与者被要求看着机器人，机器人要么直接看着参与者(以下简称“相互注视”)，要么看向一边(以下简称“转移注视”，见图1 b)，以避免眼神接触。由于这些原因，我们选择转移注视作为相互注视的比较。两名玩家都有一个遮挡来挡着他们的反应按钮，从而阻止对手预测他们的选择。在试次结束时，汽车再次出现在屏幕上，并显示玩家选择的动作。可能的结果是：

(i)都是直行和相撞，导致双方最大的损失;

(ii)两者都偏离，获得最高的联合收益;

(iii)只有一条直行，获得最高的个体收益。在当前试次中获得(或失去)的点数显示在屏幕的每个玩家的一边(收益矩阵见图1A)。

图1人-机器人小鸡游戏。

(A)实验原理图、试次结构和收益矩阵。参与者面对iCub机器人坐着，游戏会在他们中间的屏幕上显示出来。参与者们玩了一个改编自Chicken的游戏，在这个游戏中，我们在决策阶段(标记为注视和按键，2到7秒)操纵机器人的注视。在观看了iCub之后，参与者必须决定是走直路还是拐弯。试次的结果和每个参与者的收益是由两个参与者的选择的组合决定的。

(B)在整个试次过程中，除了决策阶段，iCub都看着屏幕(中性注视)。在决策步骤中，iCub与参与者建立或避免眼神接触(分别是相互注视或转移注视)。

在试次的剩余时间里，除了操控机器人的注视(相互或转移的注视)的决策阶段，机器人一直盯着屏幕，在该视觉区域内进行周期性的随机扫视。在这个实验中，参与者完成了分成5个block的250个试次。

参与者被告知，不管机器人的得分如何，他们的目标是最大化自己的总分。这是为了降低“直行”策略的吸引力，因为尽管它能够确保玩家获得比对手更高的分数，但这种策略也会因为多次相撞而导致非常低的负分数。此外，iCub以80%的概率遵循win-stay-lose-shift策略(赢留输转移，WSLS)，这意味着如果它在之前的试次中导致了积极的结果，它最有可能重复一个动作(例如，停留)，否则做另一个动作(例如，转移)。因此，机器人的选择顺序具有一定的结构(WSLS)，参与者可以在不太明显的情况下捕获它。总之，在实验过程中，我们为参与者提供了对机器人行为进行推理的激励和机会。

2材料和方法

被试

主要实验招募了43名参与者；3例被排除在外，原因是大量试次缺失、过多的脑电伪影或脑电记录过程中的技术问题。总的来说，分析了40人(平均年龄24.5 ± 4.5，23名女性，5个左撇子)，18个参与者参与了第一次预备实验，8个参与者参与了第二次预备实验。这些参与者没有参与主要实验，这意味着每个参与者只参加了一个实验。在实验结束时，参与者被告知了研究的目的。

刺激和设置

任务

实验是在一个隔音的房间里进行的。参与者在桌子的相对两边，面对iCub机器人坐着，距离为130厘米。iCub是一个人形机器人。在我们的实验中，iCub安装在一个支撑框架上，这样它的眼睛距离地面124厘米，估计与参与者的眼睛对齐。一个24英寸的液晶显示屏(LCD)水平放置在桌子上，这样两个玩家(参与者+ iCub)都可以看到正在显示的刺激。刺激由一系列动画组成，描述在经过调整的小鸡游戏中发生的事件。在选手们决定下一步的动作之前，我们对iCub的目光进行了控制，使其与选手进行眼神交流(相互注视)或注视桌子的右边或左边避免眼神交流(转移注视)。在相互注视和转移注视条件下选择目标注视点，以保证关节轨迹和机器人整体运动的可以比较。接下来，机器人注视着屏幕(中性注视)，注视同一视野内随机产生的不同注视点。

EEG设备

德国产BP 64导电极，在线参考为FCz，并离线重新参考为全脑平均。在整个实验过程中，电极阻抗保持在10千欧以下。

程序

准备好之后参与者开始一个练习阶段，以确保他们正确地执行任务。主实验持续了大约55分钟。参与者完成了分成5个block的250个试次。在第一个、第二个和第四个block后，休息持续了90秒，而参与者可以在第三个block后休息更长的时间，并决定什么时候继续实验。这个实验包括两个被试间的条件：70%相互注视(20名参与者)或70%转移注视(20名参与者)。例如，70%相互注视条件下的参与者在70%的试次中经历了相互注视，而在剩下的30%的试次中则经历了转移注视。试次的顺序是伪随机的，70% 转移注视条件下的参与者经历了完全相反的顺序。在每个条件下，两组的转移视线方向(向左或向右)是平衡的。即，参与者被分配到以下四个子组：70%相互注视，目光转向右边，70%相互注视，目光转向左边，70%转移注视，目光转向右边，70%转移注视，目光转向左边。

在主实验前，我们分别收集了闭眼和睁眼的静息态脑电数据。在所有实验结束后，还要求参与者回答两份问卷，一份是自我和机器人策略相关的定制问卷，另一份是竞争力指数问卷。实验后的非正式讨论证实，所有参与者都注意到了注视。静息态数据和问卷的目的是针对可能存在的个体差异，这超出了本文的范围。因此，这里不报告这些数据。

漂移扩散模型

漂移扩散模型描述了两种强制选择任务中的试次间决策过程，即随着时间的推移，证据的相对积累。主要参数包括漂移率v(证据积累率)、决策边界a(做出决策所需达到的阈值)和非决策时间t(例如，用于刺激编码或运动执行的时间)。为了使模型符合我们的数据，我们使用了贝叶斯参数估计。

价值取向的决策模型

这一系列的计算模型旨在描述决策基础上的跨试次学习过程。在这个框架中，选择是基于可用的选项值做出的，这些选项值会一次又一次地更新。在这里，我们使用这种类型的模型来研究参与者在游戏过程中所依赖的机制，特别是参与者对机器人动作推理的程度。为此，我们重新适用了之前文献中的三个计算模型。模型1是一种强化学习，即选择最近的奖励行动，不涉及对对手的推理。模型2根据最近选择的选项估计对手行动的概率，然后将估计的概率与收益矩阵的预期结果相结合，构造对手的行动值。模型3通过整合对手最近的选择对对手决策的影响，增加了对对手的推理水平。我们通过最大化对数似然来优化模型超参数，以拟合每个参与者的选择序列。

EEG分析

采用matlab2018b，eeglab，fieldtrip工具包。数据被降采样到250 Hz，同时使用带通滤波器(0.5 - 100 Hz)和陷波滤波器(50 Hz)。采用全脑平均参考。由于电极存在大量噪声(>10)，来自一名参与者(70%转移注视组)的数据仅被排除在脑电分析之外，脑电分析的人数N = 39。

计算了决策期间振荡功率变化的时频表征(TFRs)，包括刺激前的注视点“+”时期和注视和反应期。然后，在上述期间，对每个条件(相互注视和转移注视)的TFRs进行分离，并在各试次中取平均值。随后，统计分析了相互注视/转移注视的建立时间与被试平均反应时间之间的兴趣期。将数据平均，计算θ(4-7Hz)和α(8-12Hz)频段内的功率。在每个频率范围内，跨条件的时空数据通过执行非参数的基于团块的置换检验分析(使用基于配对t检验的蒙特卡罗方法)进行比较。

结果

在人机小鸡游戏中的表现

模拟了最优(预测对手)和最危险(总是直行)策略，分别为良好和糟糕的性能提供参考点。参与者的得分明显高于我们模拟风险总是直行策略时获得的平均得分(图2A)。事实上，45%的参与者获得了积极的总分，55%的参与者获得了高于iCub的分数。然而，总得分在不同的条件下没有差异(图2A)。此外，总得分远低于模拟最优策略所获得的平均得分，最优策略包括假设对手使用WSLS(赢留输转移)策略选择最佳行动(图2A)。一份定制的事后调查问卷显示，25%的参与者认为iCub有一个策略，只有12.5%的人确定了实际的WSLS策略。这些结果与我们在实验前进行的初步研究结果是一致的。

相互注视增加了反应时间和决定阈值

注视条件和组间因素的方差分析发现，在选择动作的频率上，没有显著的主效应和交互效应（图2B）。这意味着机器人的注视不会影响参与者随后的选择，也不会影响两种注视类型的整体程度。但是，同样的分析表明，iCub的注视对参与者的平均反应时间有显著的主效应，且与组别无关。更具体地说，参与者在转移目光后的反应比相互注视后更快（图2C）。因此，在这项任务中，相互注视都比转移的注视引起更长的反应时间。

与我们的假设相一致的是，相互注视后被试的延迟反应可能表明相互注视需要更高的认知努力，例如，通过引发更多关于iCub的选择的推理，或更高程度的抑制(可能分散注意力的)与任务无关的注视刺激。为了进一步验证这一假设，我们利用漂移扩散模型分析了参与者的选择。这种广泛使用的计算模型假设，随着时间的推移，决策产生于相对的证据积累，从而有利于两种选择中的一种(见图2D)。主要参数包括：漂移率v(证据积累率)、决策边界a(做出决策所需达到的阈值)和非决策时间t(用于刺激编码和运动执行)。通过拟合备选选择率和反应时间分布，我们试图推断解释相互注视后延迟反应的潜在心理过程。具体来说，一个更长的、更努力的推理过程预示着对决策阈值的影响。使用分层贝叶斯参数估计，我们比较了不同模型的适应度，假设机器人的注视对漂移率、非决策时间或决策边界都有影响。基于偏差信息准则(DIC)和贝叶斯预测信息准则(BPIC)，我们发现两个最优拟合模型是假设非决策时间或决策阈值受到影响的模型：在主实验中，非决策时间的差异稍微更好地解释了数据(图2D)，而在初步研究中，决策阈值的差异更好地解释了数据。因此，我们还测试了一个将响应延迟归为非决策时间和决策阈值的模型。在这两个数据集中，该模型比其他模型更好地拟合数据。在主实验中，相互注视后的决策阈值a和非决策时间t均显著高于转移注视，且前者的效应值更大(图2E)。这些结果表明，注视对反应时间的影响主要受决策阈值的影响。这表明，在相互注视的情况下，决策过程更长，更费力，可能是因为试图解释机器人的意图的心理过程或抑制机制，以独立于iCub的注视做出决定。

图2 参与者的表现和响应时间。

(A) 参与者的总分在不同条件下没有差异。本文提供了两种极端策略模拟的平均性能以供比较(见正文)。

(B) 没有发现条件或注视类型对直接选择比例的主要影响或交互作用。

(D) 漂移扩散模型将决策描述为一个嘈杂的漂移过程，其中当相应的边界被越过时选择了一个行动。假设机器人的注视对模型参数有1、2或没有影响，我们对5个变量进行了测试。通过贝叶斯参数估计，发现最佳拟合模型是将响应时间的差异归因于非决策时间t和决策阈值a的影响。

DIC，偏差信息准则；BPIC，贝叶斯预测信息准则。值越低越好。

(E) 对a和t参数均有显著影响的最佳拟合模型的效应分布的后验密度。HDI，最高密度区间。误差条代表95%的置信区间。

在相互注视时α节律更加同步

决策阶段的行为分析表明，iCub的注视对被试的反应时间有明显的影响。我们研究了这种效应是否也会转化为不同的神经反应。例如，时间-频率分析可以揭示人类大脑中与不同的神经过程相关的显著节律的不同时间的振荡活动。因此，我们分析了参与者在完成机器人注视运动(眼睛和脖子)到平均反应时间之间的大脑活动。我们关注的是θ和α波段，它们被证明是由决策、注意力和眼神接触所调节的。

我们在θ频率范围内没有观察到任何显著的差异。然而，我们发现在顶叶区域，在相对于机器人头部向注视方向移动的0.31 - 0.95秒的时间窗口内，参与者在相互注视时的反应比转移注视时的反应具有更高的α同步（图3）。为了定位特定的电极，我们进一步平均整个时间段内的数据，并使用上述相同的分析对不同条件下的空间数据进行比较。结果显示，顶叶由6个电极组成：Pz、P3、P1、PO3、POz和P2。转移注视时的α值比相互注视时的α值低。α能量的增加与抑制注意力功能相关的大脑过程有关，即抑制与干扰物或无关信息相关的皮层活动。相互注视中更高的α同步可能表明，当机器人专注于与任务相关的信息时，更需要抑制与注视相关的分心。相对于转移的试次，这导致相互注视试次的反应时间更长。

图3 在决策期间注视类型之间的头皮地形。

考虑到来自两组参与者的数据，地形图显示了注视条件(转移注视减去相互注视)之间引发的α振荡(8-12Hz)差异t值图。具有统计学意义的电极用“x”叉标记。通过非参数检验发现了条件之间的差异。这些地形在t = 0.31 s到t = 0.95 s的时间范围内被描绘。

如果您对脑电，眼动，近红外等数据处理感兴趣，可点击以下链接了解（可添加微信号siyingyxf或18983979082咨询，另思影提供免费文献下载服务，如需要也可添加此微信号入群)：

南京：

第十八届脑电数据处理入门班（9.23-28）

上海：

第十五届近红外脑功能数据处理班（上海，9.13-18)

第三十二届脑电中级班（上海，10.20-25）

第一届脑电机器学习班（B版本，上海，10.27-11.1）

第十一届眼动数据处理班（上海，11.9-14)

北京：

第十九届脑电入门班（北京，10.10-15)

第十届脑电信号提高班（北京，10.16-21）

第十六届近红外脑功能数据处理班（北京，10.28-11.2）

第三十三届脑电中级班（北京，11.3-8）

第四届脑电机器学习班（A版本，北京，11.17-22）

重庆：

第二十届脑电入门班（重庆，11.8-13)

数据处理业务介绍：

思影科技EEG/ERP数据处理业务

思影科技脑电机器学习数据处理业务

思影科技近红外脑功能数据处理服务

思影数据处理服务六：脑磁图（MEG）数据处理

思影科技眼动数据处理服务

招聘及产品：

招聘：脑影像数据处理工程师（上海，北京）

BIOSEMI脑电系统介绍

目镜式功能磁共振刺激系统介绍

在游戏中对机器人的动作进行推理

为了评估参与者在游戏过程中对机器人的选择推理了多少，我们模拟了三个计算模型。这些模型做出基于价值的决策，并计算不同类型的预测误差，以随时间更新选择值(图4A)。第一个模型是经典的强化学习模型，在这个模型中，在最近的过去获得最多奖励的行为更有可能被重复。第二个模型试图预测对手的决定，根据他们最近的选择历史，估计他们选择行动的概率。然后，该模型根据收益矩阵选择收益最大化(或损失最小化)的行动。第三个模型建立在第二个模型的基础上，通过假设另一方也在跟踪玩家的选择概率，将玩家自己最近的选择对对手决策的影响纳入其中。因此，这些模型描述了对他人的三个层次的推理(即心智化)。第一个模型仅仅从最近的奖励中得出决策(第0级)，第二个模型基于最近的历史预测对手的选择(第1级)，第三个模型也假设了对方的策略(第2级)。

在优化后，我们发现，心智化程度最高的模型总体上最能再现参与者的选择序列（图4B）。通过复制之前在人类策略游戏中的发现，我们证明了参与者对iCub的行为的推理方式类似于涉及人类对手的设置。然而，检验每个参与者的最佳拟合模型显示，我们的实验条件之间的差异很小。换句话说，70%的相互注视或转移注视的参与者被模型以相似的比例拟合(图4C)。此外，我们检查了每个参与者的最佳拟合模型正确预测的选择百分比。结果显示，在每个条件下，注视类型的影响不显著（图4D）。总的来说，虽然这些计算模型表明参与者在游戏中对机器人的行为进行推理，但这些计算模型无法捕捉到细微的差异，从而进一步解释相互注视对参与者行为的影响。

暴露转移注视条件下越多，会有更多的自我导向的策略模式

为了进一步研究iCub注视对参与者决策的影响，我们分析了参与者在选择序列中三种策略行为模式的出现频率，这可以表征参与者在决策中吸收对手信息的程度。第一种模式是WSLS，这是一种典型的决策策略。它包括如果它导致了积极的结果就重复先前的行动，否则就放弃它。这种策略是自我导向的，因为它只需要关于玩家自己的行动和结果历史的信息，甚至可以用于个人决策环境中。值得一提的是，这是iCub在80%的试次中采取的策略。

我们研究的第二个模式是博弈论中的一个经典策略，称为一报还一报(T4T)。这是为了重现对手的选择。这一策略在战略游戏中非常有效，因为它可以阻止对手的攻击，并鼓励他们通过有利于双方利益的行动进行合作。此外，我们还添加了另一种标记为stay-shift-imitation (SS-Imit)的模式。在这种策略中，玩家复制对手的行为，重复最后一次尝试的选择或改变。与前一种策略不同，后一种策略以他人为导向，因为它们处理关于对手的行动历史和结果的信息。

我们分析了参与者一次又一次的选择序列，寻找这些策略行为模式的出现。结果表明，70%转移注视条件下的WSLS(赢留输转移)模式出现频率高于70%互相注视条件下的WSLS模式（图5）。换句话说，在较高的相互注视下，自我定向模式的出现率显著降低。考虑到一项初步研究的数据，我们发现，当参与者同样暴露于两种类型的注视时，WSLS的发生率与70%相互注视的情况相似，也与70%转移注视的情况形成了显著对比。但T4T与SS-Imit的条件差异不显著（图5）。此外，我们计算了策略模式序列的平均长度，以测试它们在几个试次中的重复性。在WSLS模式中，我们再次发现70%相互注视和70%转移注视条件之间的差异(图5B)，后一种情况下序列较长。其他模式的平均序列长度在不同条件下差异不显著(图5 b)。综上所述，本分析表明，相对于主要或同等程度地接触相互注视的人而言，主要接触转移注视的人采用自我导向策略的可能性更高。

图4 参与者对iCub行动推理程度的计算模型。

(A)模型示意图。强化学习模型(RL)基于最近选择的行动及其结果进行决策。虚拟游戏模型(Fic)基于游戏的收益矩阵和对对手行动的预测做出决定。影响模型(Inf)也是如此，但它假设对手也会预测玩家的选择，并将自己的行动影响融入到对对手决策的预测中。

(B)拟合参与者选择的影响模型的总体对数似然率显著大于其他两个模型，这表明在游戏中参与者关于iCub的推理水平很高。

(C)单独考虑每个参与者的最佳拟合模型并没有揭示更多地暴露于一种注视与另一种注视之间的强烈差异。

(D)在相互注视或转移注视后，模型预测的每一试次选择的百分比是相似的。误差条代表95%的置信区间。

图5 参与者选择序列中的自我导向和他人导向策略行为模式。

(A)一种自我导向(WSLS)和两种其他导向(T4T和SS-Imit)模式的发生率(详细描述见正文)。自我导向的WSLS在相互注视的参与者中明显减少。T4T和SS-Imit无显著差异。

(B) 70%转移条件下WSLS模式序列的平均长度显著增加。T4T和SS-Imit无显著差异。误差条代表95%的置信区间。

注视调节行为监测的脑电图标记：探索性分析

由于参与者表现出不同的策略模式，取决于相互或转移的注视暴露程度，而且分析的策略与加工结果和表现是相关的，因此我们推断他们会以不同的方式加工他们的结果。在神经水平上，表现和结果监测通常反映在脑电图信号的事件相关电位(ERPs)中，如反馈相关负性(feedback-related negative, FRN)、错误相关负性(error-related negative, ERN)、奖赏正波(Reward positive, RewP)和FRN前的正向成分P2。因此，我们在参与者获得有关试次结果的信息期间，即，从黑屏偏移(行动决定发生后汽车开始移动的时刻)到分数出现后(动画开始后0 - 2000毫秒;见图1)。然而，由于我们的任务是一个动态游戏，有关绩效的信息只能逐渐获得，因此观察到的ERP可能无法映射到文献中报道的经典ERP成分。因此，我们避免了典型的基于成分的解释，而专注于活动如何在连续400毫秒的最大最小峰值振幅附近随时间的变化。此外，由于结果相关的大脑反应之间往往有不同的正波和负波的结果，我们提取的峰周围的平均活动进行重复测量方差分析，结果类型(赢,输)作为被试内因素，和注视组别(70%相互注视和70%转移注视)作为被试间的因素。

我们的分析显示，首先，暴露于相互或转移注视影响了脑电图活动(图6,T1，蓝框)，调节了整个序列的第一个正峰，与相互注视组相比，转移注视组的正波更大。在随后的时间窗口中，注视没有效应，但脑电图活动随参与者决策结果的不同而不同(结果类型的主要效应)(图6,T2，粉色框)。特别是，获胜动画的负偏转比失败动画大。紧随其后的是另一个正的峰值(图6,T3,亮绿色框)，也显示了结果(但不是注视)会调制活动大小，赢的动画显示更大的正性（与输的相比）。最后，在分数呈现后的部分(图6,T4，黄框)，正峰值被注视和反馈调节，但彼此独立(结果类型和注视有主效应，但没有交互效应)。与相互注视相比，转移注视的被试表现出更大的正成分。与此同时，赢的反馈的正波明显大于输的反馈。

这种关于ERPs对关键时期如何展开的结果显示，大脑最初受到注视的影响：主要暴露于转移注视的参与者表现出更大的正波。这可能是前一段时间机器人显示的两种注视类型的后遗效应。然而，当参与者观察汽车动画并意识到他们是输是赢时，注视的最初影响在晚些时候被参与者决策的展开结果的影响所覆盖。在这个时期，与失败的试次相比，获胜的试次引起了更明显的偏转(更大的正波或负波)。这表明，在这一点上，大脑区分了胜利和失败，这压倒了注视的影响。然而，在获得分数后，参与者的神经活动受到反馈和注视条件的双重影响。换句话说，表现的后期处理阶段(表现的信息最终由呈现的分数确认)被参与者在整个实验中接触最多的机器人注视类型所调节。

图6 组平均ERP波形，时间锁定(t = 0)到反馈动画开始。

平均波形图是在F1, F2, Fz, CP1和CP2电极上进行的，数据来自70%互相注视组和70%转移注视组，分成赢(+1或+3分)或输(0或-4分)的试次。在连续的400毫秒片段中，随着时间的推移，在最大最小峰值振幅附近的活动表现出对注视条件在第一个时间窗口的不同反应，然后对接下来两个时间窗口的结果的反应，最后对注视和结果都有不同的反应。

段的划分：段1,t = 0 ~ 400 ms;段2,t = 400 ~ 800 ms;段3,t = 800 ~ 1200 ms;段4,t = 1200 ~ 1600 ms。每个片段的分析时间窗(Tn):在片段1内，T1 = 244 ~ 299 ms(浅蓝色框)，在272 ms正峰附近约10%(黑色箭头);在段2内，T2 = 457 ~ 558 ms(橙色框)，在508 ms负峰附近约10%(黑色箭头);片段3内，T3 = 741 ~ 906 ms(绿框)，824 ms正峰附近10%(黑箭头);段4内，T4 = 1241 ~ 1295 ms(黄框)，1268 ms正峰附近10%(黑箭头)。

结论

我们的研究结果表明，相互注视需要大脑资源来管理社交信号，这可能与要做出的决定有关，也可能无关。在我们的实验中，机器人的注视调节了人的反应时间、决策阈值、神经同步以及选择策略和对结果的敏感性。因此，两个机械摄像机（机器人眼睛）被视为一个社会信号，从而为人类社会认知机制的灵活性提供了明显的证据。当我们制造越来越复杂的机器时，赋予它们足够的交流行为是至关重要的。

如需原文及补充材料请添加思影科技微信：siyingyxf或18983979082获取,如对思影课程及服务感兴趣也可加此微信号咨询。另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布，如果我们的解读对您的研究有帮助，请给个转发支持以及右下角点击一下在看，是对思影科技莫大的支持，感谢！

微信扫码或者长按选择识别关注思影

非常感谢转发支持与推荐

欢迎浏览思影的数据处理业务及课程介绍。（请直接点击下文文字即可浏览思影科技所有的课程，欢迎添加微信号siyingyxf或18983979082进行咨询，所有课程均开放报名，报名后我们会第一时间联系，并保留已报名学员名额）：

脑电及红外、眼动：