眼动追踪方法的技术进步使得在购物过程中轻松地测量消费者的视觉注意力成为可能。然而，在现场环境中进行眼动追踪仍存在一些限制，也需要用到非常繁琐的数据编码过程。此外，现场环境只允许对重要干扰变量的有限控制，无法有效的控制所有因素。本文认为，虚拟现实可以提供一种替代环境，将移动眼动追踪的好处与实验室实验提供的灵活性和控制性相结合。本文首先回顾了在桌面、自然和虚拟环境中使用的不同眼动追踪技术的关键优势。然后，解释了如何将虚拟现实环境与眼动追踪技术相结合，为消费者研究提供了一个独特的机会，特别是关于使用增强现实来提供对购物者的帮助。本文发表在Journal of Business Research杂志。（可添加微信号siyingyxf或18983979082获取原文及补充材料，另思影提供免费文献下载服务，如需要也可添加此微信号入群）眼动追踪技术在零售研究中越来越流行，因为它可以更好地理解消费者的视觉注意力，从而了解如何刺激特定产品的销售，或帮助消费者做出更好的决策。例如，零售研究人员研究了产品在货架上的位置是如何影响注意力和销售的，公共政策研究人员使用眼动追踪技术来评估强制性健康警告和营养标签的有效性。移动眼球追踪尤其被视为一个很有前途的工具，因为它能够轻松地收集数据和提供“对自然购物行为的洞察力”.在现实世界的零售环境中使用移动眼动追踪的一个主要理由是，实验室和现实世界之间的注意力过程可能差别很大。超市购物者通常会在几秒钟内做出选择，并且只考虑了非常有限的一组选项，这表明零售研究应“就地”即在销售点的现场环境中调查注意力过程。然而，目前对消费者关注过程的大多数研究都是在使用桌面端眼动追踪的实验室环境中进行的，因此我们同意卡恩的观点：“在实验室研究的效果与在现场可能不同”。使用实验室环境进行零售相关研究的一个很好的例子是Chandon, Hutchinson, Bradlow, & Young（2009），他们使用二维图片（平面图）和桌面眼球跟踪来研究购物目标和品牌知名度等店内因素是如何影响品牌评估的。虽然这是一项令人印象深刻的研究，但作者观察到的许多有趣的效果还没有在真实环境中被复制。然而，用移动眼球追踪来复制这些研究是非常麻烦的。根据Bigné, Llinares, & Torrecilla (2016)早期的建议，本文提出了虚拟现实移动眼动追踪是一个独特的研究机会。它允许同时提供通常只能在实验室环境中实现的控制级别，以及真实环境中的3D体验和移动自由。因此，它可以提供一种“感觉像现实”的受控购物体验。在完全身临其境的3D环境中，货架的位置和身体移动与视角相互作用，并且在许多其他因素中，可以预期它会影响注意力过程，以至于在2D中观察到的效果可能无法推广到虚拟或真实的3D环境中。此外，由于二维实验室研究通常是被设计用来研究预定义的任务的，因此它们倾向于忽略购物环境在自然进行的购物任务中如何影响注意力流。要研究完全沉浸式3D环境中的注意过程，就需要使用移动眼动仪，而不是桌面眼动仪。台式眼动仪是安装在台式电脑上的眼球追踪设备，可以监控屏幕上的眼睛移动，移动眼动仪看起来类似于眼镜，允许用户自由移动，并考虑了3D环境中的物体。到目前为止，只有少数研究在现实零售环境中使用了移动眼球跟踪。研究人员强调这一领域仍然缺乏研究，尤其是在使用移动眼球跟踪来理解快速移动消费品的决策时。在这一领域缺乏研究的一个实际且主要的原因是，进行和分析移动眼球跟踪研究对研究人员来说是非常麻烦的。对分析人员来说，被试注视点为真实动态环境定义的兴趣区（AOI）仍然是一个巨大的挑战。被试的头部移动不断改变物体在头部安装场景摄像机记录中的位置。这就需要单独分析每一个录制的视频帧，以确定被试的目光停留在哪些物体上。例如，在Clement et al. (2013, p. 237)的论文中解释说，他们的移动眼睛跟踪视频必须“逐帧分析、编码注视时间和注视次数”。我们的经验是，这样的手动注释是非常耗时的。因此，研究人员经常避免定量地分析眼睛跟踪数据。例如，Harwood&Jones（2014）使用对消费者凝视注视点的内容分析来分析他们的移动眼动跟踪数据，这意味着四个编码人员定性地分析了受访者的凝视行为。Clement等人（2013）和Gidlof等人（2013）都记录了完整的购物旅行，但只选择了一个产品类别以供进一步分析。事实上，这些研究人员只分析了他们的数据集的一小部分，这表明分析移动眼动数据集的工作量之大。我们认为，准备数据的大工作量是使用移动眼睛跟踪研究的一个严重障碍，并且至少部分解释了为什么只有少数几篇在零售环境中实际使用移动眼睛跟踪的论文被发表。尽管便于编码移动眼动跟踪数据的算法正在开发中，但还没有自动注释的可靠算法。但从另一个角度看，我们认为，虚拟现实作为一个移动眼睛跟踪研究的实验环境，可以减少数据编码的负担，并在创建真实的研究环境时允许更大的灵活性，同时保持高水平的实验控制。本文的目的有两个方面。首先，我们的目的是展示移动眼睛跟踪如何用于虚拟现实，并讨论在桌面、虚拟和自然环境中进行注意研究的优缺点。我们的贡献是为研究人员制定了一套标准，以在实证研究中做出明智的眼动仪的使用决策。通过讨论这些问题，我们的目标是帮助市场营销、零售和决策的研究人员就使用哪些设备以及如何设计他们的眼球跟踪实验做出更明智的决策。第二，我们的目标是以确定由虚拟现实环境的可用性所产生的新的研究机会。我们回顾了之前的研究，并讨论了可以从虚拟现实环境中受益的三个研究领域：店内决策过程、零售环境和店内设计，以及支持消费者的增强现实辅助系统。因此，我们的论文不仅涉及市场营销和零售方面的研究人员，也涉及来自其他学科如信息系统和心理学的研究人员，他们对在虚拟现实环境中应用眼动追踪感兴趣。虚拟现实可以被定义为一个感知者体验远真感的模拟环境，这是一个人在虚拟环境中感觉存在的程度。沉浸式虚拟环境是指用户被虚拟环境感知包围的虚拟环境。Blascovich等人（2002）强调，使虚拟环境更身临其境是其技术进一步发展的最重要方向之一，因为它使对虚拟环境的感知更类似于对现实的感知。上述作者在心理学社会行为的实验研究中已经成功了15年。早在1995年美国军方就认识到将虚拟现实作为现实情况的替代品的好处，并应用在模拟和训练。从那时起，它就被应用于其他几个领域，如教育、飞行员和消防员培训以及医务人员培训。虚拟环境有两种主要的实现方式，所谓的CAVEs（洞穴自动虚拟环境）和HMD（头戴显示器）：CAVEs由固定显示表面组成，通常由投影仪提供，用户周围有多个投影屏幕和扬声器。计算机生成的视觉图像被向后投影到一个中大小的立方体房间的半透明的墙壁、地板和天花板上（图1）。在房间里，用户可以自由地四处移动。带有快门或其他滤镜的眼镜（图2）提供了立体刺激，以相同的场景呈现了两个图像，这些透视图的角度与观察者的眼睛位置略有不同。被试感知房间表面的投影，可以显示2048×1536像素或更高的分辨率，这取决于所使用的投影仪。一个重要的测量方法是表面上的像素大小。当像素大小小于1毫米，人处于距离屏幕超过一臂的距离时，人将再也无法识别单个像素。较小的设置包括单个投影屏幕（动力墙）或地板上的投影和一个屏幕（L形）的组合。地板上的投影与模拟身体附近的交互有关，包括手部活动，如捡和处理物体。除了CAVEs之外，第二种实现形式是使用HMD（图3），还有一台电脑和一个头部跟踪器。HMD内部有两个屏幕（如果使用分屏显示模式除外），每个眼睛都有一个，以提供立体图像。2017年的消费者HMDs通常提供约100°对角线和小而可感知像素的视场。这项技术目前正在过渡中，具有较高分辨率(4k)的新设备预计将在不久的将来引入市场。在CAVE和HMD这两种方法中，用户头部的位置和方向的变化都在物理环境中被跟踪，并在计算机上的模拟环境中被复制。快速处理器从基于用户方向的位置和方向的角度生成视觉和听觉图像。
图1. CAVE投影的三个侧面。使用光学跟踪系统跟踪用户的视角。图2.使用称为Infitec的无源滤镜技术的立体眼镜图3. 左：称为HTC Vive的HMD作为视觉立体显示器，以及用于跟踪手的跳跃运动控制器；右：称为Oculus Rift DK2的HMD和用于交互的Razer Hydra控制器。图4.产品包装的带注释的3D模型。AOI是参与者看不见的3D几何形状。虚拟现实的一个重要组成部分是与用户的交互。虚拟现实模拟中的动作和反应使它不同于计算机图形和3D电影。最重要的相互作用是视角的动态变化，即用户的位置和方向。有关必要技术设置的详细信息，请见附录。除了身体跟踪之外，虚拟现实系统还应该跟踪用户的手，以为手动交互提供适当的手段。眼动追踪在虚拟现实环境中的应用结合了移动追踪和基于桌面的眼动追踪的优势。它为被试提供了在完全沉浸式3D环境中自然运动的充分灵活性。同时，数据的分析并不比二维桌面眼球追踪应用更复杂。一旦创建了目标刺激的三维模型，对象的子部分就可以通过额外的几何图形进行注释来定义感兴趣的区域（或更好的是：感兴趣的体积）(图4)。这些几何图形被用来识别从被试的眼睛投射出的凝视射线，使用关于头部的位置和方向，以及由眼动追踪系统提供的眼球方向的相关信息，进入三维环境。只要视线到达感兴趣的区域（或体积）（图5）就会生成并记录适当的事件以供以后分析。当兴趣区是在对象的局部坐标系中建模时，它们会跟随每一个运动。例如，如果被试捡起一个对象，那么该对象的位置和方向将被更新，以匹配被试手的运动。然后，兴趣区也将自动更新，而不会出现任何延迟，并且凝视将继续正确地标记到适当的兴趣区（图6）。图5.在研究过程中，凝视射线被投射到环境中。当他们达到预定义的AOI时，将写入适当的事件信息图6. AOI定义对于对象来说是局部的，因此将跟随每个动作而没有延迟。图7.实验控制与生态效度之间的权衡（基于Loomis等，1999）表1: 决定使用哪种环境的标准（桌面，虚拟现实和现场；+表示环境的相对优势，o表示中等水平，-表示环境的相对劣势）–跟踪眼睛的特定标准是灰色突出显示。3 在桌面、自然和虚拟环境中使用眼动追踪技术的优缺点根据我们的第一个研究目标，本节的目的是讨论将移动眼动仪应用于实验室和自然现场的优缺点。作为基准，我们还比较了这两种移动设置与在实验室中使用的桌面眼动仪。我们收集了应该由研究人员评估的标准，以做出一个在他们的实证研究中使用哪个眼动仪设置的明智决定。这些标准详见表1。我们这里关注的重点是移动眼动追踪，而不是关于实验室和现场实验之间差异的一般讨论。我们推荐读者参考McGrath（1981）对后一个问题进行更广泛的讨论。值得注意的是，在这三种实验环境中，眼动追踪可以与其他生理数据相结合，如皮肤电导测量或面部识别。结合眼动追踪和脑电图测量的示例研究，可参考Leger(2014)等人。环境的选择（桌面、虚拟现实、领域）在很大程度上影响了研究人员为研究设计各自的刺激所需投入的努力。一般来说，在现实世界中，我们可以使用现实中存在的刺激。在桌面和虚拟现实的研究中，我们依赖于现实世界的呈现。在虚拟现实中，这些模型必须是三维的。如果试图测量对产品包装的关注度，且产品在超市已经存在，那么，在自然环境（如商店）测量眼睛运动时，几乎不需要去创建刺激。眼睛的运动在现实世界中被记录。然而，在桌面眼动追踪研究中，产品必须被拍照、扫描，或者必须在网上找到相应的图片，以便之后可以在计算机屏幕上显示它们。创建虚拟环境需要更多的精力，例如，要研究产品包装，必须为每个产品包装创建一个3D模型。这包括扫描或拍摄产品，并创建具有真实产品的精确测量的3D模型。在第5节介绍的研究中，创建这样的3D模型每个产品平均花费实验室助理约30min。该示例表明，在虚拟环境中创建现有的刺激比在其他两种环境下更费力。当考虑不存在的产品或刺激时，桌面和VR应用程序的优点是不需要物理制造或原型化，而只需创建数字原型。例如，Clement, Smith, Zlatev, Gidlöf, & van de Weijer（2017），研究了图形元素对食品包装的潜在误导性效应。测试这些图形的效果需要通过添加设计元素来重新设计各自的产品，当刺激是数字模型(2D图像或3D模型)时，可以很容易地实现。在现场测试这些不存在的产品将需要打印或生产相应的产品。对于其他刺激，比如汽车原型，创建或生产物理原型更困难也更昂贵。因此，虚拟现实已经在新产品开发过程中被使用了很长一段时间。社会心理学家描述了两种基本的实验场景，一种是对自变量的实验控制，但不那么现实主义，另一种是控制较少，但更“世俗现实主义”，也就是与日常生活情境更相似的程度。Blascovich等人（2002）强调，“世俗的现实主义”增加了被试在实验中的参与，但往往会有失去实验控制的高昂代价。Loomis等人（1999）认为，视觉感知研究人员已经经历了实验控制和生态效度(即“世俗现实主义”）之间的权衡，沉浸式虚拟环境很有前途，因为它允许更真实地呈现刺激，同时给研究人员更多的实验控制。例如，被试可以从货架上拿到产品，查看产品的侧面和后部，离产品货架更近，同时仍在严格控制的虚拟环境中。实验控制与生态效度之间的权衡如图7所示。早期使用立视镜调查广告感知的研究提供了一个很好的例子。在这些实验中，非常短的时间内向被试展示二维图片，这使得研究人员能够操纵实验因素。然而，这也降低了实验的生态效度。在超市用移动眼动跟踪来调查现实世界的购买，即自然环境下的购物，代表了连续体的另一端，这种环境下在生态效度高，但对购买产生额外影响因素的实验变量控制较少。因此，使用眼动跟踪技术的决定通常是基于研究人员评估需要或可能放弃多少实验控制，以使实验在生态上更有效。如果需要更多的实验控制，研究人员通常会在实验室环境中使用桌面眼动仪，而不是在自然环境中使用移动眼动仪。虚拟环境权衡实验控制和生态效度间冲突的能力也取决于虚拟现实环境的质量。Brade等人（2017）强调，虚拟现实系统需要满足关于现实可视化和令人信服的环境显示的高要求。如果不是这样，“用户将不会有被现实环境的感觉，与实验室或现场研究相比，虚拟环境的好处将被抵消。”如图7所示，虚拟环境在零售研究中很有前景，因为它在保持高水平实验控制的同时允许更大的生态效度。在虚拟超市做出的购买决策可能就是一个很好的例子。如产品在货架上的位置、产品包装的显著性、食品包装的设计元素以及产品旁边的价格等影响因素可以在实验室实验中更容易变化或控制。例如，货架上产品的水平中心性可能会增加视觉上的注意力和选择。Husić-Mehmedović, Omeragić, Batagelj, & Kolar（2017）认为，现场的产品包装研究通常无法控制混淆变量，比如货架位置，这些变量已经被证明会影响注意力。因此，如果研究人员想要控制中心性的潜在影响并随机化产品包装在货架上的摆放位置，那么，在现场执行这样的随机化将意味着在每次试验后重新调整货架上的产品，这太消耗劳动力且不太可操作。对于与虚拟对象的自然交互，用户需要一种手动控制的手段。有多种方法可以实现这一点，例如通过分析手势或跟踪用户在房间中的位置和方向。目前，虚拟现实的研究专注于为手动交互提供多功能触觉线索的挑战，例如欧盟项目可穿戴触觉学。为了创造一种更身临其境的体验，诸如触觉或嗅觉等模态，可以提供实验性特定的硬件安装，但目前没有可以易于使用和集成的现成技术。虽然交互现实主义随着最近的技术发展（改进的计算机图形学和更快的处理器速度）提高了很大，但很明显，虚拟现实仍然与物理现实可区分，也不完全等同于自然环境中的物理现实。今天，有限的交互现实主义仍然可以被视为虚拟现实环境的一个缺点。随着技术的改进和3D环境分辨率的提高，被试在虚拟环境中的体验或多或少会与“正常现实”无法区分。使用眼镜式眼动仪追踪被试的眼球运动不是一个问题。Tobii（和其他眼动公司）已经开发出了可用于移动眼动追踪的特定镜片。然而，眼动设备对被试的侵入性和舒适性是一个问题。虽然现代桌面眼动仪不引人注目，被试在校准后注意不到追踪（除非使用安装的设备），然而移动眼动仪需要佩戴特殊的眼镜，HDM VR需要使用精致的头戴，限制了任务的自然性。眼动追踪数据的准确性取决于所使用的硬件，但也取决于凝视和环境中注视的物体对象之间的映射质量（在桌面、虚拟现实中的三维模型或现场中的物理现实）。眼动仪需要通过校准以学习该映射。如果校准较差，记录数据的质量将受到影响，因此对注视对象的解释可能会出现错误。在校准过程中，要求被试查看相应环境中的某些点。这些点的排列方式可以让眼动仪的照相机捕捉眼球不同的姿势。因此，用户在校准过程中必须保持头部不动，且不要转向目标。如果头部运动，那么捕获的眼球姿势将不会覆盖系统稍后在研究过程中将面对的广泛姿势，因此对凝视位置的估计将受到影响。在桌面端与自然环境中的移动眼睛追踪尤其相关，因为校准目标通常静态地放置在环境中，因此头部旋转将在注视目标期间导致不同的眼球旋转。在虚拟现实环境中不同，因为校准目标的位置可以连接到头部的运动。因此，目标可以很容易地保持在一个将引起预期眼球旋转的位置。在桌面系统中，使用下巴托可以帮助在校准或在实验中消除头部运动。原则上，在HMD中的眼球追踪达到了最高精度，因为外部照明和用户的头部位置都可以被完全控制。虚拟环境中的桌面眼睛追踪和移动眼睛追踪允许在被试加工信息时分析注意信息，并允许实时反应被试的注意。从系统分析的角度来看，使用实时眼动追踪信息意味着从使用眼动追踪作为诊断系统来确定给定刺激下用户的注意力模式，到将眼动追踪用作交互式的视线耦合系统的重大转变，即“利用用户的视线知识来促进复杂显示（例如图形环境）的快速渲染”。这种基于凝视互动的一个例子是Losing, Rottkamp, Zeunert, & Pfeiffer（2014）的研究。他们通过提供由搜索目标距离调制的声学反馈，成功地使用了关于当前凝视位置的实时信息来支持视觉搜索。我们在第5节中描述的实验提供了另一个例子。被试会根据他们当前的注视位置获得额外的产品信息。实时识别注视模式和兴趣对象是建立一个基于注意辅助系统的先决条件，因为在提出建议之前，必须分析注意过程。由于仍缺少自动注释的可靠算法，目前不可能在这些环境中实时分析信息搜索。在使用移动眼动仪进行大量被试的研究时，主要问题有两个：昂贵的移动设备和准备相应数据集的大量耗时。首先，由于移动设备的成本较高，大多数实验室只有很少的移动眼动设备。专业的桌面眼动仪往往更便宜，所以它将更容易同时进行多个眼球追踪研究。此外，在过去的十年里，研究人员不断地研究了低成本设备的使用，以标准的RGB摄像头，如WebCams进行眼球追踪(最近的例子是WebGazer和SearchGazer）。如果成功，这些努力将允许大规模地采集眼球运动数据。事实上，最近的评估表明，当所需的精度不低于4°(在实验室和在线条件下），这确实是可能的。虽然对于桌面研究，基于RGB的眼球追踪是一个可行的选择，但它不太适合移动眼球跟踪，特别是在虚拟现实中的眼球跟踪。第二，在分析来自现场的移动眼睛跟踪数据时手动注释是必要的。在这种情况下，准备数据集的工作量将强烈地取决于样本的大小。因此，准备移动眼睛跟踪数据是生成更大样本的一个额外障碍。从外部伙伴那里获得记录现场眼球运动的许可有时是一个挑战。例如，在零售环境中，这将需要与超市达成协议，即可以追踪消费者。此外，对于移动眼睛跟踪系统的现场相机无意中拍摄到其他消费者的道德问题。以及其他消费者的存在和活动也可能会影响被试的行为，应加以控制。由于样本量较大，这些问题可能变得更具挑战性，但在实验室实验时不会发生。虚拟环境提供了丰富的模态性，这意味着各种形式的通信和双向交互是可能的，例如，在销售代表和消费者头像之间。Jin（2009）调查了在通过3D推荐呈现营销信息时，使用多种模式（文本、音频和视频动画）如何改变消费者的产品评估、购买意图和网上购物的享受。Jin发现，模式丰富性是影响人们对产品的积极态度和增加购买意图的一个重要因素。同样地，也可以记录描述被试行为的多种模式。除了跟踪头部的位置和方向，以及眼睛的凝视之外，常见的虚拟现实系统还允许记录手和身体的动作以及录音。虚拟环境中的移动眼球跟踪将增强与消费者的交互性，因为推荐可以基于消费者的注意模式。推荐系统适应消费者的关注过程可以显著减轻消费者的负担，涵盖其需求和移动眼球跟踪的实时分析使我们能够重新评估和将基于桌面的研究结果转移到现实世界的购物。如果您对眼动，脑电，近红外等数据处理感兴趣，欢迎浏览思影科技课程及服务（可添加微信号siyingyxf或18983979082咨询）：
第十届眼动数据处理班（北京，6.27-7.2)
第二十八届脑电数据处理中级班（北京，6.20-25)
第十三届近红外脑功能数据处理班（北京，7.18-23)
第四届脑电机器学习数据处理班（北京，8.11-16)
第二十七届脑电数据处理中级班（南京，6.1-6.6)
第三届脑电机器学习数据处理班（上海，6.25-30）
第十二届近红外脑功能数据处理班（上海，6.15-20)
第九届脑电信号数据处理提高班（上海，7.8-13)
第二十九届脑电数据处理中级班（上海，7.16-21)
第十七届脑电数据处理入门班（上海，8.1-6)
第十五届脑电数据处理入门班（重庆，7.12-17)
第十四届近红外脑功能数据处理班（重庆，8.14-19)
数据处理业务介绍：
思影科技近红外脑功能数据处理服务
与自然环境中的眼睛跟踪相比，虚拟环境中的眼睛跟踪的关键优势之一是准备数据集所需的精力较少。在使用移动眼睛跟踪记录数据后，注释者必须查看所有录制的视频。这些注释者必须查看每一个视频帧，并手动将每一个注视值分配给其中一个感兴趣的对象。考虑到每秒场景摄像机的24帧或更多帧和多达250帧的眼睛摄像机已经被记录下来，准备数据集的工作量是非常耗时的。我们自己的经验表明，24Hz视频的注释时间可以是原始录制时间的15倍。最近，人们尝试开发算法，加快注视点的手动编码，或完全避免手动编码：对象识别算法可以用来识别注视坐标周围的图像区域的对象。然而，这些方法通常依赖于静态环境，并且很难区分许多相似外观的对象（例如，同一品牌的不同包装）。当在虚拟环境中使用移动眼球跟踪时，研究人员可以很容易地改变感兴趣区域的定义或添加一些新的区域（如第2节所述）。因为凝视在三维空间中的位置是已知的，无论是绝对的还是相对于单个的对象，通过使用几何交叉测试重新运行各自的算法，可以很容易地计算注视的分配。这种对AOI的“自动”注释有一些优点：不再需要注释者，这使得数据准备更加可靠和更不费力。注释者也是一个潜在的错误源，自动分配注视点避免了该错误。需要强调的是，注视和扫视的确定取决于确定注视的算法，而不是所使用的实验环境。因此，如果研究人员使用相同的算法来确定注视点，则可以直接比较不同环境下的注视模式。为了提高编码的可靠性，通常至少有两个独立的注释者为所有的被试分配注视。然后使用软件来检查独立注释器之间的不一致。然后，由软件来检查这两个注释者注释中的差异。之后，这两个注释者将讨论他们注释中的每一个差异，直到他们达成一致。在一些研究中报告了评分者间分数一致性，它量化了第一次注释数据时的一致性程度。除了手工编码数据的大量工作之外，在注释者完成数据编码后，改变兴趣区还需要重复手动注释过程。下面的例子可能有助于说明这个问题：让我们假设在超市里被试做出日常购买决策时眼动追踪数据已经被记录。在记录了这些数据后，研究人员决定，他们想区分注视价格、品牌标志、详细的产品信息以及产品包装上的注视。注释者会收到一个兴趣区的列表，并将所有被试的所有注视分配给所有兴趣区。在完成编码后，研究人员意识到，一些产品的包装上有一个有机标签，他们又对人们对有机标签的关注程度感兴趣。因此，注释者必须添加相应的注释，并再次浏览所有的视频材料。移动眼睛跟踪设备仍然比简单的桌面眼睛跟踪设备更昂贵。在过去，喜欢在虚拟环境中记录眼球运动的研究人员必须建立各自的实验室，这曾经昂贵而费力。然而，由于虚拟现实技术在消费者市场上出现了OculusRift和HTCVive等系统，情况已经发生了变化。眼动追踪供应商，如PupilLabs或Tobii也提供了他们的移动眼睛追踪硬件，以与这种消费者市场的头戴式显示器集成。在虚拟现实中，移动眼球追踪所需的所有硬件的成本都类似于标准的移动眼球跟踪设备。尽管如此，创建一个特定场景的虚拟模拟仍然需要在三维建模和三维模拟编程方面的努力。然而，所创建的对象和代码是高度可重用的，并且，正如下面所解释的，支持实验环境的重现性。如第5节所述的虚拟环境的实现需要克服许多硬件和软件的挑战（在现实世界中使用移动眼睛跟踪时，研究人员不会面临这些挑战）。在大多数情况下，需要一个专注于VR技术的计算机科学家。在许多情况下，挑战是构建交互过程，以使用户感觉更自然。实验环境的再现性是现实世界中使用移动眼睛追踪研究的一个问题。由于真实环境的不断变化，研究情况往往会在后期发生变化。桌面眼睛跟踪和虚拟环境中的眼睛跟踪允许在之后的时间点呈现完全相同的实验场景。它还允许研究人员通过改变实验设置的单一因素来重新分析实验情况。例如，研究人员可以使用相同的产品货架，但可以改变货架中某些产品的凸显性。当研究人员决定使用哪种研究环境时，本节中讨论的标准的重要性可能会有很大的不同。例如，Husić-Mehmedović等人（2017年，第4页）强调，他们在实验室进行实验，“允许控制货架位置和朝向数量等因素，它们都影响消费者的注意。”因素的控制和随机化可能是许多研究人员的一个重要标准，但这些所需的专业知识可能并不是最重要的，因为合作伙伴可以带来相应的专业知识。本节的目标是概述虚拟现实中的移动眼睛跟踪如何有助于回答零售研究中未解决的问题。首先，一个基本的目标是更好地理解和描述消费者的店内决策过程。其次，零售研究希望通过利用虚拟环境来优化商店设计来节省时间和成本。第三，基于对信息获取过程的深入理解，研究人员可以开始构建辅助系统，帮助消费者做出更好的购物决策，例如，通过使用增强现实应用程序。这三个研究领域都是高度跨学科的，与市场营销和零售、决策、人机交互以及信息系统研究特别相关。这三个子领域的实证研究有助于提高理解客户体验和客户旅程，这是许多公司的主要管理目标（Lemon&Verhoef， 2016）。研究视觉注意力的研究区分了自下而上和自下而下的注意力过程。自下而上过程也被称为刺激驱动，而自上而下的过程被称为目标驱动过程。购物者的注意是商店环境低水平视觉特征和高水平目标和期望的共同作用。考虑到一些购买目标，过滤掉大部分所看到的东西，即丢弃无关产品，专注并参与相关采购项目，这将是许多消费者的主要任务之一。视觉显著性是已被深入研究的自下而向上的注意加工过程之一。显著性包括视觉显著性的不同方面，如颜色、运动或对比度。理解自下向上的视觉注意过程的重要性对于那些试图引导消费者的产品的品牌经理来说尤为重要。Van der Lans,Pieters和Wedel（2008）将品牌的显著性定义为一个品牌在视觉上从其竞争对手中脱颖而出的程度。作者提出了一种通过优化品牌与竞争对手的视觉差异程度，进行的竞争显著性分析方法，并测试其在桌面视觉跟踪研究中的效果。鉴于品牌的显著性对消费者如何在现实世界的零售环境中引导他们的注意力有重大影响，在更类似于现实世界购买情况的环境中复制这些经验发现，但同时允许操纵关键因素，如货架上的位置，符合实验设计。如第3节所述，虚拟现实环境是这类经验测试的理想环境。营销人员可能还想了解，当消费者处于不同的搜索模式时，视觉显著性的影响是如何变化的。例如，处于浏览模式下的消费者很可能会收集有关可用产品的信息，或扫描货架上的新的和有趣的商品。因此，探索性搜索比面向目标的搜索更有可能导致冲动购买。可以假设，当消费者处于探索性搜索模式时，产品包装的显著性对引起人们对相应产品的注意更为重要。与此同时，当消费者熟悉该产品时，显著的产品包装可能会使信息收集更有效率和更少耗时。视觉显著性的影响可以更容易地在虚拟环境中进行测试，可以操纵产品的显著性程度，并可以控制其他因素，例如在架子上的位置。Chandon等人（2009）首次研究表明，品牌在货架上的水平位置影响了人们对该品牌的关注程度和选择它的可能性。然后， Atalay等人（2012）复制和扩展了这些研究结果，指出被试会更频繁地观察位于中心位置的产品，尤其是在做出决策之前，他们更有可能选择这些中心位置的产品。Greenacre, Martin, Patrick, & Jaeger（ 2016 ）在两种条件下，复制了Atalay等人（2012）所展示的结果。Meißner，Musalem和Huber（2016）在他们的联合分析研究中发现，它对选择的影响很小。所有上述提及的作者都使用计算机显示器来测试中心性对注意力和选择的影响。此外，Atalay等人（2012）使用了一个简单的二维产品阵列，但不是一个货架式的产品排列。我们认为，中心性在何种程度上驱动注意力和随后的选择仍然没有得到充分回答，因为之前的实证研究都使用二维计算机显示（Bigne等人，2016；Husić-Mehmedović等人，2017），对中心性效应的有效测试需要一个更现实的三维环境。在以前的实证研究中，影响感知货架中物品的重要因素，如个人观察视角和费力的信息检索，以及获取物品的费力都被忽略了。此外，在更现实的三维环境中增加实验控制是很重要的，因为水平中心性的潜在效应可能与视觉注意的其他自下而上效应相互作用，如品牌显著性。例如，只有当位于中心位置的产品在视觉上也很突出时，水平中心性才会增加选择概率。然而，研究也可能会发现，突出的产品是独立于其中心位置而固定的。据我们所知，品牌显著性和水平中心性的相互作用还没有被测试过，特别是在现实世界的零售环境中还没有。我们认为这样一个实验的结果对从业者来说非常重要，因为量化效应的大小将允许生产者为使他们的产品到中央货架位置而付费。今天的许多消费者正在购物时寻求享乐和功利价值，寻找多感官体验。因此，零售商店和旗船商店关心重新设计其商店的内部，如使其更加有趣。零售商知道，商店的氛围在许多购买环境中非常重要，因为它会在很大程度上影响消费者的情绪或觉醒水平，这可能会无意识地影响他们如何浏览货架和处理决策相关信息。来自英国的大型跨国杂货商乐购发布了一段视频，展示了他们如何使用虚拟现实来测试未来的零售环境。因此，虚拟现实提供了一个机会来测试哪种设计使商店让消费者更愉悦和易于消费。店内设计因素的研究开始时使用更简单的方法。Baker, Parasuraman, Grewal, & Voss（2002）调查了不同的环境线索是如何一起影响消费者对商店环境的看法。作者使用录像带来模拟商店环境的体验。被试只观看5分钟的录像带，“通过商店环境，模拟购物或浏览体验”并回答了随后关于“模拟”环境感知的问题。虽然这种方法可能非常适合测试简单的商店内因素，如颜色、货架布局和商品的总体组织，但这仍然与在虚拟现实环境中体验商店环境有很大的不同。例如，被试并没有沉浸其中，也不能自由地引导他们的注意力。虚拟环境即替代的商店设计允许呈现刺激更现实，也允许与相应的环境互动。我们建议，结合移动眼球跟踪，虚拟环境更适合评估一些商店设计因素，如店内通信和标识、货架配置和产品包装的设计。这是因为沉浸式环境允许消费者根据整体体验对设计感知以及商店的音乐感知进行评分。Kahn（2017)强调，零售商特别感兴趣的是调查哪些分类特征直接吸引了消费者的注意力，以及零售商可以使用哪些分类变量来增加易处理性(处理流程）。另一个例子，Deng、Kahn、Unnava和Lee（2016）在桌面眼球跟踪研究中测试了水平和垂直显示对组合处理、感知多样性和选择的影响。在适当设计的3D虚拟环境中测试这些效果将有助于测试和演示这些发现的外部有效性，从而提高它们与零售实践的相关性。在未来的研究中应该研究的自下而上的因素，如：消费者可以使用视觉符号来分类不同的品牌，解释产品标签和特征的意义，并形成价格感知。未来的研究也将更多地关注于更好地理解人类和虚拟人之间的相互作用，如虚拟销售代理会提供建议。例如， Jin（2009)和Qiu & Benbasat(2009）建议使用类人的头像作为互动和动画推荐代理、购物助理或销售人员。普通超市的经理们如何帮助消费者实现其购买目标？在大多数商店的常见做法似乎是使用店内材料和标识来突出新产品或正在销售的产品，改善货架布局或指出特别优惠。然而，这些支持和指导客户的传统方法并不是非常具体或针对消费者的需求。例如，一个特殊的客户需求可能是她对某些食物成分过敏或患有糖尿病，因此希望将相应的产品排除在进一步的考虑之外。另一个目标可能是她想找到低卡路里的产品，这是环保的。如今有如此“特殊”需求的消费者可以向超市工作人员寻求帮助，越来越多的消费者可以通过专门的移动应用程序获得支持，例如提供健康和饮食或价格比较信息，然而这样的应用程序通常是通用的，还没有引导人们到商店的特定位置或货架，当然，到目前为止，还不能根据个人消费者的需求定制货架显示。根据消费者偏好提供个性化的建议是减少消费者精力，帮助消费者实现购物目标的策略。然而，在零售环境中识别消费者偏好很困难，因为消费者通常不会自愿向零售商提供偏好信息，或者消费者提供相应信息需要太多的时间。因此，理想情况下应在毫秒内提供所需的信息，而不增加消费者方面的努力。到目前为止，已经提出了许多不同的技术来帮助消费者。这些技术包括智能手机应用程序、增强型购物车、视频跟踪和智能眼镜的广泛使用。智能手机的应用程序通常包括使用手机扫描条形码，这需要一些额外的努力，可能会使使用这项技术对消费者没有吸引力。因此，未来的购物技术应注重信息节约和简单，这是一个重大挑战。虽然所提供的信息必须与消费者足够相关，以帮助他们实现他们的行为目标，但他们不应该被太多的信息所淹没，这些信息应该足够简单和简化。因为获取额外信息应具有成本效益。目前，在零售领域，人们还不了解消费者将如何利用额外信息，以及这些信息将如何改变他们在店内的关注和购买过程。在不久的将来，带有眼动追踪技术的智能眼镜（如谷歌眼镜）无疑将能够在许多日常生活中提供与个人相关的信息。使用智能眼镜，实际获取额外信息只需要眼睛，所以很省力。然而，处理所有这些信息将是一个额外的负担，需要额外的注意，也可能导致搜索过程的延长。从商业的角度来看，在自然购买的情况下，提供个性化的建议似乎是下一个合乎逻辑的步骤，因为现在根据消费者之前购买和搜索的内容提供个性化的推荐几乎是标准。为了构建在现实世界中分析消费者的注意过程的智能眼镜，我们首先建议在虚拟现实环境中使用移动眼球跟踪来研究消费者的注意过程。在下一节中，我们概述了这种实证研究的实验环境，并给出了一些基本的描述性发现。这个演示的背景是基于一个项目，该项目旨在设计和测试根据消费者的注视行为实时提供额外信息的辅助系统。此外，我们还想通过实证测试基于之前购买的推荐产品是否会影响消费者的选择行为。我们设计了一个虚拟超市，包括几个货架，目的是创造一个现实的购物体验。由于我们的重点不是测试商店设计因素，受访者没有任务在虚拟商店中走动，我们保持光线和配色方案恒定。特别是，我们要求被试在一个货架前集中对两个产品类别进行决策。我们努力制造光线和产品尽可能现实，并在虚拟购物车中插入3D模型，被试可以放置选择的产品。我们选择了格兰诺拉麦片和烘焙混合物作为产品类别，并创造了代表一个典型超市的产品范围：49种不同种类的格兰诺拉麦片和44种不同的烘焙混合物。我们通过使用普通的办公室文档扫描仪扫描原始产品包装的所有六面来表示真实的产品，然后将这些图片作为纹理放在包装的三维模型上；每个产品花费的时间不超过30min。这个虚拟超市在欧洲一所大型大学的一个虚拟现实实验室中展出。CAVE环境的前投影屏宽3米，高2.25米，分辨率为2100×1600。它使用Infitec被动立体声系统和2个NVIDIAQuadroK5000图形卡进行渲染。地板上有黑色的瓷砖，并标记了一个中心起点作为被试的方向。被试进入CAVE实验室，其中配备了一个叫做“操纵杆”的输入设备，它可以从架子上抓住、翻转、旋转和放回产品。他们戴着3D眼镜，其中包括眼球追踪设备(SMI眼球追踪眼镜)。后者用一根长电缆连接到眼睛跟踪服务器上，以便在CAVE中自由移动。实验从练习任务开始，让被试熟悉虚拟环境，并解释如何使用操纵手柄。在实验的主要部分，每个被试必须做出四个购买决定，每个部分包括三个阶段，如图8所示。被试可以在每个阶段观看他们想要的时间，并且必须在每个产品类别中进行两次购买。产品类别的呈现顺序是随机化的。每次都从使用九点校准网格对眼睛跟踪器的校准开始。在第一阶段，被试从货架上的20种产品中选择了他们最喜欢的产品。我们决定在每个货架上展示20个产品，以便被试可以从不同的随机选择的产品集中多次选择。没有选择退出的选项，被试通过将选择的产品放入他们的虚拟购物车来确认他们的选择。然后，下一阶段自动开始。在第二阶段，第一阶段展示的20种产品再次出现，红色框架突出了最初选择的产品(图8，第2阶段）。我们指示被试再次查看所选的产品，并访问可用的附加信息。这个信息出现在一个气泡中（见图8，第2阶段），当眼球追踪器对产品的凝视超过200毫秒时，它会自动出现在产品旁边。这些信息包括营养情况和消费者评级。在第3阶段，用蓝色框架突出显示六个推荐产品（图8，第3阶段)，被试决定他们是想要继续选择第一阶段最初选择的产品，还是想要切换到六种推荐产品中的一种。通过查看产品，可以访问所有突出显示产品的其他信息。对于所有推荐产品，我们生成了客户评级和营养评级的额外信息，以便推荐产品与第一阶段选择的产品发生权衡冲突。我们预计，这种权衡冲突会导致附加信息的相关性增加。然而，我们将对这种效应的分析供今后参考，并认为它超出了本文的范围；而目前的目的是说明如何获得对不同条件的观察。该研究包括33名被试（平均年龄：23.8岁，62%的女性，都是学生）。基本的描述性分析表明，被试在最后一个阶段作出决定平均需要48秒（s.d. 20s）。最初在第1阶段中选择的每个产品在第3阶段又被注视了55次 (s.d. 50)。而每个推荐产品的平均注视次数为30次（s.d. 30s）。在所有的被试中，43%的人对推荐产品的注意力都指向了星级评级。这一结果表明，受访者不仅查看了价格、品牌标签、产品包装的细节，或者试图找到货架上的产品，而且还将大量的注意力转移到增强现实信息上。69%的被试决定在他们的四次购买决定中至少切换一次，在29%的决定中，我们观察到了一个切换，这意味着他们决定把他们最初从第1阶段的选择改为选择一个推荐的产品。我们认为切换的被试的比例是实质性的，因为切换实际上意味着受访者含蓄地承认他们没有在第一阶段选择最佳产品。实验结束时我们问被试在多大程度上他们想要在真正的超市收到类似的增强现实信息（“有多希望在超市进行通常购物时得到像你刚刚看到的额外产品信息，评分从1（一点也不想到）7（非常想）？”）。69%的受访者回答说，获得更多的产品信息将相当好、想要或很想要。23%的受访者回答说，都可以，只有8%的人回答说，不想获得这种信息。虽然只获得了一个小的学生样本，但这些结果表明，消费者可能对使用该技术感兴趣。此外，我们还询问了在虚拟超市的购买体验有多现实。只有20%的被试回答说，实验环境相当或非常不现实（评分：1=非常不现实，2=相当不现实，3=中立，4=相当现实，5=非常现实），而其余80%的人评分中等或更好的体验。我们的结论是，被试中相对较低的比例说我们的超市不现实的是一个可改进的结果，因为我们没有努力改善虚拟超市的氛围，正如上面讨论的那样。然而，在这一点上，我们不能得出有效的结论， VR环境是否被认为比一个标准的2D环境更现实。为了研究这个问题，我们必须在2D环境中测试相同的实验设置，并要求受访者评估桌面显示器的真实性。我们的研究表明，被试利用了额外的在增强现实中提供的信息，以及它对被试的决定产生了重大影响。此外，在实验结束时提出的其他问题表明，该技术被评估为是有益的。大多数被试认为，在平常超市购买时，如果有可以在增强现实中获得的额外信息是可取的。综上所述，参照表1中包含的标准，研究首先表明，购买决策具有很高的生态效度，因为它以非常自然的方式展示产品（刺激显示的现实主义）。其次，消费者可以与货架进行互动，从而体验类似于现实世界的产品（互动的现实主义）。第三，在研究中，我们随机化了产品类别、附加信息的变体、产品在货架上的位置和产品的选择（控制和随机化治疗和相关因素）。第四，在研究中，我们不仅自动监控眼睛的注视，而且还自动监控对象的抓取、物体的转动和被试的活动（监控被试的多种模式的可能性）。这些额外的数据可以通过分析来调查被试如何与货架互动，从而研究零售中一个基本上未被探索的问题。第五，眼睛跟踪数据由系统自动注释，因此数据分析可以立即开始，而不需要手动给对象分配注释（编码的工作和可靠性）。也注视着的区域在受访者手中并转身时对包的兴趣可以自动分析。第六，自动注释允许构建辅助系统，基于消费者的注视行为实时提供额外的信息（实时分析和对被访者的注意力和行为做出反应）。第七，基于我们为这项研究所创建的实验环境，我们现在能够轻松地进行后续随访或重复研究（实验环境的可重复性）。完整的实验虚拟现实环境可以与感兴趣的研究人员共享（可以从作者那里获得），这使得复制和验证研究比现场的移动眼球跟踪研究要简单得多。图8.在虚拟现实中进行的移动眼动追踪研究的设置，其中使用彩色轮廓和信息气泡来补充额外信息。本文讨论了在桌面环境、自然环境和虚拟环境中使用眼睛跟踪技术的优缺点。我们认为这一讨论是本文的第一个关键贡献，因为在移动眼球跟踪研究中的挑战和付出努力很少在学术文献中明确说明。首先，对手工注释和准备移动眼球跟踪数据的需要导致了大量的工作需求，这阻碍了这种眼球跟踪方法的采用和使用。其次，作为典型的现场环境，虽然可以增强外部有效性，但可重现性有限。因为每个被试都需要对独特而不断变化的现场环境进行独特而费力的编码，因此，这一限制加剧了前面提到的问题。第三，在这种现场环境中的被试不能被实时分析，因此市场营销人员不能基于实时注视信息给出推荐。通过在虚拟环境中使用眼睛跟踪，所有这三个问题都可以得到解决。因此，我们建议研究人员在考虑如何进行他们未来的眼睛跟踪研究时，应该考虑使用这些环境作为一种选择。我们论文的第二个贡献是，概述了如何在零售和决策中的研究中可以受益于在虚拟现实中使用移动眼球跟踪。虚拟现实保留了大部分的感知模式，特别是三维感知和运动感觉，从而呈现了一种更接近现实生活目标环境的体验。这意味着，当目的是将发现结果推广到真实的商店环境时，它可以提供更大的外部有效性。我们说明了一个使用增强现实信息显示器在虚拟现实中的眼睛跟踪研究的设置。此外，这项研究通过展示额外的产品信息作为对用户眼球运动的反应来举例说明环境与用户实时交互的方式。一旦用户查看产品，自动显示其产品信息是实际商店中没有的功能，但毫无疑问，随着时间的推移，例如使用集成眼睛跟踪的智能眼镜。我们的虚拟现实环境允许早期和有效地测试消费者对这种新的购物功能的反应。因此，未来研究的一项重要任务是测试消费者对增强现实信息显示的接受性。可以预见，不久的将来，眼动追踪技术将被集成到许多电子设备中，例如手机，平板电脑或笔记本电脑，这将生成大量的眼动追踪数据，并可用于深入了解潜在的搜索和消费者的选择过程。
