使用移动眼动追踪器捕捉联合视觉注意力的方法

摘要

使用多式联运传感器是了解社会互动在教育环境中作用的一种有希望的方法。本文介绍了一种使用移动眼动仪从共定位的dyads中捕捉关节视觉注意力的方法。

摘要

随着新技术的进步，有可能以前所未有的准确性在微观层面研究社会互动。高频传感器（如眼动仪、电极活动腕带、EEG 波段和运动传感器）提供毫秒级的观察。这种精度水平使研究人员能够收集关于社交互动的大型数据集。在本文中，我讨论了多个眼动仪如何捕捉社会互动、联合视觉关注（JVA）的基本结构。JVA已被发展心理学家研究，以了解儿童如何获得语言，学习科学家如何理解小团体学习者如何合作，社会科学家了解小团队的互动。本文介绍了一种使用移动眼动仪在共置设置中捕获 JVA 的方法。它提出了一些经验结果，并讨论了捕获微观观测以了解社会相互作用的影响。

引言

在过去的一个世纪里，JVA得到了广泛的研究，特别是由研究语言习得的发展心理学家。人们很快发现，共同的关注不仅仅是一种学习单词的方式，而是^{儿童思想理论}的先兆。因此，它在许多社会过程中起着重要的作用，例如与他人沟通、协作和培养同理心。例如，孤独症儿童缺乏与照顾者协调视觉注意力的能力，这与严重的社会缺陷有关^2。人类需要共同关注，成为社会的功能成员，协调自己的行动，并学习他人。从儿童获得他们的第一句话，青少年学习从学校教师，学生合作的项目，到成人群体为共同的目标，共同的关注是建立个人之间的共同点的基本机制^3。本文重点研究了JVA在教育研究方面的研究。了解共同关注如何随时间发展对于研究协作学习过程至关重要。因此，它在社会建构主义环境中起着主导作用。

共同关注的确切定义仍在争论^4。本文涉及联合注意力（JA）的子结构，即JVA。当两个受试者同时查看同一地点时，就会发生 JVA。应当指出，JVA没有提供有关JA研究中其他重要的要约的信息，例如监测共同、相互和共同的关注，或者更普遍地监测另一个集团成员的认知意识。本文通过组合来自两个参与者的眼动追踪数据并分析他们对齐眼睛的频率，对 JVA 进行操作和简化。对于更全面的讨论，感兴趣的读者可以了解更多关于研究在Siposovaetal4.

在过去的十年中，技术进步从根本上改变了对JVA的研究。主要的范式转变是使用多个眼动仪来获得注意力对齐的定量测量，而不是在实验室或生态环境中对录像进行定性分析。这一发展使研究人员能够收集有关dyads视觉协调的精确、详细的信息。此外，眼动仪正变得越来越实惠:直到最近，他们的使用被保留给学术机构或大公司。现在，可以购买价格低廉的眼动仪来生成可靠的数据集。最后，将凝视跟踪功能逐步纳入高端笔记本电脑、虚拟和增强现实耳机等现有设备表明，眼动追踪将很快变得无处不在。

由于眼动追踪设备的普及，了解它们能够和不能告诉我们的社交互动非常重要。本文介绍的方法标志着朝这个方向迈出的第一步。我解决了从多个眼动仪捕获 JVA 的两个挑战:在 1） 时间尺度上同步数据，在空间尺度上同步 2）。更具体地说，该协议利用放置在真实环境中的基准标记来通知计算机视觉算法，参与者在哪些位置引导他们的目光。这种新方法为严格分析小群体中的人类行为铺平了道路。

本研究规程符合哈佛大学人类研究伦理委员会的指导方针。

研究方案

1. 参与者筛选

1. 确保招募具有正常或矫正视力的参与者。因为参与者将被要求佩戴移动眼动仪，他们可以戴隐形眼镜，但不能戴普通的眼镜。

2. 实验准备

1. 眼动追踪设备
   1. 使用任何能够捕捉真实环境中眼动的移动眼动仪。
      注:此处使用的移动眼动仪是两个托比专业眼镜2（见材料表）。除了可以跟踪眼睛运动的专用摄像机外，眼镜还配备了高清场景摄像头和麦克风，以便在用户视觉场的上下文中可视化凝视。这些眼镜每秒捕获 50 次凝视数据。其他研究人员已经使用ASL移动眼^5，SMI6，或学生实验室^7，所有这些都提供视频流从场景摄像头和眼跟踪坐标在不同的采样率（30-120赫兹）。下面的过程可能与其他眼动追踪设备略有不同。
2. 基准标记
   1. 以下两个步骤（即时间和空间对齐）需要使用基准标记。有几个计算机视觉库为研究人员提供这些标记和算法，以在图像或视频源上检测它们。所述协议使用奇利塔格库^8。
3. 时序对齐
   1. 由于眼动追踪数据记录在两个单独的单元上，因此请确保数据正确同步（图 1）。可以使用两种主要方法。此手稿仅涵盖第一种方法，因为服务器同步与每个品牌的移动眼动仪的工作方式不同。
      1. 在计算机屏幕上简要显示基准标记，以标记会话的开始和结束。这类似于视觉"手拍" （图 2）。
      2. 或者，使用服务器同步两个数据收集单元的时钟。此方法稍微更准确，如果需要更高的时间精度，建议使用此方法。
4. 空间对齐
   1. 要查找两个参与者是否同时查看同一位置，请将其视线映射到公共平面。此平面可以是实验设置的图片（参见图 3的左侧）。在实验前仔细设计此图像。
   2. 基准标记的大小:基准标记的一般大小取决于用于从眼动视频检测它们的算法。靠近参与者的曲面可以具有较小的基准标记，而离参与者较远的曲面需要更大，以便从参与者的角度来看它们看起来相似。请事先尝试不同的大小，以确保可以从眼动追踪视频中检测到它们。
   3. 基准标记数:要使将注视点映射到公共平面的过程成功，请确保在任意给定时间从参与者的角度看到多个基准标记。
   4. 基准标记的位置:使用基准标记条将相关感兴趣区域框上（例如，参见图 3中的笔记本电脑屏幕）。
5. 最后，运行引导来测试同步过程并确定基准标记的最佳位置、大小和数量。可通过计算机视觉算法处理眼动视频，以查看基准标记是否可靠检测到。

3. 运行实验

1. 指示
   1. 指示参与者戴上眼动眼镜，就像戴普通眼镜一样。根据参与者独特的面部特征，可能需要使用不同高度的鼻片来保持数据质量。
   2. 打开眼动仪后，让参与者将录制单元剪辑到自己，以允许自然的身体运动。
2. 校准
   1. 在启用软件的校准功能时，指示学员查看 Tobii 提供的校准标记的中心。校准完成后，可以从软件内开始录制。
   2. 指示学员在校准后不要移动移动眼动仪。如果这样做，数据可能不准确，需要再次执行校准过程。
3. 数据监控
   1. 在研究期间监控数据收集过程，并确保正确收集眼动追踪数据。大多数移动眼动仪都可以在单独的设备（例如平板电脑）上提供实时流。
4. 数据导出
   1. 录制会话完成后，指示学员取下眼动镜和数据收集单元。关闭设备。
   2. 通过从导入会话数据的数据收集单元中删除 SD 卡，使用另一个软件 Tobii Pro Lab 提取数据。Tobii Pro Lab 可用于重播视频、创建可视化效果，以及将眼动追踪数据导出为逗号分隔 （.csv） 或选项卡分隔 （.tsv） 文件。

4. 预处理双眼跟踪数据

1. 健全性检查眼动追踪数据
   1. 数据收集后，目视地检查眼动追踪数据。对于某些参与者来说，缺少数据的情况并不少见。例如，某些特定的眼睛生理学可能会给眼动追踪算法带来问题，眼镜可能在实验期间移动，数据收集软件可能会崩溃，等等。
   2. 使用描述性统计信息检查每个会话期间丢失的数据量，并排除大量缺少或嘈杂数据的会话。
2. 时序对齐
   1. 修剪来自每个移动眼动仪的数据，以仅包括参与者之间的交互。这可以通过使用上述方法来实现（即，在会话开始和结束时向参与者显示两个特殊的基准标记）。然后，可以从眼动视频中检测到这些基准标记以修剪数据集。
3. 空间对齐
   注: 要检测两个参与者是否同时查看同一位置，有必要将参与者的凝视重新映射到公共平面（即实验设置的图像）。实现这一目标的计算方法是同源法（即平面的透视变换）。从技术角度看，空间中同一平面表面的两个图像由同声矩阵相关。基于一组公共点，此矩阵可用于推断两个平面之间附加点的位置。例如，在图3中，如果计算机视觉算法知道讲道上的基准标记的位置，它可以将参与者的注视重新映射到左侧的共性平面上。白线连接每个参与者的视频源和场景共享的两组点，然后用于构建同源图以重新映射左侧的绿色和蓝色点。
   1. 使用 Python 版本的 OpenCV，例如，从基准标记计算同声矩阵，然后将眼动跟踪数据重新映射到实验设置（或您选择的语言中的任何其他合适的库）的场景。OpenCV 提供了两个有用的功能:查找宏图（）以获取同源矩阵，以及透视变换（）将点从一个透视转换为另一个透视。
   2. 要使用findHomical（）运行有两个参数:源点的 X、Y 坐标（即从参与者的场景视频中检测到的基准标记，如图3右侧所示）和相应的目标点（即，在场景图像上检测到的相同基准标记，如图3左侧所示）。
   3. 将生成的同源矩阵馈入透视 Transform（）函数，以及需要从源图像映射到目标图像的新点（例如，如图 3右侧显示为蓝色/绿色点的眼动追踪数据）。透视变换函数返回场景图像上相同点的新坐标（即图 3左侧显示的蓝色/绿色点）。
      注: 有关详细信息，OpenCV 官方文档提供了示例代码和示例来实现同源:docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html。
4. 健全检查同源性
   1. 完成整个会话的第 4.3 节，并在移动眼动视频的每个帧上执行同声注，以检查同源学的质量。虽然没有自动方法估计生成的眼动跟踪数据的准确性，但应使用如图 4所示的视频来手动检查每个会话的健全性。
   2. 如果质量低于预期，请考虑其他参数以改善同源学的结果:
      1. 检测到的基准标记数:仅当可以从视频流中检测到足够的基准标记时，才执行同源形。可以通过检查上面制作的视频来确定此数字。
      2. 基准标记的位置:如果不同的标记位于不同的深度和方向，则当选择最接近注视坐标的标记时，同源学的质量通常会提高，因为有足够的标记来构建坚固的标记同源学。
      3. 基准标记的方向:组合具有不同方向（例如水平和垂直）的基准标记会产生不准确的同义。建议首先检测参与者正在查看的平面或兴趣区域 （AOI），例如计算机屏幕、备忘单、表格，参见图 3），然后使用此平面上的基准标记进行同源。
      4. 视频流的质量:突然的头部移动会使视频帧模糊，使数据无法使用，因为无法可靠地检测到基准标记（图 4）。本文的方法不适用于涉及大量突然头部运动的实验。

5. 分析双眼跟踪数据

1. 缺少数据
   1. 为了确保数据正确重新映射到参考图像，生成可视化图形（例如，图 5，图 6）和描述性统计信息，以检查缺少的数据量。
2. 交叉重复图
   1. 使用交叉重复图⁹表示两个参与者之间的视觉同步（图 6），其中 X 轴表示第一个参与者的时间，Y 轴表示第二个参与者的时间。黑色方块表示参与者正在查看同一区域，黑色对角线描述两个对象在同一时间查看同一事物，对角线外的黑色方块描述两个主体在时滞下查看同一事物的情况。最后，区分缺失数据（白色方块）和没有 JVA（灰色方块）的现有数据有助于识别有问题的会话。这为研究人员提供了视觉健全性检查。
3. 计算 JVA
   1. 筛选缺失数据后，通过计算参与者的注视在 -2/+2 s 时间窗口中场景中相同半径（定义如下）的次数来计算 JVA 的指标。将此数字除以可用于计算 JVA 的有效数据点数。划分的结果代表两个主体在同一地点共同查看的时间百分比。最后一步是必要的，以避免在同源学之后使组的分数增加，并带有更多的数据。
      注: 在计算 JVA 之前，需要设置两个参数:两个凝视点之间的最小距离，以及它们之间的时间窗口 （图 7: 1） 时间窗口:早期基础研究¹⁰使用单个眼动仪测量侦听器和扬声器之间的 JVA。研究人员让第一组参与者（"演讲者"）谈论一个电视节目，剧中人物出现在他们面前。然后，第二组参与者（"听众"）在收听扬声器的录音时观看了同一节目。比较了说话者和听众的眼动，发现听众的眼睛运动与说话者的眼睛运动非常匹配，延迟2s。在随后的研究中^，11名研究人员分析了实时对话，发现JVA的最佳捕捉瞬间延迟了3个。由于每个任务都是唯一的，并且可能表现出不同的时滞，因此建议探索不同的时滞如何影响给定实验的结果。总体而言，根据实验任务在 ± 2/3 s 的时间窗口中查找 JVA，然后探索不同的时滞如何更改结果是很常见的。2） 凝视之间的距离:两个注视之间没有经验定义的距离，可以将它们计为 JVA。这个距离取决于研究人员定义的研究问题。研究问题应说明感兴趣的目标的大小。在图 7中看到的示例中，选择场景图像的半径为 100 像素（蓝色/绿色圆圈）进行分析，因为当参与者在迷宫中观察机器人时，以及计算机屏幕上的类似用户界面元素（这是此实验任务的两个主要兴趣区域）足以捕获。

结果

上述方法用于研究学习物流职业培训项目（n = 54）¹²的学生。在这个实验中，一对学生与模拟小型仓库的有形用户界面（TUI）进行了交互。在 TUI 上放置的基准标记允许研究团队将学生的目光重新映射到公共平面和计算 JVA 级别。研究结果显示，JVA水平较高的群体往往在交给他们的任务上做得更好，学习更多^{，协作质量}更好（图8，左侧）。...

讨论

本文中描述的方法提供了一种在共置的 dyads 中捕获 JVA 的严格方法。随着经济实惠的传感技术和计算机视觉算法的改进，现在可以以以前无法达到的精度研究协作交互。该方法利用在环境中传播的基准标记，并使用同质图形将参与者的目光重新映射到公共平面上。这使得研究人员能够严格研究同置组的JVA。

此方法包括需要在实验的各个点执行的多个健全性检查。由于这是一?...

材料

Name	Company	Catalog Number	Comments
Tobii Glasses 2	Tobii	N/A	https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers	Chili lab – EPFL, Switzerland	N/A	https://github.com/chili-epfl/chilitags