Name: a methodology for capturing joint visual attention using mobile eye-trackers
Uploaded: 2020-01-18T14:00:00
Description: Watch this Scientific Journal Video about A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers at JoVE.com

这一方法的开发得到了国家科学基金会（NSF #0835854、由瑞士教育、研究和创新国务秘书会和哈佛教育学院院长风险基金资助的职业教育领先之家技术的支持。

1. 参与者筛选
<ol><li>确保招募具有正常或矫正视力的参与者。因为参与者将被要求佩戴移动眼动仪，他们可以戴隐形眼镜，但不能戴普通的眼镜。</li>
</ol>2. 实验准备
<ol><li>眼动追踪设备<ol>
<li>使用任何能够捕捉真实环境中眼动的移动眼动仪。 注：此处使用的移动眼动仪是两个托比专业眼镜2（见材料表）。除了可以跟踪眼睛运动的专用摄像机外，眼镜还配备了...

<ol>
	<li>Tomasello, M., Moore, C., Dunham, P. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Joint+attention+as+social+cognition.">Joint attention as social cognition.</a> Joint attention: Its origins and role in development. , 103-130 (1995).</li><li>Mundy, P., Sigman, M., Kasari, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+longitudinal+study+of+joint+attention+and+language+development+in+autistic+children.">A longitudinal study of joint attention and language development in autistic children.</a> Journal of Autism and Developmental Disorders. 20, 115-128 (1990).</li><li>Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Grounding+in+communication.">Grounding in communication.</a> Perspectives on socially shared cognition. , 127-149 (1991).</li><li>Siposova, B., Carpenter, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+new+look+at+joint+attention+and+common+knowledge.">A new look at joint attention and common knowledge.</a> Cognition. 189, 260-274 (2019).</li><li>Gergle, D., Clark, A. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=See+What+I'm+Saying?:+Using+Dyadic+Mobile+Eye+Tracking+to+Study+Collaborative+Reference.">See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference.</a> Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).</li><li>Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Spatial+References+with+Gaze+and+Pointing+in+Shared+Space+of+Humans+and+Robots.">Spatial References with Gaze and Pointing in Shared Space of Humans and Robots.</a> Spatial Cognition IX. , 121-136 (2014).</li><li>Shvarts, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automatic+detection+of+gaze+convergence+in+multimodal+collaboration:+a+dual+eye-tracking+technology.">Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology.</a> The Russian Journal of Cognitive Science. 5, 4 (2018).</li><li>. Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: <a target="_blank" href="https://github.com/chili-epfl/qml-chilitags">https://github.com/chili-epfl/qml-chilitags</a> (2013)</li><li>Jermann, P., Mullins, D., N&#252;ssli, M. -. A., Dillenbourg, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Collaborative+Gaze+Footprints:+Correlates+of+Interaction+Quality.+Connecting+Computer-Supported+Collaborative+Learning+to+Policy+and+Practice.">Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice.</a> CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).</li><li>Richardson, D. C., Dale, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Looking+To+Understand:+The+Coupling+Between+Speakers'+and+Listeners'+Eye+Movements+and+Its+Relationship+to+Discourse+Comprehension.">Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension.</a> Trends in Cognitive Sciences. 29, 1045-1060 (2005).</li><li>Richardson, D. C., Dale, R., Kirkham, N. Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Art+of+Conversation+Is+Coordination+Common+Ground+and+the+Coupling+of+Eye+Movements+During+Dialogue.">The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue.</a> Psychological Science. 18, 407-413 (2007).</li><li>Schneider, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+Mobile+Eye-Trackers+to+Unpack+the+Perceptual+Benefits+of+a+Tangible+User+Interface+for+Collaborative+Learning.">Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning.</a> ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).</li><li>Meier, A., Spada, H., Rummel, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+rating+scheme+for+assessing+the+quality+of+computer-supported+collaboration+processes.">A rating scheme for assessing the quality of computer-supported collaboration processes.</a> Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).</li><li>Schneider, B., Pea, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Real-time+mutual+gaze+perception+enhances+collaborative+learning+and+collaboration+quality.">Real-time mutual gaze perception enhances collaborative learning and collaboration quality.</a> Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).</li></ol>

本文中描述的方法提供了一种在共置的 dyads 中捕获 JVA 的严格方法。随着经济实惠的传感技术和计算机视觉算法的改进，现在可以以以前无法达到的精度研究协作交互。该方法利用在环境中传播的基准标记，并使用同质图形将参与者的目光重新映射到公共平面上。这使得研究人员能够严格研究同置组的JVA。
此方法包括需要在实验的各个点执行的多个健全性检查。由于这是一?...

在过去的一个世纪里，JVA得到了广泛的研究，特别是由研究语言习得的发展心理学家。人们很快发现，共同的关注不仅仅是一种学习单词的方式，而是儿童思想理论的先兆。因此，它在许多社会过程中起着重要的作用，例如与他人沟通、协作和培养同理心。例如，孤独症儿童缺乏与照顾者协调视觉注意力的能力，这与严重的社会缺陷有关2。人类需要共同关注，成为社会的功能成员，协调自己的行动，并学习他人。从儿童获得他们的第一句话，青少年学习从学校教师，学生合作的项目，到成人群体为共同的目标，共同的关注是建立个人之间的共同点的基本机制3。本文重点研究了JVA在教育研究方面的研究。了解共同关注如何随时间发展对于研究协作学习过程至关重要。因此，它在社会建构主义环境中起着主导作用。
共同关注的确切定义仍在争论4。本文涉及联合注意力（JA）的子结构，即JVA。当两个受试者同时查看同一地点时，就会发生 JVA。应当指出，JVA没有提供有关JA研究中其他重要的要约的信息，例如监测共同、相互和共同的关注，或者更普遍地监测另一个集团成员的认知意识。本文通过组合来自两个参与者的眼动追踪数据并分析他们对齐眼睛的频率，对 JVA 进行操作和简化。对于更全面的讨论，感兴趣的读者可以了解更多关于研究在Siposovaetal4.
在过去的十年中，技术进步从根本上改变了对JVA的研究。主要的范式转变是使用多个眼动仪来获得注意力对齐的定量测量，而不是在实验室或生态环境中对录像进行定性分析。这一发展使研究人员能够收集有关dyads视觉协调的精确、详细的信息。此外，眼动仪正变得越来越实惠：直到最近，他们的使用被保留给学术机构或大公司。现在，可以购买价格低廉的眼动仪来生成可靠的数据集。最后，将凝视跟踪功能逐步纳入高端笔记本电脑、虚拟和增强现实耳机等现有设备表明，眼动追踪将很快变得无处不在。
由于眼动追踪设备的普及，了解它们能够和不能告诉我们的社交互动非常重要。本文介绍的方法标志着朝这个方向迈出的第一步。我解决了从多个眼动仪捕获 JVA 的两个挑战：在 1） 时间尺度上同步数据，在空间尺度上同步 2）。更具体地说，该协议利用放置在真实环境中的基准标记来通知计算机视觉算法，参与者在哪些位置引导他们的目光。这种新方法为严格分析小群体中的人类行为铺平了道路。
本研究规程符合哈佛大学人类研究伦理委员会的指导方针。

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Tobii Glasses 2</td>
			<td>Tobii</td>
			<td>N/A</td>
			<td><a href="https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/" target="_blank">https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/</a></td>
		</tr>
		<tr>
			<td>Fiducial markers</td>
			<td>Chili lab &#8211; EPFL, Switzerland</td>
			<td>N/A</td>
			<td><a href="https://github.com/chili-epfl/chilitags" target="_blank">https://github.com/chili-epfl/chilitags</a></td>
		</tr>
	</tbody>
</table>

a methodology for capturing joint visual attention using mobile eye-trackers

随着新技术的进步，有可能以前所未有的准确性在微观层面研究社会互动。高频传感器（如眼动仪、电极活动腕带、EEG 波段和运动传感器）提供毫秒级的观察。这种精度水平使研究人员能够收集关于社交互动的大型数据集。在本文中，我讨论了多个眼动仪如何捕捉社会互动、联合视觉关注（JVA）的基本结构。JVA已被发展心理学家研究，以了解儿童如何获得语言，学习科学家如何理解小团体学习者如何合作，社会科学家了解小团队的互动。本文介绍了一种使用移动眼动仪在共置设置中捕获 JVA 的方法。它提出了一些经验结果，并讨论了捕获微观观测以了解社会相互作用的影响。

上述方法用于研究学习物流职业培训项目（n = 54）12的学生。在这个实验中，一对学生与模拟小型仓库的有形用户界面（TUI）进行了交互。在 TUI 上放置的基准标记允许研究团队将学生的目光重新映射到公共平面和计算 JVA 级别。研究结果显示，JVA水平较高的群体往往在交给他们的任务上做得更好，学习更多，协作质量更好（图8，左侧）。...

Watch this Scientific Journal Video about A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers at JoVE.com

A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers

使用多式联运传感器是了解社会互动在教育环境中作用的一种有希望的方法。本文介绍了一种使用移动眼动仪从共定位的dyads中捕捉关节视觉注意力的方法。

使用移动眼动追踪器捕捉联合视觉注意力的方法

With the advent of new technological advances, it is possible to study social interactions at a microlevel with unprecedented accuracy. High frequency ...

嗨，我叫贝特朗·施耐德，我是哈佛教育研究生院的助理教授。在这个视频中，我要向您展示我们如何使用移动眼动仪来捕捉社会科学中的中央结构，共同的视觉关注。心理学家对联合视觉注意力进行了广泛的研究，发现这种注意力与群体成员之间相互作用的质量密切相关。事实证明，当人们建立一个共同点，并建立一个共同的理解任务，他们往往经常看同一个地方在同一时间。传统上，研究人员通过手动编码视频对联合视觉关注进行定性研究。我将向您展示我们如何使用移动眼动仪在同一位置设置中获取此构造的定量度量。在这个视频中，我们将使用托比专业眼镜二。这些眼镜是可穿戴的眼动仪，可以在真实环境中捕捉眼动。除了在车架上专门摄像头跟踪眼睛运动外，该设备还配备了全高清场景摄像头和麦克风，因此凝视行为可以在佩戴者视觉领域的上下文中可视化。由于这些眼镜的凝视被捕获50次/秒，从眼镜的实时视频源可以通过无线或通过以太网电缆流到计算机。不过，眼镜有一个限制，因为它们不会用普通眼镜。设置眼动仪的程序相对简单。首先，参与者将被要求戴上眼动追踪眼镜，就像戴上普通眼镜一样。根据参与者独特的面部特征，可能需要使用不同高度的鼻片来保持数据质量。打开眼动仪后，参与者应将数据收集单元剪辑到其人员中，以便进行无拘无束的身体运动。应打开 Tobii Pro 眼镜控制器，并指示学员查看 Tobii 提供的校准标记的中心，同时启用软件的校准功能。校准完成后，可以从软件内部开始录制。录制会话完成后，在指示参与者取下眼动追踪眼镜和数据收集单元之前，从 Tobii 软件终止录制。然后，关闭设备。数据可以通过另一个软件 Tobii Pro Lab 提取，从数据收集单元中删除 SD 卡并将卡插入计算机。Tobii Pro 实验室能够同时导入存储在 SD 卡中的所有录制会话。然后，可以在 Tobii Pro 实验室中处理文件，以生成视频、不同的可视化效果或输出为选项卡分隔值或 TSV 文件，以作进一步分析。在这里，您可以看到我们最近进行的一项研究的原始眼动追踪数据，其中两名参与者正在学习对机器人进行编程。每一侧都可以看到每个眼动器生成的视频流，以及参与者的凝视位置。如您所看到的，无法判断他们是否同时查看同一位置，因为每个参与者的观点是不同的。此外，数据记录可能在不同的时间开始。这意味着数据需要从时间和空间上同步。我将在此视频中向您展示如何解决这两个问题。首先，我来描述一个暂时同步数据的过程。对于第一个参与者，您有一定数量的视频帧。其中一些是在实际实验任务之前或之后。就像第一帧，实验者正在校准眼动仪。同样，对于其他参与者，您拥有相同类型的数据。此处不显示，但视频的每个帧也与表示每个参与者的凝视的 x 和 y 坐标关联。为了同步数据，我们在实验任务之前和之后的计算机屏幕上简要地显示了一个基准标记。通过使用计算机视觉算法，我们可以检测何时向每个参与者显示此标记，从而使我们能够修剪和对齐数据。因此，这是处理数据同步问题的一种方式。接下来的部分，我们将讨论第二个问题：如何以空间同步数据。如前所述，数据来自每个眼动仪，其形式是视频源，与每个参与者的凝视位置相关，以蓝色和绿色表示。虽然 x 坐标和 y 坐标对两个参与者可能相同，但这并不意味着他们查看同一个位置，因为他们从两个不同的角度看待屏幕。解决此问题的一个方法是构建一个实验设置的图像，作为参考，以及我们将重新映射每个参与者案例的位置。这允许我们检测眼动追踪视频的每帧，如果参与者同时查看同一位置。但是，我们如何将这些坐标重新映射到左侧的图像中呢？我们将使用相同的合作视觉算法，使我们能够更早地同步数据。通过将它应用于视频录制的每一帧，我们现在可以从参与者的角度检测基准标记的位置。这允许我们在左侧的参考图像上连接相同的标记。通过了解这组共享点的坐标，我们可以使用称为造影的数学运算推断出每个人凝视的位置。通过将此过程应用于每个帧，我们可以生成一个视频，以确保同声成像工作。在右侧，您可以看到每个参与者的视频录制，其凝视位置为蓝色和绿色。相同的基准标记与左侧图像和右侧参与者的观点之间的白线相连。重新映射的凝视显示在左侧，当有一些共同的视觉注意时，它们会变红。生成此视频是确保数据干净且正确执行同声测量的重要步骤。此外，还可以生成另外两个可视化效果来对数据进行理智检查。第一个可视化效果是热图。对于每个参与者，我们可以在实验设置的图像上绘制每个注视点。这可确保同谱工作正常，并允许我们这些案例点分类到不同的利益领域。例如，在这里，我们可以看到，大部分时间都花在看电脑屏幕上，很少花时间看备忘单。第二个可视化称为交叉重复图。交叉重复图允许我们可视化成对参与者的眼动追踪数据。第一个参与者的时间显示在 x 轴上，第二个参与者的时间显示在 y 轴上。黑色方块表示两个参与者都在同一个位置查看，白色方块表示缺失数据，灰色方块表示参与者查看不同位置时。沿对角线的黑色方块表示它们同时查看同一位置。对角线的黑色方块意味着参与者在不同时间看同一个地方。在左侧，您可以看到具有高度关节视觉关注的 dyad。在中间，一个关节视觉关注水平低的 dyad 。在右侧，一组数据大量缺失。通过执行此运行状况检查，可以确保已正确同步数据，并重新映射到实验设置的通用映像中。这些步骤至关重要，需要在进行任何分析之前执行。最后，在计算共同视觉关注的度量之前，需要选择两个参数。第一个参数是参与者可以在其中查看同一位置的时间窗口。理查森和戴尔先前的工作已经确定，参与者最多需要两秒钟才能脱离他们正在做的事情，以关注他们的伴侣在做什么。因此，我们确定，如果两个参与者在正负两个窗口内查看同一位置，则有共同的视觉关注。第二个参数是两个注视点之间的最小距离，以符合共同视觉注意。这种距离取决于上下文，需要由研究人员根据所管理的任务及其研究问题来定义。对于某些任务，距离可能很短。例如，我们使用了 100 个像素。对于其他任务，此距离可能更大。接下来，我介绍一些使用此方法的结果。获取组中联合视觉关注量的估计值后，可以将此度量值与其他感兴趣的变量关联。例如，在这项工作中，我们将此度量与开发为学习科学（捕获团队协作质量）的评级方案关联起来。对于每个组，我们为此处介绍的 9 个维度分配了分数。例如，人们如何保持相互理解，或者他们多么容易达成共识。这些分数必须获得可接受的可靠性，并具有另一个配额。最后，我们还可以将这些分数聚合到一个常规指标中，该指标近似于每个组的协作质量。我们的工作和其他研究的结果是，联合视觉关注与协作质量显著相关，如前面介绍的评级方案所衡量的。使用此编码方案获得高度评价的组往往比获得低分的组有更多的联合视觉关注。这表明，富有成效的互动往往与更多的共同视觉关注相关。在下一张幻灯片上，我将向您展示另一个基于此发现的结果。因此，拥有精细眼动追踪数据的一个优点是，我们可以提取其他联合视觉注意力的测量方法。例如，我们可以计算谁发起并响应了联合视觉关注的提供。特别是，在此图的 x 轴上，零分表示这些行为的相等分布，而一个分数意味着一个人总是响应或启动加入视觉关注的瞬间。在这项研究中，我们发现与通过测试前和测试后测量的y轴上显示的学习收益呈反比关系。同一人一贯启动或响应共同视觉关注的瞬间的组不太可能学习，而同样分担这种责任的组在测试后控制考前分数时更有可能在考试后得分较高。在这段视频中，我介绍了帮助研究人员在时间和空间上同步移动眼动追踪数据的方法。结果表明，双眼动追踪数据可以通过计算共同视觉注意的测量来提供协作指标。此外，我提出的结果表明，我们可以超越简单的共同关注测量，例如，通过查看谁发起或响应了一个共同视觉关注的插曲。我们发现，这一措施与其他成果措施有关，例如学习收益。如果没有眼动追踪数据，计算这种测量是不可能的。总之，我们发现本视频中介绍的方法可以帮助研究人员获得对协作流程的新见解。非常感谢您观看此视频，请随时参考报纸了解更多信息。

Research

JoVE Journal

Behavior

Automated Visual Cognitive Tasks for Recording Neural Activity Using a Floor Projection Maze

使用地面投影迷宫自动化视觉认知任务记录神经活动

Neuropsychological tasks used in primates to investigate mechanisms of learning and memory are typically visually guided cognitive tasks. We have ...

科研

行为学

The 5-Choice Serial Reaction Time Task: A Task of Attention and Impulse Control for Rodents

5选择序列反应时任务：注意的任务和脉冲控制鼠害

This protocol describes the 5-choice serial reaction time task, which is an operant based task used to study attention and impulse control in rodents. ...

Topographical Estimation of Visual Population Receptive Fields by fMRI

人口视觉感受野由功能磁共振成像地形估计

Visual cortex is retinotopically organized so that neighboring populations of cells map to neighboring parts of the visual field. Functional magnetic ...

Methods to Test Visual Attention Online

方法在线测试视觉注意

Online data collection methods have particular appeal to behavioral scientists because they offer the promise of much larger and much more representative ...

A Method to Quantify Visual Information Processing in Children Using Eye Tracking

一种方法来量化视觉信息加工儿童使用眼动追踪

Visual problems that occur early in life can have major impact on a child's development. Without verbal communication and only based on observational ...

Visualizing Visual Adaptation

可视化视觉适应

Many techniques have been developed to visualize how an image would appear to an individual with a different visual sensitivity: e.g., because of optical ...

Measuring Attention and Visual Processing Speed by Model-based Analysis of Temporal-order Judgments

通过颞阶判决的基于模型的分析测量注意力和视觉处理速度

This protocol describes how to conduct temporal-order experiments to measure visual processing speed and the attentional resource distribution. The ...

Central and Divided Visual Field Presentation of Emotional Images to Measure Hemispheric Differences in Motivated Attention

中央和分割的视觉场表现的情绪图像, 以测量半球的差异, 激发注意

Two dominant theories on lateralized processing of emotional information exist in the literature. One theory posits that unpleasant emotions are processed ...

Methodology for Establishing a Community-Wide Life Laboratory for Capturing Unobtrusive and Continuous Remote Activity and Health Data

建立社区范围的生命实验室以捕获不显眼和持续的远程活动和健康数据的方法

An end-to-end suite of technologies has been established for the unobtrusive and continuous monitoring of health and activity changes occurring in the ...

Visual Classical Conditioning in Wood Ants

Several species of insects have become model systems for studying learning and memory formation. Although many studies focus on freely moving animals, ...