Name: using eye movements recorded in the visual world paradigm to explore the online processing of spoken language
Uploaded: 2018-10-13T12:30:00
Description: Watch this Scientific Journal Video about Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language at JoVE.com

这项研究是由北京语言文化大学科学基金会在中央大学基础研究基金 (批准编号 15YJ050003) 的支持下进行的。

所有科目必须在实验规程的管理前给予知情的书面同意。所有程序、同意书和实验协议均由北京语言文化大学研究伦理委员会批准。
注意: 使用视觉世界范式的理解研究通常包括以下步骤: 介绍要探讨的理论问题;形成实验设计;准备视觉和听觉刺激;对实验设计的理论问题进行了框架分析;选择一个眼动仪跟踪参与者的眼球运动;选择软件并使用软件构建脚本来呈现刺激;对记录的?...

要进行视觉世界研究, 需要遵循几个关键步骤。首先, 研究人员打算通过视觉世界中的参与者的眼球运动推断出触觉所呈现的语言的解释。今后, 在设计视觉刺激的布局时, 应控制可能影响参与者眼球运动的自然任务中眼球运动的性质。然后可以识别口语对参与者眼球运动的影响。第二, 口语中的声学提示是瞬态的, 没有与特定语言类别完全对应的声学特征。为了正确地锁定参与者在某些语言标记开?...

口语是一种快速、持续的信息流, 它马上就会消失。这是一个挑战, 实验研究这个时间, 快速改变语音信号。视觉世界范式中记录的眼球运动可以用来克服这一挑战。在使用视觉世界范式的典型眼动追踪研究中, 参与者对显示的图片或视觉工作区中的真实对象的眼球移动会在他们收听或生成描述视觉世界内容的口头语言时受到监控1 ,2,3,4。这一范式背后的基本逻辑或关联假说是, 理解或规划话语将 (公然或秘密地) 将参与者的视觉注意力转移到视觉世界中的某一特定对象上。这种注意力转移将有很高的可能性, 以启动一个眼跳眼球运动, 使参与的区域进入中心凹视觉。有了这个范式, 研究人员打算确定在什么时间点, 关于语音信号中的一些声学标志, 参与者的视觉注意力的转移发生, 由眼跳眼球运动到对象或视觉上的图片测量世界。然后, 在眼跳眼动与语音信号相关的时间和位置, 用于推断在线语言处理。视觉世界范式可以用来研究口语理解1,2和生产5,6。这篇方法论文章将侧重于理解研究。在使用视觉世界范式的理解研究中, 在视觉显示中, 参与者的眼球运动会受到监控, 因为他们听着关于视觉显示的说话话语。
在历史上设计了不同的眼动追踪系统。最简单、最便宜、最便携的系统只是普通的摄像机, 它记录了参与者眼睛的图像。然后通过视频录制的逐帧检查手动编码眼球运动。然而, 这种眼动仪的采样率相对较低, 编码过程耗时。因此, 现代商业眼动追踪系统通常使用光学传感器测量其轨道7、8、9的方向。要了解现代商业眼动追踪系统的工作原理, 应考虑以下几点。首先, 要正确测量中心凹视觉的方向, 红外照明器 (通常与波长约为 780-880 nm) 通常沿或关闭相机的光轴, 使瞳孔的图像成绩亮或暗比周围的虹膜。瞳孔和/或瞳孔角膜反射 (通常是第一个浦肯野图像) 的图像, 然后用于计算在其轨道的眼睛的方向。其次, 视觉世界中的凝视位置实际上不仅取决于头部的眼睛方向, 还取决于视觉世界的头部方向。为了准确推断眼睛方向的视线, 眼睛追踪器的光源和相机都固定在参与者头部 (头部安装的眼动仪) 上, 或固定在视觉世界 (表安装或远程眼动追踪器)。第三, 参与者的头部方向必须固定在视觉世界上, 或者如果参与者的头部可以自由移动, 则计算得到补偿。当远程眼动仪在无头移动模式下使用时, 通常会通过在参与者前额放置一个小贴纸来记录参与者的头部位置。然后从眼睛方向减去头部方向, 以检索视觉世界中的凝视位置。第四, 然后需要校准和验证过程, 以将眼睛的方向映射到视觉世界中的视线。在校准过程中, 记录了来自已知目标点的参与者的固定样本, 以将原始眼数据映射到视觉世界中的凝视位置。在验证过程中, 参与者的目标点与校准过程相同。在视觉世界中, 通过标定结果与固定目标的实际位置之间存在的差异来判断标定的准确性。为了进一步确认测绘过程的准确性, 通常在每次试验中应用漂移检查, 其中单个固定目标被提交给参与者, 以测量计算的固定位置与实际位置之间的差异。当前目标。
视觉世界研究的主要数据是在视觉世界中以眼动仪的采样率记录的凝视位置的流, 范围在整个或部分的试验持续时间内。在视觉世界研究中使用的从属变量通常是参与者在特定时间窗的视觉世界中特定空间区域中的样本比例。要分析数据, 首先选择时间窗口, 通常称为感兴趣的期间。时间窗口通常在听觉输入中显示某些语言事件时被时间锁定。此外, 还需要将视觉世界分成几个感兴趣的区域 (ROIs), 其中每一个都与一个或多个对象相关联。其中一个区域包含对应于正确理解口语的对象, 因此通常被称为目标区域。可视化数据的一种典型方法是固定比例图, 其中在时间窗口的每个素材箱中, 每个感兴趣区域的样本的比例平均在参与者和项目之间。
使用从视觉世界中获得的数据, 可以回答不同的研究问题: a) 在粗粒度上, 是受不同听觉语言输入影响的视觉世界中的参与者眼球运动吗？b) 如果有效果, 在审判过程中, 效果的轨迹是什么？它是线性效应还是高阶效应？和 c) 如果有效果, 那么在细粒度水平, 什么时候是最早的时间点, 这样的效果出现, 这一效果持续多久？
要对结果进行统计分析, 应考虑以下几点。首先, 响应变量,即固定的比例, 是低于和高于有界 (介于0和1之间), 这将遵循多项式分布而不是正态分布。此后, 传统的基于正态分布的统计方法, 如 t-检验、方差分析和线性 (混合效应) 模型10, 不能直接利用, 直到比例转换为无界变量, 如使用经验 logit 公式11或已替换为无界依赖变量, 如欧氏距离12。不需要假设正态分布的统计技术, 如广义线性 (混合效应) 模型13也可以使用。其次, 为了探索观察效果的变化轨迹, 需要将时间序列的变量添加到模型中。这个时间序列变量最初是眼睛跟踪器的采样点重新调整到语言输入的起始位置。由于变化的轨迹通常不是线性的, 所以时间序列的高阶多项式函数通常被添加到 (广义) 线性 (混合效应) 模型中,即增长曲线分析14。此外, 参与者在当前采样点的眼位置高度依赖于以前的采样点, 特别是当记录频率较高时, 导致自相关问题。为了减少相邻采样点之间的自相关, 原始数据通常是向下采样或装箱的。近年来, 广义加法混合效应模型 (大卫甘姆) 也被用于处理自相关误差12、15、16。不同的研究中, 箱的宽度各不相同, 从几毫秒到几毫秒不等。研究可以选择的最窄的 bin 受特定研究中使用的眼动仪采样率的限制。例如, 如果眼动仪的采样速率为 500 Hz, 则时间窗口的宽度不能小于 2 ms = 1000/500。第三, 当对每一个感兴趣的时间段重复应用统计分析时, 应处理这些多重比较引起的 familywise 误差。正如我们前面所描述的, 轨迹分析告诉研究员, 在粗粒度上观察到的效果是否与时间的变化有关, 但不显示观察到的效果何时开始显现以及观察到的时间效果持续。为了确定观察到的差异开始偏离时的时间位置, 并计算观察到的效果持续的时间周期, 必须对每个时间段重复应用统计分析。无论使用何种统计方法, 这些多项比较都会引入所谓的 familywise 错误。familywise 错误传统上是通过 Bonferroni 调整17修正的。最近, 一种称为非参数置换试验的方法, 最初用于神经影像18 , 已应用于视觉词范式19控制 familywise 错误。
使用视觉世界范式的研究人员打算从视觉世界中的参与者的眼球运动中推断出某些口语的理解。为了确保这一推论的有效性, 其他可能影响眼球运动的因素应该排除在外或被控制。以下两个因素是需要考虑的常见问题之一。第一个因素涉及参与者的解释性固定的一些系统模式独立于语言输入, 如倾向于注视左上样方的视觉世界, 和移动的眼睛在水平方向比在更容易垂直方向等12、20确保观察到的固定模式与对象相关, 而不是对象所在的空间位置, 应平衡对象的空间位置在不同的试验或不同的参与者之间。影响参与者眼球运动的第二个因素是视觉世界中对象的基本图像特征, 如亮度对比度、颜色和边缘方向等21。为了诊断这一潜在的混淆, 视觉显示通常在口语开始之前或在口头语言的关键声学标记开始之前呈现, 约1000毫秒. 在时间段内从起始测试图像到测试音频的起始, 语言输入或语言输入的消歧义点尚未听到。在不同条件之间观察到的任何差异都应推导为其他混杂因素, 如视觉显示本身, 而不是语言输入。从此预览期间观察到的眼球运动为确定语言输入的效果提供了一个基线。这一预览阶段还允许参与者熟悉视觉显示, 并在提出口语时减少解释性固定的系统偏差。
为了说明如何使用视觉世界范式进行典型的眼动追踪研究, 以下协议描述了从 l. 站17改编的实验, 探讨语义复杂语句的在线处理,即析取语句 (S1 或 S2)、合合语句 (S1 和 S2) 和但语句 (S1 但 not-S2)。在普通养护中, 某些话语表达的信息实际上比字面意义更强。如小明的盒子里有一只母牛或一只公鸡这样的言论。从逻辑上讲, 只要两个外加状语小明的盒子里有一头母牛,小明的盒子里装着一只公鸡, 这个分离语句是真的。因此, 当两个外加状语都为真时, 该分离语句是真的, 其中相应的连词语句小明的盒子里包含一头母牛和一只公鸡也是真的。然而, 在普通的谈话中, 听到 "分离语句" 往往表明相应的连词语句是假的 (标量含义);并表明, 这两个外加状语的真理值是由说话人 (无知推断) 所未知的。文献中的科目不同于两个推论是语法还是语用过程22、23、24、25、26。通过探索三个复杂语句的在线处理, 该实验演示了如何利用可视化世界范式来评判这些帐户之间的关系。

<table border="0" cellpadding="0" cellspacing="0" style="width:1101px;" width="1101">
	<tbody>
		<tr height="42">
			<td height="42" style="height:42px;width:216px;">Pixelmator</td>
			<td style="width:129px;">Pixelmator Team</td>
			<td style="width:119px;">http://www.pixelmator.com/pro/</td>
			<td style="width:637px;">image editing app</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;">Praat</td>
			<td style="width:129px;">Open Sourse</td>
			<td style="width:119px;">http://www.fon.hum.uva.nl/praat/</td>
			<td style="width:637px;">Sound analyses and editting software</td>
		</tr>
		<tr height="84">
			<td height="84" style="height:84px;width:216px;">Eyelink 1000plus</td>
			<td style="width:129px;">SR-Research, Inc</td>
			<td style="width:119px;">https://www.sr-research.com/products/eyelink-1000-plus/</td>
			<td style="width:637px;">remote infrared eye tracker&#160;</td>
		</tr>
		<tr height="84">
			<td height="84" style="height:84px;width:216px;">Experimental Builder</td>
			<td style="width:129px;">SR-Research, Inc</td>
			<td style="width:119px;">https://www.sr-research.com/experiment-builder/</td>
			<td style="width:637px;">eye tracker software&#160;</td>
		</tr>
		<tr height="63">
			<td height="63" style="height:63px;width:216px;">Data Viewer</td>
			<td style="width:129px;">SR-Research, Inc</td>
			<td style="width:119px;">https://www.sr-research.com/data-viewer/</td>
			<td style="width:637px;">eye tracker software&#160;</td>
		</tr>
		<tr height="42">
			<td height="42" style="height:42px;width:216px;">R</td>
			<td style="width:129px;">Open Sourse</td>
			<td style="width:119px;">https://www.r-project.org</td>
			<td style="width:637px;">free software environment for statistical computing and graphics</td>
		</tr>
	</tbody>
</table>

using eye movements recorded in the visual world paradigm to explore the online processing of spoken language

在使用视觉世界范式的典型眼动追踪研究中, 参与者在视觉工作区中的物体或图片的眼球运动通过眼动仪记录, 因为参与者产生或理解一种描述并发视觉的口语语言。世界。这种范式具有很高的通用性, 因为它可以在广泛的人群中使用, 包括那些无法阅读和/或不能公然给予他们行为反应的人, 如 preliterate 儿童、老年人和病人。更重要的是, 该范式对语音信号的细粒度操作非常敏感, 它可用于研究多层次语言理解中大多数主题的在线处理, 如细粒度声学语音特征、词的属性和语言结构。本文中描述的协议阐释了如何进行典型的视觉世界眼动跟踪研究, 并举例说明如何利用可视化世界范式来探索一些语义复杂语句的在线处理。

图 4总结了参与者的行为反应。正如我们前面所述, 对合结语句 (S1 和 S2) 的正确响应是大打开框, 如图 1中的方框 a。对但语句 (S1 但不是 S2) 的正确响应是包含第一个提到的动物的小打开框, 如图 1中的方框 D。批判地说, 哪个框被选择到析取语句 (S1 或 S2) 取决于如何处理析取语句:...

Watch this Scientific Journal Video about Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language at JoVE.com

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

可视化世界范式监视参与者在视觉工作区中的眼球运动, 因为他们正在听或说口语。此范式可用于调查各种心理语言学问题的在线处理, 包括语义复杂的语句, 如析取语句。

利用视觉世界范式中的眼球运动探索口语的在线处理

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

此方法可以帮助回答在线处理口语时的关键问题，包括语义复杂的句子，如分离和条件。该技术的主要优点是，它可以在广泛的人群中执行，以研究语言处理领域的大多数主题。展示这个程序的将是研究生徐静。曹一凡、王蒙、杨晓同、詹敏、周学涵是我研究小组的学生。要准备视觉刺激，请从互联网上下载 60 张动物的版权免费剪贴画图像，并在相应的图像编辑器中打开图像。单击"工具"并使用快速选择从每个图像中选择和删除背景。单击"图像"和"图像大小"可将图像调整为 120 x 120 像素，并绘制一个大开 320 x 240 像素框、一个小闭合 160 x 160 像素框和两个小型打开 160 x 240 像素框。打开新文件，为第一个测试图像创建 1，024 x 768 像素模板，然后将框拖动到指定位置。将两个剪贴画图像拖动到大打开框中，将相同的两个图像中的一个拖动到两个小打开框中。然后再创建 59 个测试图像，就像每个动物图像使用两次一样，平衡图像中四个框的空间位置。为了准备口语刺激，设计四个与学员母语的每个测试图像对应的测试句子，总共要记录240个测试句子，其中至少三个四个句子和每个表格中，如图示。招募一名女性母语人士录制四个示例语句，以及实验中使用的所有动物的音频。将 240 个测试句子分为四组，每组包含 15 个连词语句、15 个分离语句、15 个但语句和 15 个填充句。然后，将有关测试刺激的所有重要信息保存到选项卡分隔的文本文件中，每一行对应于 240 个试验中的每个。要构建实验序列，请打开实验生成器并创建新项目。将显示屏幕对象拖动到工作区中，然后重命名工作区说明。单击"插入多行文本资源"并双击以打开块序列以生成块序列。将 EI 摄像机设置节点拖动到块序列中，在 EyeLink 主机 PC 上打开摄像机设置屏幕，以方便摄像机设置校准和验证。单击属性面板中的"校准类型"字段，然后从下拉列表中选择 HV5。要生成试用序列，请将显示屏幕节点拖动到试用序列中，并将其重命名Animal_1_Image。将播放声音节点拖动到试用序列中，并将其重命名Animal_1_Audio。将计时器节点拖动到试用序列中，并将其重命名Animal_1_Audio_Length。继续将其他显示屏幕、播放声音和计时器节点拖动和重命名到试用序列中，直到每个剪贴画图像创建三个节点。然后将漂移校正节点拖动到试用序列中，以引入漂移校正。要生成录制序列，请将新的"显示屏幕"节点拖动到记录序列中。重命名节点Test_Image。双击"显示屏幕"节点以打开屏幕生成器，单击"插入矩形兴趣区域区域"，并绘制四个感兴趣的矩形区域。将计时器节点拖动到工作区中，重命名节点"暂停"，并更改持续时间属性为 500 毫秒。将 Play Sound 节点拖动到工作区并重命名节点Test_Audio，然后将计时器节点拖动到工作区中并将其重命名Test_Audio_Length。然后向工作区中添加键盘节点，重命名节点行为响应，并将"可接受键"属性更改为"向上"、"向下"，向左。若要执行实验，请启动主机 PC 上的系统以启动摄像机的主机应用程序，然后单击显示 PC 上实验项目的可执行版本。输入参与者的名称，然后单击"选择条件值"以运行以从提示窗口中选择组。将小目标贴纸贴在参与者的额头上，以跟踪头部位置，即使瞳孔图像丢失，例如在眨眼或突然移动期间。让学员从 21 英寸 4：3 彩色显示器上放置约 60 厘米，分辨率为 1，024 x 769 像素，其中 27 像素等于一度角度。调整显示器的高度，以确保当参与者直视前方时，他们垂直地观察显示器的中间到顶部 75%的顶部，然后旋转桌面支架上的对焦臂，使眼睛图像对焦。接下来，单击主机 PC 上的"校准"，要求参与者固定五个固定目标的网格，随机连续无任何显著的行为反应，以将参与者的眼睛运动映射到视觉世界中的注视。单击"验证"，要求学员固定在同一固定目标网格上以验证校准结果。通过要求参与者在固定屏幕中央黑点时按键盘上的空格键执行漂移检查。然后通过显示器的显示屏 PC 监视器呈现视觉刺激，同时通过显示器左侧和右侧的一对外部扬声器播放听觉刺激。对于数据编码和分析，打开数据查看器并单击"文件"、导入文件并导入多个 EyeLink 数据文件以导入所有录制的眼动仪文件。将文件保存在单个 evs 文件中，然后打开 evs 文件，然后单击"分析、报告"和"示例报告"以导出没有聚合的原始示例数据。对连词语句的正确响应是大开箱，而对"可语句"的正确响应是包含语句中第一个提及的动物的小打开框。关键是，为连结语句选择哪个框取决于条件语句的处理方式。例如，只有在计算标量与无知推论时，才选择小闭合框，这是对分离语句的理解的结果。如面板所示，小闭合盒上的眼固定不会增加，除非寄送连接是分离连接或增加开始不迟于分离连接的偏移。视觉世界范式是一种多功能的眼动追踪技术，用于从真实世界中的眼动中推断参与者对口语的在线理解。招聘学员时记得，他们应具有正常或正确的正常视觉能力和正常的听力能力。要设计一个合格的真实世界研究，可能影响参与者眼睛运动的其他因素应该被控制或排除。在统计分析结果时，应考虑边界响应可能产生的问题，所有自动关联或自动比较。

Research

JoVE Journal

Behavior

Using Eye Movements to Evaluate the Cognitive Processes Involved in Text Comprehension

使用眼动来评估文本理解中涉及的认知过程

The present article describes how to use eye  tracking methodologies to study the cognitive processes involved in text  comprehension. Measuring eye ...

科研

行为学

Methods to Explore the Influence of Top-down Visual Processes on Motor Behavior

方法探索自上而下视觉过程对电机性能的影响

Kinesthetic awareness is important to successfully navigate the environment. When we interact with our daily surroundings, some aspects of movement are ...

Methods to Test Visual Attention Online

方法在线测试视觉注意

Online data collection methods have particular appeal to behavioral scientists because they offer the promise of much larger and much more representative ...

A Method to Quantify Visual Information Processing in Children Using Eye Tracking

一种方法来量化视觉信息加工儿童使用眼动追踪

Visual problems that occur early in life can have major impact on a child's development. Without verbal communication and only based on observational ...

Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects

视觉语言理解中的眼动追踪: 发现视觉语境效果的灵活性和局限性

The present work is a description and an assessment of a methodology designed to quantify different aspects of the interaction between language processing ...

Using the Visual World Paradigm to Study Sentence Comprehension in Mandarin-Speaking Children with Autism

用视觉世界范式研究自闭症普通话儿童的句子理解

Sentence comprehension relies on the ability to rapidly integrate different types of linguistic and non-linguistic information. However, there is ...

Defining the Role Of Language in Infants' Object Categorization with Eye-tracking Paradigms

用眼动跟踪范式界定语言在婴儿对象分类中的作用

Assessing infant category learning is a challenging but vital aspect of studying infant cognition. By employing a familiarization-test paradigm, we ...

Exploring Infant Sensitivity to Visual Language using Eye Tracking and the Preferential Looking Paradigm

利用眼动追踪和偏好外观范式探索婴儿对视觉语言的敏感度

We discuss the use of the preferential looking paradigm in eye tracking studies in order to study how infants develop, understand, and attend to the world ...

Examining Online Syntactic Processing of Spoken Complex Sentences in Chinese Using Dual-Modal Interference Tasks

利用双模干扰任务对汉语口语复杂句子的在线句法处理进行考察

Working memory (WM) plays a central role in the comprehension of complex sentences. Its function in the processing of spoken complex sentences is ...

Transcranial Direct Current Stimulation for Online Gamers

在线玩家的颅内直接电流刺激

Transcranial direct current stimulation (tDCS) is a noninvasive brain stimulation technique that applies a weak electric current to the scalp to modulate ...