视觉持续时间感知中的眼球运动：在决策前过程中将刺激与时间解开

Summary

我们提出了一种协议，该协议使用眼动追踪来监测基于视觉事件的间隔比较（持续时间感知）任务期间的眼球运动。目的是提供一个初步指南，将动眼神经对持续时间感知任务的反应（时间间隔的比较或区分）与对刺激本身的反应分开。

Abstract

眼动追踪方法可以允许在视觉持续时间感知任务期间在线监控认知处理，其中参与者被要求估计、区分或比较由闪烁圆圈等视觉事件定义的时间间隔。然而，据我们所知，到目前为止，验证这种可能性的尝试仍然没有定论，结果仍然集中在刺激出现后做出的离线行为决策上。本文提出了一种眼动追踪协议，用于在间隔比较任务中探索行为反应之前的认知过程，其中参与者查看两个连续的间隔，并且必须决定它是加速（第一个间隔长于秒）还是减慢（第二个间隔更长）。

我们主要关注的是将动眼神经对视觉刺激本身的反应与与判断相关的持续时间相关性解开。为了实现这一目标，我们根据关键事件定义了三个连续的时间窗口：基线开始、第一个间隔的开始、第二个间隔的开始和刺激的结束。然后，我们提取了每个方法的传统动眼神经测量（注视次数、瞳孔大小），并专注于与时间窗口相关的变化，以将对视觉刺激的反应与与间隔比较 本身相关的反应区分开来。正如我们在说明性结果中所示，眼动追踪数据显示出与行为结果一致的显着差异，从而提出了对所参与机制的假设。该协议处于萌芽状态，需要许多改进，但它代表了当前技术水平向前迈出的重要一步。

Introduction

在过去的几年里，时间感知能力引起了越来越多的研究关注，部分原因是越来越多的证据表明这些能力可能与阅读技能或病理状况有关1,2,3,4,5。视觉持续时间感知 - 估计，区分或比较视觉事件定义的时间间隔的能力 - 是感兴趣的一个子领域^6,7，眼动追踪方法可以做出贡献。然而，结果仍然集中在刺激后的行为决策上，例如按下按钮以指示已经过去了多少时间（估计），时间间隔是相同还是不同（歧视），或者一系列时间间隔中的哪一个最长或最短。一些研究试图将行为结果与眼动追踪数据^相关联8,9，但他们未能发现两者之间的相关性，这表明不存在直接关系。

在本论文中，我们提出了一种用于在视觉持续时间感知任务中注册和分析刺激呈现期间动眼神经反应的协议。具体来说，该描述指的是一个间隔比较任务，参与者看到定义两个时间间隔的三个事件的序列，并被要求判断它们是加速（第一个间隔长于秒）还是减慢（第一个间隔短于秒）。该研究中使用的时间间隔从 133 毫秒到 733 毫秒不等，遵循时间采样框架 （TSF）¹⁰ 的原则。TSF表明，大脑的振荡活动，特别是在δ振荡（1-4 Hz）等频段中，与传入的语音单元（如重音序列）同步。这种同步增强了语音的编码，提高了对语音单元的注意力，并有助于提取可能与理解阅读障碍等表现出非典型低频振荡的疾病相关的顺序规律。我们开发这里介绍的方法的研究的目的是确定阅读障碍者在视觉持续时间感知方面的困难（对间隔比较任务的群体效应）是否反映了处理视觉对象本身的问题，即运动和亮度对比¹¹。如果是这样的话，我们预计阅读障碍者对控制组的劣势对于具有运动和低亮度对比的刺激（组和刺激类型之间的相互作用）会更大。

原始研究的主要结果是由刺激后行为判断驱动的。在刺激呈现期间记录的眼动追踪数据 - 瞳孔大小和注视次数 - 用于探索行为决策之前的过程。然而，我们认为，只要相应地设定目标，当前的协议可以独立于行为数据收集使用。也可以针对区间判别任务对其进行调整。在时间估计任务中使用它并不是那么直接，但我们不排除这种可能性。我们使用瞳孔大小是因为它反映了认知负荷12,13,14等状态，因此可以提供有关参与者技能的信息（负荷越高意味着技能越少）。关于注视的次数，更多的注视可能反映参与者对任务的参与程度更高^15,16。最初的研究使用了五种刺激类型。为了简化起见，我们在当前协议中只使用了两个（球与闪光，代表与运动相关的对比）。

我们试图解决的主要挑战是将对视觉刺激本身的反应与与间隔比较相关的反应分开，因为众所周知，动眼神经反应会根据运动或亮度对比等特征而变化¹⁷。基于视觉刺激在屏幕上一出现就被处理的前提（第一间隔），并且只有在第二个时间间隔开始后才能进行间隔比较，我们定义了三个时间窗口：前刺激窗口、第一间隔、第二间隔（不包括行为反应）。通过分析第一个间隔内前刺激窗口的变化，我们将获得参与者对刺激本身的反应指数。将第一个间隔与第二个间隔进行比较将利用间隔比较的可能动眼神经特征 - 参与者被要求执行的任务。

Protocol

从社区（通过社交媒体和便利电子邮件联系人）和大学课程招募了 52 名参与者（25 名被诊断患有阅读障碍或被标记为潜在病例和 27 名对照组）。在验证性神经心理学评估和随后的数据分析（有关详细信息，请参阅Goswami¹⁰）之后，7名参与者被排除在研究之外。该排除包括四名不符合标准的阅读障碍患者，两名在主要实验任务中具有异常值的阅读障碍参与者，以及一名眼动追踪数据受到噪音影响的对照参与者。最终样本由 45 名参与者、19 名有阅读障碍的成年人（1 名男性）和 26 名对照组（5 名男性）组成。所有参与者都是以葡萄牙语为母语的人，视力正常或矫正为正常，没有人被诊断出听力、神经或言语问题。这里描述的协议得到了波尔图大学心理学与教育科学学院当地伦理委员会的批准（参考编号 2021/06-07b），所有参与者都根据赫尔辛基宣言签署了知情同意书。

1. 刺激创造

1. 定义两个时间间隔的八个序列（表1），其中第一个时间间隔短于第二个时间间隔（减速序列）;使用帧持续时间转换表选择与动画软件帧速率兼容的间隔（此处为 30 帧/秒，33 毫秒/帧）。
2. 对于每个减速序列，创建一个通过反转间隔顺序获得的加速模拟（表 1）。
3. 在电子表格中，通过将目标间隔 （ms） 除以 33（例如，对于 300-433 ms 间隔序列，表示 9-13 帧），将间隔长度转换为帧数。
4. 定义每个序列的关键帧：刺激在第 7 帧开始（在六个空白帧之后，对应于 200 毫秒）、间隔 1 在第 6 帧处的偏移量 + 间隔 1 的长度（给定示例为 6 + 9），间隔 2 的偏移量相同（6 + 9 + 13）。在间隔 2 结束时再设置两个帧以标记刺激的结束 （6+ 9 + 13 +2）。
5. 将 Flash 序列创建为动画。
   1. 运行动画软件（例如，Adobe Animate）并创建一个具有黑色背景的新文件。
   2. 在第 7 帧处，在屏幕中心画一个蓝色圆圈。确保其尺寸使其在计划的屏幕-眼睛距离（此处为 55 厘米）下占据约2°的视野，这意味着球的直径为 1.92 厘米。
   3. 将此图像复制并粘贴到下一个相邻帧（从第 7 帧开始），以便每次闪光持续约 99 毫秒。
   4. 将此两帧序列复制并粘贴到其他两个关键帧（间隔 1 和 2 的开始）。
   5. 通过创建文件的副本并将间隔开始移动到适当的帧来构建剩余的 15 个动画。
6. 将弹跳球序列创建为动画。
   1. 在动画软件中打开一个文件，其规格（大小、背景）与 Flash 动画相同。打开包含关键帧规范的电子表格，以便关键帧现在对应于击中地面的压扁球。
   2. 从黑色背景的三帧开始（99 毫秒）。^在第 4 帧中，在顶部中心画一个蓝色球，等于用于闪光的蓝球。
   3. 在刺激开始点画一个压扁的球（宽度大于高度），持续三帧（间隔 1 开始）。确保球水平居中，垂直位于屏幕中心下方。
      1. 单击 对象的“属性 ”按钮，然后单击 “位置 和 大小 ”，将球定位在选定的挤压高度并增加宽度/减少高度。
   4. 使用 补间 命令生成从顶部的球到被压扁的球（垂直下降）的连续变化。
   5. 将以压扁球为特色的三帧序列复制到其他两个关键帧（间隔 1 和 2 的开始）。
   6. 在电子表格中，将每个间隔的持续时间除以 2，以定义间隔 1 和 2 的两个壁球之间的中间点，其中球在上升后和下降之前达到最大高度。
   7. 在步骤 1.6.6 中定义的中间点处的轨迹最低点上方垂直绘制一个未挤压的球。在间隔开始（当球击中地面时）和最高点之间以及最高点和下一个壁球（下降）之间生成上升动画。
7. 使文件适应其他 15 种时间结构。
8. 将所有动画导出为 .xvd。如果该选项不可用，请导出为.avi，然后进行转换，以便可以在眼环系统中使用。

2.实验准备

1. 创建实验文件夹
   1. 打开 “实验生成器 ”应用程序，然后从菜单文件中选择 “新建 ”。
   2. 单击 “文件”|”另存为。指定项目的名称和保存位置。
      注意：这将创建一个完整的文件夹，其中包含刺激文件和其他材料的子文件夹。实验文件将显示在扩展名为 .ebd 的文件夹中。
   3. 在项目文件夹中，单击“ 库 ”，然后单击名为 “视频”的文件夹。将 .xvid 视频刺激文件上传到此文件夹。
      注意：实验中使用的所有刺激必须存储在库中。
2. 创建系统内和人与系统交互的基本结构
   1. 将 开始面板 和 显示屏幕 图标拖动到 图形编辑器 窗口中。通过单击鼠标并将其从第一个拖动到第二个来创建它们之间的链接。
   2. 在 显示屏的属性中，单击 “插入多行文本资源 ”按钮，然后键入说明文本，解释随后的校准过程。
   3. 选择两个 触发器 （输入通道以在实验中向前移动）： 键盘 和 el 按钮 （按钮盒）。将显示屏链接到两者。
      注意：这些触发器允许参与者或实验者单击任何按钮继续。
   4. 选择 相机设置 图标并将两个触发器链接到它。
      注意：这将允许与眼动仪建立通信，以便可以监控参与者的眼睛以进行相机调整、校准和验证（参见第 4 节）。
   5. 选择 图标 结果文件 并将其拖动到流程图的右侧。
      注意：此操作允许记录实验的行为反应。
3. 定义块结构
   1. 选择 “序列 ”图标并将其链接（请参阅步骤 2.2.1）到 相机设置。
   2. 在 “属性”中，单击 “迭代计数 ”，然后选择 “2 ”作为 块数 （闪光和球）。
   3. 注意： 这会将闪光的呈现与球的呈现分开。
   4. 输入序列（块定义）并拖动 开始面板 图标、 显示 图标以及 触发器el_button 和 键盘。按此顺序链接它们。
   5. 在 显示屏 图标中，单击“ 插入多行文本资源 ”按钮，然后键入解释实验的说明文本。
4. 定义试验结构
   1. 在块序列中，将 “新建序列 ”图标拖到编辑器中以创建试用序列。
      注意：将试验序列嵌套在块序列中允许在每个块中运行多个试验。
   2. 在试用序列中，拖动 “开始”面板 和 “准备序列 ”图标，然后将第二个链接到第一个。
      注意：此操作加载将呈现给参与者的实验刺激。
   3. 将 漂移校正 图标拖到界面上，并将其链接到准备序列图标。
      注意： 漂移校正在刺激计算机监视器上显示单个注视目标，并能够将光标凝视位置与记录计算机上的实际刺激位置进行比较。每次试验后，漂移检查和相应的校正将自动开始，以确保初始校准质量保持不变。
5. 定义录制结构
   1. 在试用序列中，将 “新建序列 ”图标拖到编辑器中以创建录制序列。
      注意：记录序列负责眼睛数据收集，它是呈现视觉刺激的地方。
   2. 在此序列的属性中选择 “记录 ”选项。
      注意：通过这样做，眼动仪在刺激开始时开始记录，在刺激结束时停止。
   3. 在 属性中，单击 “数据源 ”，并在每一行中填写表格（键入或选择），其中包含每个刺激的确切文件名、试验实践或实验的类型、每个刺激将呈现的次数（此处为 1）以及 预期响应 按钮。
      注意：文件名必须与库中上传的文件名相同，包括文件扩展名（例如 ball_sp_1.xvd）。
   4. 在界面的顶部面板上，单击“ 随机化设置”，然后标记 “启用试验随机化 ”框，以确保刺激将在每个块内随机化。单击 “确定 ”按钮返回界面。
   5. 在录制序列中，创建开始面板-显示屏连接。在显示屏内，选择 插入视频资源 按钮（相机图标）并将其拖动到界面。
   6. 将键盘和 el 按钮触发器链接到 显示 图标（如步骤 2.2.1 中所示）以允许参与者做出响应。
   7. 拖动“ 检查精度 ”图标并将其链接到触发器，如步骤 2.2.1 所示。
      注意：此操作允许软件检查按下的键是否与数据源的正确响应列的值匹配。
6. 完成实验
   1. 在主面板顶部，单击“ 运行”箭头图标 以运行实验测试。

3. 设备设置

1. 将刺激计算机连接到 5 按钮按钮盒和键盘。
2. 将刺激计算机（带有系统专用的演示软件）连接到眼动仪（图1），放置在显示器下方或前面。
3. 将眼动仪连接到记录计算机。

图 1：眼动追踪设置。 记录系统的空间布置，由刺激计算机、记录计算机、眼动仪、响应装置（按钮盒）和键盘组成。参与者坐在距离刺激屏幕 55 厘米的地方。 请点击这里查看此图的较大版本.

4. 数据收集的准备

1. 获得参与者的知情同意，并向他们描述实验形式。将参与者放置在距离刺激计算机一定距离的位置，使刺激圈（闪光或球）对应于视野的 2°（典型距离 ~ 60 厘米）。
2. 选择 采样频率 （1,000 Hz 为高分辨率）和要记录的眼睛（主眼）。
3. 在记录计算机提供的可视化中，确保眼动仪以稳定的方式跟踪目标（放置在参与者眉毛之间的一根棍子）和主眼。如有必要，向上或向下移动相机。
4. 打开实验。从记录计算机运行系统提供的 5 点校准和验证程序，以准确可靠地记录眼球运动。指示参与者凝视屏幕上 （5） 个不同位置（一次用于校准，两次用于验证）的点。
   注意：仅接受低于 0.5° 的错误。

5. 运行实验

1. 向参与者解释任务。
2. 介绍实践试验并澄清参与者的疑虑。
3. 单击 “运行”开始实验。
4. 在条件之间暂停实验，并解释刺激现在会有所不同，但问题是一样的。

6. 创建分析时间窗口

1. 在 Dataviewer 软件¹⁸ 中，转到“文件”，然后转到 “导入数据”，最后转到 “多个 EyeLink 数据文件”。在对话框中，选择所有参与者的文件。
2. 选择一项试用版。选择 正方形图标 以绘制感兴趣区域。
   注意：兴趣区域定义了屏幕区域和试用中的时间窗口。在这里，我们将始终选择全屏。
3. 要 创建全部 TW （图 2），请单击 绘图图标 并选择全屏。在打开的对话框中，将感兴趣区域标记为 TW_all ，并定义与完整试验匹配的时间段。
   1. 单击 “保存感兴趣区域集 ”，并将此模板应用于所有具有相同长度的试验（例如， 表 1 中的时间结构 1 和 8，适用于所有参与者的球和闪光）。
4. 从 表 1 中选择 16 个时间结构之一。如步骤 6.3 中定义TW_0、TW_1和TW_2，但遵循 图 2 中示意的时间限制（对应于闪光灯外观和球壁球的时间窗口边界）。TW0 的长度是可自定义的。
   1. 标记每个感兴趣的区域，并将模板应用于具有相同时间结构的试验（球和闪光，所有参与者）。
   2. 对剩余的 15 个时间结构重复该过程。

图2：刺激类型。 实验中使用的弹跳球（左）和闪光（右）序列。虚线表示用于分析的时间窗口：TW0 是前刺激期;TW1 是刺激在屏幕上的第一次出现，标志着第一个间隔——当参与者有关于刺激特征和第一个间隔长度的信息时，TW2 标记第二个间隔——参与者可以比较第一个间隔和第二个间隔来制定决策（减慢或加速）。 请点击这里查看此图的较大版本.

7. 提取措施

1. 在菜单栏中，单击 “分析”|”报告 |兴趣领域报告。
2. 选择以下测量值以提取 停留时间、注视次数和 瞳孔大小，然后单击 下一步。
   注意：输出应包含每个参与者（32 个试验 x n 名参与者）的 16 次闪光试验和 16 次弹跳球试验的数据，为四个时间窗口（TW0、TW1、TW2、TW all）中的每一个指定。
3. 将矩阵导出为 .xlsx 文件。

8. 删除带有伪影的试验

1. 考虑 TW all 的停留时间测量，并将信号丢失超过 30% 的试验标记为试验（停留时间<试验时间的 70%）。
   注意：考虑到 32 项试验中的每一项都有不同的长度。
2. 从矩阵中排除嘈杂（标记的）轨迹并保存它。

9. 统计分析

1. 对每个度量执行两个重复测量方差分析（TW x 组 x 刺激），一个使用 TW 0 和 1，另一个使用 TW 1 和 2。
2. 将 TW 相关变化与行为结果相关联（如果有）。

Discussion

目前的协议包含一个新的组件，对于解决当前将眼动追踪纳入视觉持续时间感知任务的障碍可能至关重要。这里的关键步骤是基于假定发生在每个时间窗口中的认知过程来定义时间窗口。在我们使用的系统中，时间窗口只能定义为感兴趣区域（在这些系统中与时间耦合的空间相关概念），但在其他系统中，可以通过导出试验的不同部分来做到这一点。除了试验的这种时间分割之外，重要的是要专注于分析跨时间窗口的变化，而不是每个时间窗口的参数。

关于必须对议定书进行的修改，它们主要与感兴趣领域的维度有关。我们首次尝试使用动态AOI，即围绕其背后的刺激而不是整个屏幕定义空间选择。然而，我们很快意识到，我们可能错过了该区域之外的相关事件。鉴于我们的测量与对刺激的关注无关（瞳孔大小预计会根据认知负荷而不是根据对闪光灯或球的注意力而变化;注视的数量预计会反映空间搜索），我们选择使用全屏作为感兴趣的区域。

目前的协议是一个萌芽的提案，仍有许多改进。我们只强调其中的两个，尽管还有更多的改进空间。第一个问题涉及三个时间窗口长度的差异，这使我们无法解释时间窗口对注视次数的影响（例如，更长的时间窗口需要更多的注视，因此从TW0减少到TW1，见 图3）。解决这个问题的一种方法是考虑每个时间单位的注视次数。

第二个问题涉及时间窗口与假定的持续进程之间的对应关系，其中包括各种问题。一是 TW1 不仅代表刺激的出现，而且可能还是区间比较的区间估计（第一区间）的明确形式，在 TW0 中可能不存在。以类似的方式，跨时间窗口的变化也可能反映一般过程的变化，例如持续注意力和工作记忆¹⁸，即使其中一些变化可以在间隔比较任务中预期（工作记忆负荷预计从TW1增加到TW2）。减弱这些潜在混杂的一种方法是引入与纯持续时间估计、持续注意力和工作记忆相关的控制任务，然后将眼动追踪数据分析建立在实验（间隔比较）和对照任务之间的比较之上。另一个问题是 TW0 的持续时间与任务无关，并且已知与任务无关的持续时间可能对性能^{有害 19}。未来的工作可以专注于改善这一点，即通过在TW0（不相关间隔）和TW1之间产生300毫秒的差异，以更好地界定视觉处理响应，因为通过简单地在接近时间的范围内添加另一个事件，可以使短事件比其呈现更早或更晚被感知^20,21。

最后，自发性眨眼会扭曲时间感知（如果眨眼时间先于间隔，则时间会扩大，如果同时发生，则时间会收缩），这可能会在个体内的时间表现中引入可变性²²。最小化这个问题的一种方法是在参与者的行为判断中应用基于眨眼的校正因子（例如，根据刺激之前或期间眨眼的存在为每个判断分配一个可靠性率。此外，将试验视为随机变量的统计方法也可能有助于解决这个问题。

关于未来的研究，一个重要的课题是自发性眨眼率（EBR）与时间感知之间的关联。已知 EBR 是中枢多巴胺功能 （DA） 的非侵入性间接标志物²³，最近，高 ERB 与较差的时间感知有关。该研究表明多巴胺对间歇时间的影响，并指出使用 ERB 作为多巴胺测量²⁴ 的代理。另一个重要的话题是我们分析的（与变化相关的）度量的功能含义，这尚未在我们的范式背景下确定。在最初的研究以及当前的简化数据集中，瞳孔大小从 TW0 增加到 TW1 与认知负荷增加的想法一致，但该测量缺乏群体效应排除了进一步的考虑。似乎存在的一种模式是，在时间窗口内较小的变化与更好的行为表现相关（闪光比球更好，阅读障碍中的d-prime与较小的变化相关），但需要进一步研究。

尽管有其局限性，但据我们所知，目前的协议是第一个在眼动追踪和行为数据中显示平行结果的协议（相同的效果配置文件），以及两者之间相关性的一些证据。

Materials

Name	Company	Catalog Number	Comments
Adobe Animate	Adobe		It is a tool for designing flash animation films, GIFs, and cartoons.
EyeLink Data Viewer			It is robust software that provides a comprehensive solution for visualizing and analyzing gaze data captured by EyeLink eye trackers. It is accessible on Windows, macOS, and Linux platforms. Equipped with advanced capabilities, Data Viewer enables effortless visualization, grouping, processing, and reporting of EyeLink gaze data.
Eye-tracking system	SR Research	EyeLink 1000 Portable Duo	It has a portable duo camera, a Laptop PC Host, and a response device. The EyeLink integrates with SR Research Experiment Builder, Data Viewer, and WebLink as well as many third-party stimulus presentation software and tools.
Monitor	Samsung Syncmaster	957DF	It is a 19" flat monitor
SR Research Experiment Builder	SR Research		It is an advanced and user-friendly drag-and-drop graphical programming platform designed for developing computer-based experiments in psychology and neuroscience. Utilizing Python as its foundation, this platform is compatible with both Windows and macOS, facilitating the creation of experiments that involve both EyeLink eye-tracking and non-eye-tracking functionalities.