发表
联系我们

登录

需要订阅 JoVE 才能查看此. 登录或开始免费试用。

本文内容

  • 摘要
  • 摘要
  • 引言
  • 研究方案
  • 结果
  • 讨论
  • 披露声明
  • 致谢
  • 材料
  • 参考文献
  • 转载和许可

摘要

我们开发了一种简单、可定制且高效的方法来记录来自交互式空间任务的定量过程数据，并使用眼动追踪数据映射这些旋转数据。

摘要

我们提出了一种实时记录人类与 3D （3D） 虚拟对象交互的方法。该方法包括将纵对象的旋转数据与行为测量（例如眼动追踪）相关联，以更好地推断潜在的认知过程。

该任务包括在计算机屏幕上显示同一 3D 对象（分子）的两个相同模型：一个旋转的交互式对象 （iObj） 和一个静态的目标对象 （tObj）。参与者必须使用鼠标旋转 iObj，直到他们认为其方向与 tObj 的方向相同。计算机实时跟踪所有交互数据。参与者的眼动数据也使用眼动仪进行记录。计算机的测量频率为 10 Hz，眼动仪的测量频率为 60 Hz。

iObj 相对于 tObj 的方向数据以旋转四元数记录。注视数据与 iObj 的方向同步，并使用相同的系统进行引用。这种方法使我们能够获得人类与 iObj 和 tObj 交互过程的以下可视化：（1） 与其他时间相关数据同步的角度视差;（2） 我们决定称之为“旋转球”的内部 3D 旋转轨迹;（3） 3D 固定热图。该协议的所有步骤都使用了免费软件，例如 GNU Octave 和 Jmol，并且所有脚本都作为补充材料提供。

通过这种方法，我们可以对涉及心理或身体旋转的任务解决过程进行详细的定量研究，而不仅仅是达到的结果。可以精确测量 3D 模型的每个部分对参与者解决任务的重要性，从而将模型与相关变量相关联，例如对象的特征、个体的认知能力和人机界面的特征。

引言

心理旋转 （MR） 是一种认知能力，使个体能够在心理上操纵和旋转物体，从而促进更好地理解其特征和空间关系。它是视觉空间能力之一，早在 1890 年 1 就被研究过一个基本的认知群。视觉空间能力是个体认知能力的重要组成部分，它受遗传和环境因素的影响 2,3,4,5。在整个 20 世纪，人们对视觉空间能力的兴趣不断增长，因为越来越多的证据表明它们在关键学科中的重要性，例如衰老6 和发展 7 （development7）、科学、技术、工程和数学 （STEM） 的表现 8,9、创造力10 和进化特征 11。

MR 的当代理念源于 Shepard 和 Metzler （SM） 于 1971 年发表的开创性工作12。他们设计了一种计时方法，使用一系列“相同或不同”的任务，呈现并排显示的抽象 3D 对象的两个投影。参与者必须在脑海中沿某个轴旋转物体，并决定这些投影是否描绘了同一物体、不同旋转或不同的物体。该研究揭示了响应时间 （RT） 和同一对象表示之间的角度差异 （AD） 之间存在正线性相关。这种相关性被称为角度视差效应 （ADE）。ADE 被认为是 MR 的一种行为表现，并在该领域随后的几项有影响力的研究中变得无处不在 13,14,15,16,17,18,19,20,21,22,23,24,25.SM 研究中采用的 3D 对象由 10 个连续的立方体组成，由贝尔实验室26 的计算机图形先驱 Michael Noll 生成。它们被称为 SM 图，并广泛用于 MR 研究。

在 Shepard 和 Metzler 的开创性工作中，有两项进步非常重要;首先，考虑 MR 评估领域的贡献。1978 年，Vanderberg 和 Kuze27 开发了一种基于 SM“相同或不同”数字的 20 项心理测量纸笔测试，后来被称为心理旋转测试 （VKMRT）。每个测试项目都呈现一个目标刺激。参与者必须在四种刺激中进行选择，哪些代表目标刺激中描绘的相同对象，哪些不代表。VKMRT 已用于研究 MR 能力与各种其他因素之间的相关性，例如性别相关差异 6,21,24,28,29,30，衰老和发育 6,31,32，学习成绩8，33 以及音乐和体育技能34。1995 年，Peters 等人发表了一项研究，其中重绘了 VKMRT35,36 的数字。同样，在“相同或不同”的任务设计之后，已经采用了各种其他计算机生成的刺激库来研究 MR 过程并评估 MR 能力（原始 SM 刺激19、22、23、37、38 的 3D 版本，模拟 SM 图形的人体25、39、40，用于 2D 旋转的平面多边形41，42、解剖学和器官43，有机形状44，分子45,46 等21）。Guay 在 197647 年提出的普渡空间可视化测试 （PSVT） 也是相关的。它需要一系列测试，包括 MR （PSVT：R）。PSVT：R 采用与 VKMRT 中的刺激不同的刺激，要求参与者识别模型刺激中的旋转操作，并在心理上将其应用于不同的刺激。PSVT：R 也被广泛使用，特别是在调查 MR 在 STEM 成就中的作用的研究 48,49,50。

Shepard 和 Metzler 的开创性工作中非常重要的第二个进步包括对理解 MR 过程的贡献，特别是使用眼动追踪设备。1976 年，Just 和 Carpenter14 使用基于模拟视频的眼动追踪设备进行了一项基于 Shepard 和 Metzler 的 ADE 实验的研究。根据他们对扫视眼球运动和 RT 的结果，他们提出了一个 MR 过程模型，该模型由三个阶段组成：1） 搜索阶段，其中识别了图形的相似部分;2） 转换和比较阶段，其中识别的部分之一在精神上旋转;3） 确认阶段，决定数字是否相同。这些阶段以递归方式重复，直到可以做出决定。每个步骤对应于与观察到的 ADE 密切相关的特定扫视和注视眼球运动模式。因此，通过将眼睛活动与计时数据相关联，Just 和 Carpenter 为 MR 过程的研究提供了认知特征。迄今为止，该模型尽管进行了调整，但已在多项研究中采用 15,42,46,51,52,53。

沿着这条轨道，随后的几项研究监测行为 18,19,22,23,25,34,40,54,55 和大脑活动 20,22,56,57进行刺激旋转期间的功能。他们的研究结果表明 MR 和运动过程之间的合作作用。此外，人们对研究涉及 MR 与个体差异相关的问题解决策略的兴趣日益浓厚 15,41,46,51,58。

总的来说，可以认为旨在了解 MR 过程的研究设计是基于提出带有视觉刺激的任务，要求参与者执行 MR 操作，进而导致运动反应。如果这种反应允许刺激旋转，则通常称为物理旋转 （PR）。根据每项研究的具体目标，采用了不同的策略和设备来获取和分析 MR 和 PR。在任务刺激呈现步骤中，可以改变刺激的类型（即前面引用的例子）;投影（传统显示器22、23、25、29、40、41、59 以及立体镜19 和虚拟60 和混合43 现实环境中的计算机生成图像）;以及刺激的交互性（静态图像12、27、36、动画61 和交互式虚拟对象19、22、23、43、53、59）。

MR 通常从 RTs （ADE） 以及眼部和脑部活动的测量中推断出来 25,46,62。使用眼动追踪数据测量眼球活动，包括扫视运动和注视14、15、42、51、52、54、58、60 以及瞳孔测量40。RT 数据通常来自操作各种设备时记录的电机响应数据，例如杠杆13、按钮和开关14,53、踏板53、旋钮19、操纵杆37、键盘61 和鼠标 29,58,60、驱动轮53、惯性传感器22,23、触摸屏52,59和microphones 22。为了测量 PR，除了 RT 之外，研究设计还将包括在参与者执行 MR 任务时记录交互式刺激的手动旋转 22,23,52,53。

1998 年，Wohlschläger 和 Wohlschläger19 使用“相同或不同”的任务，通过旋钮操纵交互式虚拟 SM 刺激，每个任务的旋转仅限于一个轴。他们测量了 RT 和任务期间执行的身体旋转的累积记录。比较有和没有交互式刺激实际旋转的情况，他们得出结论，MR 和 PR 对于想象和实际执行的旋转共享一个共同的过程。

2014 年，进行了两项研究，采用具有虚拟交互刺激的相同类型的任务22,23。然而，这些物体是用惯性传感器操纵的，这些传感器可以捕捉 3D 空间中的运动。在这两种情况下，除了 RT 之外，还记录了旋转轨迹 - 任务期间参考和交互刺激之间旋转差异的演变。从这些轨迹中，可以提取累积信息（即以四元数为单位的旋转总数）和有关求解策略的详细信息。Adams 等人 23 研究了 MR 和 PR 之间的协同效应。除了 RT 之外，他们还使用旋转轨迹的积分作为分辨率的准确性和客观性的参数。根据三步模型63 （规划、主要旋转、微调） 解释曲线剖面。结果表明 MR 和 PR 不一定具有单一的公因子。Gardony 等人22 收集了有关 RT、准确性和实时旋转的数据。除了确认 MR 和 PR 之间的关系外，对旋转轨迹的分析还表明，参与者会操纵这些数字，直到他们能够识别它们是否不同。如果它们相同，参与者会轮换它们，直到它们看起来相同。

延续这一策略，在 2018 年，Wetzel 和 Bertel52 还使用触摸屏平板电脑作为界面，在“相同或不同”的任务中使用交互式 SM 图形。此外，他们使用眼动追踪设备来获得有关注视时间和扫视振幅的累积数据，作为解决 MR 任务所涉及的认知负荷参数。作者证实了上面讨论的关于 MR 和 PR 之间关系以及任务解决过程的先前研究。然而，在这项研究中，他们没有对刺激使用注视映射和扫视数据。

在虚拟 3D 对象上映射眼动追踪数据的方法已经提出并不断改进，通常由对研究虚拟环境中视觉注意力相关因素感兴趣的研究人员提出64。尽管价格实惠并且使用类似的眼动追踪设备，但显然，这些方法尚未有效地整合到使用交互式 3D 对象（如前面提到的那些）进行精神旋转研究的实验库中。相反，我们在文献中没有发现任何研究报告了交互式 3D 物体上注视和扫视运动数据的实时映射。似乎没有方便的方法可以轻松地将眼球活动数据与旋转轨迹整合在一起。在这项研究中，我们的目标是为填补这一空白做出贡献。详细介绍了从数据采集到图形输出生成的过程。

在本文中，我们详细描述了一种使用虚拟交互式 3D 对象研究心理旋转过程的方法。重点介绍了以下进展。首先，它在与 3D 虚拟模型的交互过程中集成了定量行为运动（通过计算机界面手动驱动物体旋转）和目测（眼动追踪）数据收集。其次，它只需要传统的计算机设备和眼动追踪设备进行视觉任务设计、数据采集、记录和处理。第三，它可以轻松生成图形输出以促进数据分析 - 角度视差、物理旋转、四元数旋转轨迹以及眼动追踪数据在 3D 虚拟对象上的命中映射。最后，该方法只需要免费软件。所有开发的代码和脚本均免费提供 （https://github.com/rodrigocnstest/rodrigocnstest.github.io）。

研究方案

1. 准备数据收集工具

  1. 设置在线数据收集（可选）。
    注意：此步骤介绍如何设置项目代码和工作网页的可自定义克隆（请参阅 补充文件 1).此步骤改编自 https://pages.github.com/ 和 https://github.com/jamiewilson/form-to-google-sheets 中提供的教程。如果用户只对数据处理方法感兴趣，对数据记录不感兴趣，他们可以使用 web https://rodrigocnstest.github.io/iRT_JoVE.html 和补充表 S1 和存储库文件 https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave，并跳过步骤 1.1、1.2 及其子步骤。
    1. 在 GitHub （https://github.com/） 中登录。
    2. 创建原始 GitHub Pages 存储库的公共克隆。
      1. 登录账户后，单击 Import repository from https://github.com （ 从导入仓库 ）。
      2. 在 Your old repository's clone URL 字段中，将 URL https://github.com/rodrigocns/rodrigocns_JoVE 粘贴到 Repository name 字段中，键入 username.github.io，其中 username 是帐户中使用的用户名，并确保启用 Public 选项。然后，单击绿色按钮 Begin import。
        注意：存储库现在包含此设置其余部分所需的大部分文件，对存储库所做的任何更改都将在几分钟后在网站上更新。例如，名为 rodrigocnstest 的用户将在 https://rodrigocnstest.github.io 上访问他们自己的页面，在 https://github.com/rodrigocnstest/rodrigocnstest.github.io 上访问他们的 GitHub 存储库。
    3. 设置云电子表格以在线存储实验数据。
      1. 注册或登录 Google 帐户。
      2. 登录帐户后，转到 https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9 上提供的 iRT 电子表格清理 文件
        Ops1wZrXI/edit？usp=sharing 的 Ops1wZrXI/edit？usp=sharing 中。
      3. 在此电子表格中，单击 File （文件） |制作副本。将出现一个小的确认窗口。
      4. 在小窗口中，为文件命名，然后单击 制作副本 按钮。
    4. 设置 Google Apps 脚本，以便在您创建的电子表格中自动存储数据。
      1. 在电子表格文件中，单击选项 扩展 |Apps 脚本。
        注意：必须从电子表格内部创建或访问此脚本，以便将其与电子表格关联。尝试在外部创建脚本可能不起作用。
      2. 单击 Run 按钮首次运行脚本。
      3. 单击 Review permissions 按钮。将出现一个新窗口。单击创建电子表格时使用的相同帐户。
        注意：如果这是第一次执行此步骤，则可能会出现安全警报，警告用户有关应用程序请求从帐户访问信息的信息。这是安全的，因为该应用程序会尝试访问电子表格内容并请求权限以填充数据。如果未显示警告，则可以跳过步骤 1.1.4.4。
      4. 单击 高级 |转到 从 iRT 到床单（不安全） |允许 （Allow ） 按钮。
        注意：执行后，执行日志中应显示一条通知，说明执行已完成。
      5. 在左侧滑动面板中，单击 Triggers 按钮（从上到下的第四个图标） | + Add Trigger 按钮。
      6. 在 Choose which function to run （选择要运行的函数） 下，选择 doPost;在 Select event source （选择事件源） 下，选择 From spreadsheet;在 Select event type （选择事件类型） 下，选择 On form submit （表单提交时）。然后，单击 Save （保存）。如果出现任何权限弹出窗口，请按照步骤 1.1.4.3-1.1.4.4 进行操作。如果浏览器最终阻止了弹出窗口，请取消阻止它。
      7. 单击 Deploy 下拉按钮 |新部署。
      8. 将鼠标悬停在 齿轮 图标上，并确保选中 Web App 选项。
      9. 在 New description 字段中编写描述，如 Deployment 1;在 Who has access 字段中，选择 Anyone ，然后单击 Deploy 按钮。
        注意： New description 字段的目的是组织脚本部署。它可以按照读者的意愿命名，例如 First deployment。 Execute as 字段应已显示为 Me（email），其中 email 是直到现在使用的电子邮件。
      10. 在新弹出窗口中，复制脚本部署的 Web 应用程序 URL。
        注意：如果由于某种原因，您最终丢失了复制的 Web 应用程序 URL，请单击 Deploy 下拉菜单 |管理部署。Web 应用程序 URL 应该在那里。
      11. 转到 https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js 页面，其中 rodrigocnstest 是 GitHub 上使用的用户名。替换步骤 1.1.4.10 中复制的 Web 应用程序 URL 的第 5 行中的现有 URL，然后单击绿色按钮 Commit changes...。
        注意：复制的 URL 值应保持在单 ' ' 或双 “ ”' 引号之间。仔细检查复制的 URL 是否是 Web 应用程序中的正确 URL。
      12. 最后，单击屏幕中间的 Commit changes 确认按钮。
    5. 确保该过程已正确完成并且页面正在运行。
      1. 转到 https://github.com/username/username.github.io/ 处的存储库，其中 username 是 GitHub 上使用的用户名，并检查在步骤 1.4.14 中进行更改后部署是否已更新。
      2. 导航到 https://username.github.io/iRT_JoVE 处的网页，将 username 更改为 GitHub 中使用的用户名，然后单击 Next。
      3. 单击 Go，通过单击并拖动右侧的对象进行任何交互，然后单击 DONE！ 按钮。
      4. 返回到步骤 1.1.3 和 1.1.4 中配置的电子表格文件，并验证每次按下 DONE 按钮时是否存在新添加的数据行。
  2. 设置离线数据采集（可选）。
    注意：用于运行和获取交互式旋转任务 （iRT） 数据的方法是通过上述步骤中配置的云服务联机。如果需要（因为 Internet 连接可能是一个问题，或者有其他方式来运行它），也可以在执行测试的位置本地运行测试，无论是否有 Internet 连接。以下步骤是可选的替代方法，并描述了如何实现此目的。否则，请跳至步骤 1.3。
    1. 通过以下链接访问 GitHub 存储库：https://github.com/rodrigocnstest/rodrigocnstest.github.io。点击绿色按钮 < > 代码 |下载 ZIP，然后解压缩下载的文件。
      注意：对本地存储的文件所做的更改不会更改存储库中的文件， 反之亦然。针对这两个版本的任何更改都应应用于这两个位置，手动复制更新的文件或使用 git/GitHub desktop。
    2. 通过链接获取最新版本的 Mozilla Firefox：https://www.mozilla.org/en-US/firefox/new/。
    3. 打开 Mozilla Firefox 浏览器，在 URL 槽中输入 “about：config”，在搜索字段中输入 “security.fileuri.strict_origin_policy”，然后将其值更改为 false。注意：现在，Windows 操作系统中的 Mozilla Firefox 应该能够本地访问计算机上下载的网页文件。其他浏览器和操作系统可以配置为在本地工作，每个浏览器和操作系统的设置都在链接 http://wiki.jmol.org/index.php/Troubleshooting/Local_Files 中进行了描述。
  3. 设置数据处理工具。
    1. 在 https://octave.org/download 下载并安装最新版本的 GNU Octave。
  4. 设置眼动跟踪设备。
    1. 确保笔记本电脑上已安装录制系统软件。
    2. 确保研究室干净整洁，以免分心。
    3. 在房间内使用人工照明，以保持全天照明一致。
    4. 将计算机安装在桌子上，并确保参与者可以舒适地移动鼠标。
    5. 为参与者提供舒适的椅子，最好是固定的椅子，以尽量减少测试期间的移动。
    6. 在笔记本电脑/计算机和相机的眼动仪之间连接一根 USB 电缆，为红外照明供电，再连接一根 USB 电缆。
    7. 将眼动仪放在屏幕下方。

2. 数据收集

  1. 初始化数据收集软件。
    1. 在计算机上运行 眼动追踪软件以接收来自眼动追踪器的数据。
    2. 在软件的主窗口中选择选项 Screen Capture 以在实验期间捕获凝视（也可以使用此软件进行热图可视化和原始导出数据）。
    3. 单击 New Project 创建一个新项目和应保存数据的项目文件夹。
    4. 如果使用作为示例提供的页面或在步骤 1.1 中创建的页面，请在 https://rodrigocnstest.github.io/iRT_JoVE.html 处打开测试页面。或者，在步骤 1.2 中，从先前配置的浏览器本地打开 iRT_JoVE.html 文件。
    5. 如果需要，请填写 name 和 email 字段以帮助识别数据，并勾选复选框以下载所生成数据的备份副本。
      注意：如果使用离线方法（步骤 1.2），建议下载备份副本。
    6. 尝试运行一次实验，以确保浏览器正确加载元素，并且显示的任务或数据采集没有问题。
  2. 运行实验。
    1. 向参与者解释实验的目的、使用的技术以及纳入/排除标准。确保参与者已经理解了所有内容。让参与者填写同意书。
    2. 让参与者坐在眼动追踪系统前，并尽可能舒适。
    3. 移动椅子以确保参与者和摄像头之间保持最佳距离（理想的长度是从眼动仪到参与者眼睛 65 厘米）。
    4. 要求参与者在实验过程中尽可能保持静止。调整摄像头的高度以正确捕捉参与者的瞳孔（某些软件会突出显示瞳孔以显示角膜反射）。
    5. 单击 “启用自动增益 ”，通过更改相机增益来优化瞳孔跟踪，直到找到瞳孔（某些软件没有此选项）。
    6. 让参与者看着屏幕上的一系列点，并在不移动头部的情况下跟随点的移动。
    7. 点击 Calibrate 开始校准（这将确保眼动仪可以跟踪被试者看屏幕的位置）。
      注意：屏幕将变为空白，校准标记（点）将在屏幕上的五个位置之间移动。
    8. 校准后，屏幕上将绘制一个视觉视点估计值，以检查校准精度。让参与者注视屏幕上的特定点，以查看凝视是否能正确显示。
    9. 如果校准结果不令人满意，请调整相机并再次尝试校准，直到系统正确跟踪凝视。
    10. 点击眼动追踪软件（主菜单）右侧的 Collect Data（收集数据 ）按钮，激活数据收集模式。捕获的屏幕的实时显示将与主显示窗口中显示的凝视数据一起显示。
    11. 点击主菜单中的 Gaze video 按钮，显示眼动仪捕捉的用户面部。然后，单击 Start record（开始记录 ）以开始实验。
      注意：在实验过程中，参与者的瞳孔会突出显示，他们的眼睛会显示为一个在笔记本电脑屏幕上移动的点。确保眼动仪在屏幕上跟踪瞳孔和眼睛。
    12. 如果点消失或频繁闪烁，请停止实验并再次尝试校准。
    13. 打开之前打开的 iRT 窗口，并告诉参与者单击 Next。
    14. 向参与者提供以下说明：“在本节中，您将执行三个轮换任务。当您点击 GO！ 按钮，两个对象将出现在屏幕的相对两侧。您的目标是旋转右侧的对象，直到它尽可能地与左侧的对象紧密匹配。要旋转对象，请在其上单击并拖动鼠标。完成三项任务中的每一项后，单击 DONE！ 按钮结束。
      注意：对于每个任务，任何超过 5 分钟标记（正好是第 327 秒）的 iRT 数据都可能丢失。随着我们进一步开发该方法，此限制应扩展。
    15. 实验结束时，确保将眼动仪从延长线上关闭，并将镜头盖放回相机上。
  3. 提取数据。
    1. 眼动仪数据收集完成后，单击 Analyze Data 以访问收集的数据。
    2. 导出一个 .csv 文件，其中包含为用户记录的所有数据。
      注意：眼动仪数据的第一列 必须是 数据的 UNIX 纪元，因为这是使不同数据集在时间上正确匹配的唯一方法。如果文件不包含 1 个时间标准，则应从使用的任何其他时间标准转换而来。该文件可以是 “.csv” 或 “.xlsx” 格式。
    3. 如果使用交互式轮换任务页面的在线版本（步骤 1.1），请打开用于接收在线数据的 Google 表格文件（在步骤 1.1.3 中创建），然后单击文件 |下载 |Microsoft Excel （.xlsx）。
      注意：这些数据被打包以方便数据传输（每个任务对应于一行填充了数据）。要处理内部的数据，必须先对每行打包的数据进行 “解包”。

3. 数据处理和分析

  1. 解包、合并和处理数据。
    注意：以下步骤介绍如何使用提供的脚本处理数据（请参阅 补充文件 2）。GNU Octave 脚本将提示用户输入有关其文件的信息。如果输入作为空白发送，则将改用默认值，如果没有用户数据覆盖它们，则引用提供的示例数据。脚本运行完毕后，可以将其关闭。
    1. 下载并解压缩正在使用的存储库（用户自己的存储库或原始存储库，https://github.com/rodrigocns/rodrigocns_JoVE），如果尚未下载。
    2. 确保脚本 1.unpacking_sheets.m、2.data_merge_and_process.m 3.3D rotational trajectory.m 和文件夹 models 位于下载的存储库中的文件夹 Octave 中，并将从步骤 2.3.2 和 2.3.3 下载的数据文件移动到 octave 脚本所在的同一文件夹中。
      注意：文件夹中已有的任何与新写入的文件同名的现有文件都可能被覆盖。相应地重命名文件或将文件移动到另一个文件夹。
    3. 使用 GNU Octave Launcher 打开脚本 1.unpacking_sheets.m 。在 Editor 选项卡中，通过单击绿色的 Save file and run 按钮来运行脚本，以将数据解包为更具可读性的结构。
      注意：如果请求的任何数据文件在本地打开，请记住在运行脚本之前关闭它们。所有 .m 脚本文件均使用 GNU Octave Launcher 执行。
    4. 将出现两个提示，一个接一个。在第一个提示符中输入下载文件的名称，在第二个字段中输入未打包文件的名称。或者，将两个提示字段留空，以使用用于所包含示例文件的默认名称。等待几分钟（取决于数据量），然后出现一个弹出窗口，通知用户该过程已完成，并且新文件已写入。
    5. 打开并运行脚本 2.data_merge_and_process.m 以合并来自 eye tracker 和 iRT 的数据。
      注意：尽管此脚本很复杂，包含数百行代码，但它分为三个主要部分：设置、函数和脚本。所有这些都被彻底地评论和解释，以便在必要时促进将来的修改。
    6. 将出现四个提示。输入 sessionID 值、taskID 值 （均来自 iRT 数据表）、 未打包的 iRT 数据文件名 （在步骤 3.1.5 中写入）和 眼动仪数据文件名 （在步骤 2.3.2 中导出）或将它们全部留空以使用默认值。
      注意：几分钟后，帮助弹出窗口将指示脚本已完成计算以及使用和创建的文件的名称。在脚本过程中，将出现三个角度视差样本图：一个简单的图、一个带有彩色注视数据的图和一个带有瞳孔直径数据的图。创建的两个文件是 output merge X Y.xlsx 和 output jmol console X Y.xlsx，其中 X 是 sessionID 值， Y 是 taskID 值，这两个文件都写在步骤 3.1.6 的开头。
  2. 渲染 3D 旋转轨迹图像。
    1. 打开并运行脚本 3.3D rotation trajectory.m。
    2. 将出现三个提示。输入 sessionID 值、taskID 值和 未打包的 iRT 数据文件名，或将其留空以使用默认值。
      注意：将出现一个 3D 图形。渲染的图形是指定会话和任务的 3D 旋转轨迹。
  3. 重播动画。
    1. 要重播参与者的任务交互，首先，转到交互式任务网页，开始测试（显示两个 3D 模型），将鼠标指针移动到屏幕右上角，直到鼠标图标变为文本，如 补充文件 2 中所示，然后单击不可见的 Debug 文本，启用 调试模式。
    2. 从模型之间出现的按钮中，单击 timerStop 按钮中断任务，然后单击 控制台 按钮打开右侧的模型 JSmol 控制台。如果来自相关交互的任务不是第一个任务，请单击顶部调试区域内的编号按钮以更改屏幕上显示的任务。
      注意：JSmol 是网页中使用的分子建模软件。
    3. 打开文件 输出 jmol console.xlsx 并复制整个 Jmol 命令页面。
      注意：每个页面都包含用于不同场景或动画的命令。
    4. 在 JSmol 控制台中，粘贴复制的命令列表，然后单击 Run 按钮或按键盘上的 Enter 键来执行它。
    5. 如果需要，生成 .gif 动画。在 JSmol 控制台中编写命令 capture “filename” SCRIPT “output” ，其中 filename 是要创建的.gif文件的名称， output 是在步骤 3.3.3 中复制的整个命令列表，将两者保持在双引号内。
      注意：命令越复杂，模型越大或时间变化越多，所用计算机的规格越弱，动画就会变得越慢。Jmol 专注于可视化化合物和反应，通过我们的研究制作的动画类型突破了 Jmol 渲染能力的界限。在使用此动画进行任何定量测量时，应考虑并考虑这些点。

4. 任务定制

注意：整个部分是可选的，仅推荐给那些喜欢尝试或了解如何编码的人。下面，您将找到许多可用的可自定义选项中的一些，随着我们进一步开发这些方法，将提供更多选项。

  1. 配置新任务或现有任务。
    1. 定义参与者将执行多少个交互式任务，并在文件 object_configs.js 数组中命名每个任务， task_list 替换现有项名称或添加更多项。确保每个名称都是唯一的，因为它们稍后将用作标识符。
    2. 选择与 JSmol 兼容的 3D 坐标文件以执行交互式任务 （http://wiki.jmol.org/index.php/File_formats）。将这些文件复制到 models 文件夹。
      注意：本文中包含的脚本针对使用 .xyz 文件格式的非对称模型进行了优化。选择坐标文件时，请避免旋转对称，因为它们具有模棱两可的解65.
    3. 在 prepMolecule（num） 函数中定义 3D 对象的渲染设置。
      注意：JSmol 执行从一个任务到下一个任务的所有更改都在此处：更改颜色图案、更改图形元素的大小或呈现方式、方向、平移、隐藏对象的部分、加载新的 3D 模型等（有关更多示例，请参阅 https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm）。task_list 中命名的每个任务都对应一个 case。JSmol 要执行的每个命令都遵循以下结构： Jmol.script（ jsmol_obj ， “ jsmol_command1;jsmol_command2 “）; 其中 jsmol_obj 是指正在更改的对象（jsmol_ref 和 jsmol_obj 是目标和交互式对象的默认值），后跟一个或多个命令，以 “;” 分隔。
  2. 创建新模型。
    1. 使用在线下载或由分子编辑器（如 Avogadro （https://avogadro.cc/））构建的任何 .xyz 模型。

结果

角度视差和其他变量的演变
如补充文件 2 中的步骤 3.3.1 所示，在视频监视器屏幕上向参与者显示两个画布，以不同方向显示同一 3D 虚拟对象的副本。在左侧画布上，目标对象 （tObj） 保持静态，并用作目标位置或 tObj 位置。在右侧画布上，交互式对象 （iObj） 显示在不同的位置，并允许参与者使用鼠标围绕固定的旋转中心随时间...

讨论

如前所述，本文旨在介绍在交互式 3D 对象上实时映射注视和眼跳运动数据的详细过程，该程序易于定制，并且仅使用免费提供的软件，提供分步说明以使一切正常工作。

虽然这个实验设置涉及高度交互的任务，例如在三个可能轴中的两个轴上移动 3D 对象以匹配另一个对象的方向和 PR，但我们通过适当的注释确保对脚本进行全面记录，以促进任何自?...

披露声明

作者没有需要披露的利益冲突。

致谢

作者感谢高等教育人员改进协调 （CAPES） - 财务代码 001 和 ABC 联邦大学 （UFABC）。João R. Sato 获得了圣保罗研究基金会（FAPESP，拨款号 2018/21934-5、2018/04654-9 和 2023/02538-0）的财政支持。

材料

NameCompanyCatalog NumberComments
FirefoxMozilla Foundation (Open Source)Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU OctaveOpen Sourcehttps://octave.org/
Google Apps ScriptGoogle LLCscript.google.com
Google SheetsGoogle LLChttps://www.google.com/sheets/about/
LaptopAny computer that can run the eye tracking system software.
Mangold Software SuiteMangold Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
MouseAny mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3miniEyeTech Digital Systems60 Hz. Any working Eye Tracking device should be compatible.

参考文献

  1. Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
  2. McGee, M. G. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).
  3. Johnson, W., Bouchard, T. J. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).
  4. Hegarty, M. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).
  5. Uttal, D. H., et al. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).
  6. Linn, M. C., Petersen, A. C. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).
  7. Johnson, S. P., Moore, D. S. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10 (2020).
  8. Wai, J., Lubinski, D., Benbow, C. P. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).
  9. Newcombe, N. S., Stieff, M. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).
  10. Kell, H. J., Lubinski, D., Benbow, C. P., Steiger, J. H. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).
  11. Geary, D. C. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).
  12. Shepard, R., Metzler, J. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).
  13. Shepard, R., Judd, S. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).
  14. Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).
  15. Just, M. A., Carpenter, P. A. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).
  16. Shepard, S., Metzler, D. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).
  17. Biederman, I., Cooper, E. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).
  18. Wexler, M., Kosslyn, S. M., Berthoz, A. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).
  19. Wohlschläger, A., Wohlschläger, A. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).
  20. Jordan, K., W, T., Heinze, H., Peters, M., Jäncke, L. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).
  21. Jansen-Osmann, P., Heil, M. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).
  22. Gardony, A. L., Taylor, H. A., Brunyé, T. T. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).
  23. Adams, D. M., Stull, A. T., Hegarty, M. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).
  24. Griksiene, R., Arnatkeviciute, A., Monciunskaite, R., Koenig, T., Ruksenas, O. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843 (2019).
  25. Jansen, P., Render, A., Scheer, C., Siebertz, M. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).
  26. Noll, M. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).
  27. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).
  28. Hegarty, M. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).
  29. Kozaki, T. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39 (2022).
  30. Bartlett, K. A., Camba, J. D. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).
  31. Jansen, P., Schmelter, A., Quaiser-Pohl, C. M., Neuburger, S., Heil, M. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).
  32. Techentin, C., Voyer, D., Voyer, S. D. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).
  33. Guillot, A., Champely, S., Batier, C., Thiriet, P., Collet, C. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).
  34. Voyer, D., Jansen, P. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).
  35. Peters, M., et al. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).
  36. Peters, M., Battista, C. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).
  37. Wiedenbauer, G., Schmid, J., Jansen-Osmann, P. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).
  38. Jost, L., Jansen, P. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).
  39. Amorim, M. A., Isableu, B., Jarraya, M. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327 (2006).
  40. Bauer, R., Jost, L., Günther, B., Jansen, P. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).
  41. Heil, M., Jansen-Osmann, P. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).
  42. Larsen, A. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).
  43. Ho, S., Liu, P., Palombo, D. J., Handy, T. C., Krebs, C. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).
  44. Foster, D. H., Gilson, S. J. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).
  45. Stieff, M., Origenes, A., DeSutter, D., Lira, M. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).
  46. Moen, K. C., et al. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20 (2020).
  47. Guay, R. B. Purdue spatial visualization test: Rotations. Purdue Research Foundation. , (1976).
  48. Bodner, G. M., Guay, R. B. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).
  49. Maeda, Y., Yoon, S. Y., Kim-Kang, K., Imbrie, P. K. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).
  50. Sorby, S., Veurink, N., Streiner, S. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).
  51. Khooshabeh, P., Hegarty, M. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).
  52. Wetzel, S., Bertel, S., Creem-Regehr, S., Schoning, J., Klippel, A. . Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. 11034, 167-179 (2018).
  53. Jost, L., Jansen, P. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).
  54. Irwin, D. E., Brockmole, J. R. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).
  55. Moreau, D. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).
  56. Kosslyn, S. M., Ganis, G., Thmpson, W. L. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).
  57. Guo, J., Song, J. H. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825 (2023).
  58. Nazareth, A., Killick, R., Dick, A. S., Pruden, S. M. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).
  59. Montag, M., Bertel, S., Koning, B. B., Zander, S. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678 (2021).
  60. Tang, Z., et al. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006 (2023).
  61. Münzer, S. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).
  62. Gardony, A. L., Eddy, M. D., Brunyé, T. T., Taylor, H. A. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).
  63. Ruddle, R. A., Jones, D. M. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).
  64. Sundstedt, V., Garro, V. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019 (2022).
  65. Sawada, T., Zaidi, Q. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).
  66. Xue, J., et al. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076 (2017).
  67. O'Shea, R. P. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).
  68. Todd, J., Marois, R. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).

转载和许可

请求许可使用此 JoVE 文章的文本或图形

请求许可

探索更多文章

JoVE 212 3D Jmol JSmol

This article has been published

Video Coming Soon

JoVE Logo

政策

使用条款

隐私

联系我们

向图书馆推荐

JoVE 新闻简报

科研

教育

发表

图书馆员

关于 JoVE

版权所属 © 2025 MyJoVE 公司版权所有，本公司不涉及任何医疗业务和医疗服务。