Трехмерное отображение вращения интерактивных виртуальных объектов с данными отслеживания движения глаз

Резюме

Мы разработали простой, настраиваемый и эффективный метод записи количественных процессуальных данных из интерактивных пространственных задач и сопоставления этих данных вращения с данными отслеживания взгляда.

Аннотация

Представлен метод записи взаимодействия человека с трехмерными (3D) виртуальными объектами в режиме реального времени. Этот подход заключается в связывании данных о вращении объекта, которым манипулируют, с поведенческими показателями, такими как отслеживание взгляда, чтобы сделать более точные выводы о лежащих в основе когнитивных процессах.

Задача состоит в отображении на экране компьютера двух идентичных моделей одного и того же 3D-объекта (молекулы): вращающегося интерактивного объекта (iObj) и статичного целевого объекта (tObj). Участники должны вращать iObj с помощью мыши до тех пор, пока не сочтут, что ее ориентация идентична ориентации tObj. Компьютер отслеживает все данные о взаимодействии в режиме реального времени. Данные о взгляде участника также записываются с помощью айтрекера. Частота измерения составляет 10 Гц на компьютере и 60 Гц на айтрекере.

Данные ориентации iObj относительно tObj записываются в кватернионах вращения. Данные о взгляде синхронизируются с ориентацией iObj и сопоставляются с использованием той же системы. Этот метод позволяет нам получить следующие визуализации процесса взаимодействия человека с iObj и tObj: (1) угловое несоответствие, синхронизированное с другими данными, зависящими от времени; (2) 3D-траектория вращения внутри того, что мы решили назвать «шаром вращений»; (3) Тепловая карта 3D-фиксации. На всех этапах протокола использовалось свободное программное обеспечение, такое как GNU Octave и Jmol, и все скрипты доступны в качестве дополнительного материала.

При таком подходе мы можем проводить детальные количественные исследования процесса решения задач, включающего умственные или физические вращения, а не только достигнутый результат. Можно точно измерить, насколько важна каждая часть 3D-моделей для участника в решении задач, и, таким образом, связать модели с соответствующими переменными, такими как характеристики объектов, когнитивные способности индивидуумов и характеристики человеко-машинного интерфейса.

Введение

Мысленное вращение (МРТ) — это когнитивная способность, которая позволяет людям мысленно манипулировать объектами и вращать их, способствуя лучшему пониманию их особенностей и пространственных отношений. Это одна из зрительно-пространственных способностей, фундаментальная когнитивная группа, которая изучалась еще в 1890^году1. Зрительно-пространственные способности являются важным компонентом когнитивного репертуара человека, на который влияют как наследственные факторы, так и факторы окружающей среды 2,3,4,5.

протокол

1. Подготовка инструментов сбора данных

1. Настройте онлайн-сбор данных (опционально).
   ПРИМЕЧАНИЕ: На этом шаге описывается, как настроить настраиваемый клон кода проекта и рабочей веб-страницы (см. Дополнительный файл 1). Этот шаг был адаптирован из учебных пособий, доступных на https://pages.github.com/ и https://github.com/jamiewilson/form-to-google-sheets. Если пользователей интересует только способ обработки данных, а не их регистрация, они могут использовать веб-страницу https://rodrigocnstest.github.io/iRT_JoVE.html вместе сДополнительная таблица S1 и файлы репозитори....

Результаты

Эволюция углового несоответствия и других переменных
Как показано на шаге 3.3.1 в Дополнительном файле 2, на экране видеомонитора участнику представляются два полотна, отображающие копии одного и того же виртуального 3D-объекта в разных ори?.......

Обсуждение

Как уже говорилось ранее, в этой статье представлена подробная процедура отображения данных фиксации и саккадного движения в реальном времени на интерактивных 3D-объектах, которая легко настраивается и использует только бесплатное программное обеспечение, предоста?.......

Материалы

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.