Для просмотра этого контента требуется подписка на Jove Войдите в систему или начните бесплатную пробную версию.
Method Article
Мы разработали простой, настраиваемый и эффективный метод записи количественных процессуальных данных из интерактивных пространственных задач и сопоставления этих данных вращения с данными отслеживания взгляда.
Представлен метод записи взаимодействия человека с трехмерными (3D) виртуальными объектами в режиме реального времени. Этот подход заключается в связывании данных о вращении объекта, которым манипулируют, с поведенческими показателями, такими как отслеживание взгляда, чтобы сделать более точные выводы о лежащих в основе когнитивных процессах.
Задача состоит в отображении на экране компьютера двух идентичных моделей одного и того же 3D-объекта (молекулы): вращающегося интерактивного объекта (iObj) и статичного целевого объекта (tObj). Участники должны вращать iObj с помощью мыши до тех пор, пока не сочтут, что ее ориентация идентична ориентации tObj. Компьютер отслеживает все данные о взаимодействии в режиме реального времени. Данные о взгляде участника также записываются с помощью айтрекера. Частота измерения составляет 10 Гц на компьютере и 60 Гц на айтрекере.
Данные ориентации iObj относительно tObj записываются в кватернионах вращения. Данные о взгляде синхронизируются с ориентацией iObj и сопоставляются с использованием той же системы. Этот метод позволяет нам получить следующие визуализации процесса взаимодействия человека с iObj и tObj: (1) угловое несоответствие, синхронизированное с другими данными, зависящими от времени; (2) 3D-траектория вращения внутри того, что мы решили назвать «шаром вращений»; (3) Тепловая карта 3D-фиксации. На всех этапах протокола использовалось свободное программное обеспечение, такое как GNU Octave и Jmol, и все скрипты доступны в качестве дополнительного материала.
При таком подходе мы можем проводить детальные количественные исследования процесса решения задач, включающего умственные или физические вращения, а не только достигнутый результат. Можно точно измерить, насколько важна каждая часть 3D-моделей для участника в решении задач, и, таким образом, связать модели с соответствующими переменными, такими как характеристики объектов, когнитивные способности индивидуумов и характеристики человеко-машинного интерфейса.
Мысленное вращение (МРТ) — это когнитивная способность, которая позволяет людям мысленно манипулировать объектами и вращать их, способствуя лучшему пониманию их особенностей и пространственных отношений. Это одна из зрительно-пространственных способностей, фундаментальная когнитивная группа, которая изучалась еще в 1890году1. Зрительно-пространственные способности являются важным компонентом когнитивного репертуара человека, на который влияют как наследственные факторы, так и факторы окружающей среды 2,3,4,5. Интерес к зрительно-пространственным способностям рос на протяжении всего двадцатого века в связи с растущим количеством доказательств их важности в ключевых предметах, таких как старение и развитие7, успеваемость в науке, технике, инженерии и математике (STEM)8,9, креативность10 и эволюционные черты11.
Современная идея МР проистекает из новаторской работы, опубликованной Шепардом и Метцлером (SM) в 1971году. Они разработали хронометрический метод, используя серию «одинаковых или разных» задач, представляя две проекции абстрактных 3D-объектов, отображаемых бок о бок. Участники должны были мысленно повернуть объекты вокруг какой-либо оси и решить, изображают ли эти проекции один и тот же объект, вращающийся по-разному или разные объекты. В ходе исследования выявлена положительная линейная корреляция между временем отклика (RT) и угловым несоответствием (AD) между представлениями одного и того же объекта. Эта корреляция известна как эффект углового несоответствия (ADE). АДЭ рассматривается как поведенческое проявление МР и стала повсеместной в нескольких влиятельных последующих исследованиях в этой области 13,14,15,16,17,18,19,20,21,22,23,24,25. 3D-объекты, использованные в исследовании SM, состояли из 10 непрерывных кубов, созданных пионером компьютерных графов Майклом Ноллом в Bell Laboratories26. Они называются цифрами СМ и широко используются в исследованиях МРТ.
Два достижения имели большое значение в плодотворной работе Шепарда и Метцлера; во-первых, с учетом вклада в области оценки МР. В 1978 году Вандерберг иКузе разработали психометрический тест из 20 пунктов на основе «одинаковых или разных» цифр SM, который стал известен как тест ментального вращения (VKMRT). Каждый тестовый элемент представляет собой целевой стимул. VKMRT был использован для исследования корреляции между способностями к МРТ и различными другими факторами, такими как гендерные различия 6,21,24,28,29,30, старение и развитие 6,31,32, академическая успеваемость8,33, и навыки в музыке и спорте34. В 1995 году Петерс и др. опубликовали исследование с перерисованными цифрами для VKMRT35,36. Аналогичным образом, следуя схеме задачи «тот же или другой», для исследования процессов МР и оценки способностей МРТ было использовано множество других библиотек сгенерированных компьютером стимулов (3D-версии оригинальных стимулов СМ 19,22,23,37,38; человеческое тело, имитирующее фигуры СМ 25,39,40; плоские многоугольники для двумерного вращения 41); 42, анатомия и органы43, органические формы44, молекулы45,46 и др.21). Тест пространственной визуализации Пердью (PSVT), предложенный Гуэем в 197647 году, также актуален. Он включает в себя целый ряд тестов, в том числе MR (PSVT:R). Используя стимулы, отличные от стимулов в VKMRT, PSVT:R требует от участников определить операцию вращения в модельном стимуле и мысленно применить ее к другому. PSVT:R также широко используется, особенно в исследованиях, изучающих роль МР в достижениях STEM 48,49,50.
Второе достижение, имеющее большое значение в плодотворной работе Шепарда и Метцлера, заключается в вкладе в понимание процесса МРТ, в частности, с использованием устройств слежения за движением глаз. В 1976 году Джаст и Карпентер14 использовали аналоговое видеооборудование для отслеживания глаз для проведения исследования, основанного на эксперименте Шепарда и Метцлера ADE. На основе полученных результатов по саккадическим движениям глаз и РТ они предложили модель МР-процессов, состоящую из трех фаз: 1) фаза поиска, в которой распознаются похожие части фигур; 2) фаза преобразования и сравнения, в которой происходит мысленное вращение одной из выявленных частей; 3) этап утверждения, на котором решается, совпадают цифры или нет. Фазы повторяются рекурсивно до тех пор, пока не будет принято решение. Каждый шаг соответствует определенным саккадическим и фиксирующим паттернам движения глаз в тесной связи с наблюдаемыми ADE. Таким образом, соотнося активность глаз с хронометрическими данными, Джаст и Карпентер обеспечили когнитивную сигнатуру для изучения процессов МРТ. На сегодняшний день эта модель, хоть и с адаптациями, была принята в нескольких исследованиях 15,42,46,51,52,53.
Вслед за этим последовало несколько исследований, отслеживающих поведенческие 18,19,22,23,25,34,40,54,55 и активность мозга 20,22,56,57 Выполнялись функции при вращении стимулов. Их результаты указывают на совместную роль между МРТ и двигательными процессами. Кроме того, растет интерес к исследованию стратегий решения проблем, связанных с МРТ в связи с индивидуальными различиями 15,41,46,51,58.
В целом, можно считать, что дизайн исследований, направленных на понимание процессов МРТ, основан на постановке задачи с визуальными стимулами, которая требует от участников выполнения МРТ-операции, которая, в свою очередь, влечет за собой двигательную реакцию. Если эта реакция позволяет вращать стимулы, ее часто называют физическим вращением (PR). В зависимости от конкретных целей каждого исследования для сбора и анализа данных МРТ и ПР использовались различные стратегии и устройства. На этапе презентации стимула задачи можно изменить типы стимулов (т.е. ранее приведенные примеры); проекция (компьютерные изображения в традиционных дисплеях 22,23,25,29,40,41,59, а также в стереоскопах19 и виртуальной60 и смешанной реальности 43); и интерактивность стимулов (статические изображения 12,27,36, анимация61 и интерактивные виртуальные объекты 19,22,23,43,53,59).
МР обычно выводится из измерений ОТ (ADE), а также глазной и мозговой активности 25,46,62. Глазная активность измеряется с помощью данных айтрекинга, состоящих из саккадических движений и фиксаций 14,15,42,51,52,54,58,60, а также пупиллометрии 40. Данные RT обычно формируются из данных о реакции двигателя, записанных при работе с различными устройствами, такими как рычаги13, кнопки и переключатели14,53, педали53, поворотные ручки19, джойстики37, клавиатура61 и мышь 29,58,60, ведущие колеса53, инерциальные датчики22,23, сенсорные экраны52,59и микрофоны22. Для измерения PR, в дополнение к RT, дизайн исследования также будет включать запись ручных вращений интерактивных стимулов во время выполнения участниками задачиMR 22,23,52,53.
В 1998 году Вольшлегер и Вольшлегериспользовали «те же или разные» задачи с интерактивными виртуальными SM-стимулами, управляемыми ручкой, с вращением, ограниченным одной осью на задачу. Они измерили RT и совокупную запись физических вращений, выполненных во время выполнения задач. Сравнивая ситуации с фактическим вращением интерактивных стимулов и без него, они пришли к выводу, что MR и PR имеют общий процесс как для воображаемых, так и для фактически выполняемых вращений.
В 2014 году были проведены два исследования с использованием одного и того же типа заданий с виртуальными интерактивными стимулами22,23. Тем не менее, объектами манипулировали с помощью инерциальных датчиков, которые фиксировали движение в 3D-пространстве. В обоих случаях, помимо РТ, регистрировались траектории вращения – эволюция разницы во вращении между референсными и интерактивными стимулами во время выполнения заданий. Из этих траекторий можно было извлечь как кумулятивную информацию (т.е. общее количество оборотов, в кватернионных единицах), так и подробную информацию о стратегиях решения. Adams et al.23 изучали кооперативный эффект между MR и PR. Помимо РТ, в качестве параметра точности и объективности разрешения использовался интеграл траекторий вращения. Профили кривых интерпретировались в соответствии с трехступенчатой моделью63 (планирование, большое вращение, тонкая корректировка). Результаты показывают, что МР и ПР не обязательно имеют один общий фактор. Gardony et al.22 собрали данные о RT, точности и вращении в реальном времени. В дополнение к подтверждению взаимосвязи между МР и ПР, анализ траекторий вращения показал, что участники манипулировали цифрами до тех пор, пока не смогли определить, отличаются они или нет. Если бы они были одинаковыми, участники вращали бы их до тех пор, пока они не стали бы выглядеть одинаково.
Продолжая эту стратегию, в 2018 году Wetzel и Bertel52 также использовали интерактивные фигурки SM в «тех же или разных» задачах, используя планшеты с сенсорным экраном в качестве интерфейса. Кроме того, они использовали устройство слежения за движением глаз для получения кумулятивных данных о времени фиксации и саккадической амплитуде как параметрах когнитивной нагрузки, участвующей в решении МР-задач. Авторы подтвердили ранее рассмотренные выше исследования о взаимосвязи между МР и PR и процессами решения задач. Однако в этом исследовании они не использовали фиксационное картирование и данные саккад для стимулов.
Методологические подходы к отображению данных отслеживания движения глаз на виртуальных 3D-объектах были предложены и постоянно совершенствуются, как правило, исследователями, заинтересованными в изучении факторов, связанных со зрительным вниманием в виртуальныхсредах. Несмотря на доступность и использование аналогичных устройств слежения за движением глаз, эти методы, по-видимому, не были эффективно интегрированы в экспериментальный репертуар, используемый в исследованиях мысленного вращения с интерактивными 3D-объектами, подобными упомянутым ранее. С другой стороны, мы не нашли в литературе исследований, в которых сообщалось бы о картографировании данных фиксации и саккадного движения в реальном времени на интерактивных 3D-объектах. Похоже, что не существует удобного метода для простой интеграции данных об активности глаз с траекториями вращения. В этом исследовании мы стремимся внести свой вклад в восполнение этого пробела. Подробно описана процедура, начиная с сбора данных и заканчивая генерацией графического вывода.
В данной работе мы подробно описываем метод исследования процессов мысленного вращения с виртуальными интерактивными 3D-объектами. Особо выделяются следующие достижения. Во-первых, он объединяет количественный поведенческий мотор (вращение объекта с помощью компьютерного интерфейса) и глаз (отслеживание взгляда) данные во время сеансов взаимодействия с виртуальными 3D-моделями. Во-вторых, для этого требуется только обычное компьютерное оборудование и устройства слежения за движением глаз для визуального проектирования задач, сбора, записи и обработки данных. В-третьих, он легко генерирует графические выходные данные для облегчения анализа данных - углового несоответствия, физического вращения, кватернионных траекторий вращения и отображения данных отслеживания взгляда на 3D-виртуальные объекты. Наконец, для этого метода требуется только свободное программное обеспечение. Весь разработанный код и скрипты доступны бесплатно (https://github.com/rodrigocnstest/rodrigocnstest.github.io).
Access restricted. Please log in or start a trial to view this content.
1. Подготовка инструментов сбора данных
2. Сбор данных
3. Обработка и анализ данных
4. Кастомизация задач
ПРИМЕЧАНИЕ: Весь этот раздел необязателен и рекомендуется только для тех, кто любит экспериментировать или понимает, как программировать. Ниже вы найдете некоторые из множества доступных настраиваемых опций, и по мере дальнейшего развития методов будут доступны дополнительные опции.
Access restricted. Please log in or start a trial to view this content.
Эволюция углового несоответствия и других переменных
Как показано на шаге 3.3.1 в Дополнительном файле 2, на экране видеомонитора участнику представляются два полотна, отображающие копии одного и того же виртуального 3D-объекта в разных ори?...
Access restricted. Please log in or start a trial to view this content.
Как уже говорилось ранее, в этой статье представлена подробная процедура отображения данных фиксации и саккадного движения в реальном времени на интерактивных 3D-объектах, которая легко настраивается и использует только бесплатное программное обеспечение, предоста?...
Access restricted. Please log in or start a trial to view this content.
У авторов нет конфликта интересов, который можно было бы раскрыть.
Авторы выражают благодарность Координационному совету по совершенствованию кадров высшего образования (CAPES) - Финансовый кодекс 001 и Федеральному университету ABC (UFABC). Жуан Р. Сато получил финансовую поддержку от Исследовательского фонда Сан-Паулу (FAPESP, гранты NoNo 2018/21934-5, 2018/04654-9 и 2023/02538-0).
Access restricted. Please log in or start a trial to view this content.
Name | Company | Catalog Number | Comments |
Firefox | Mozilla Foundation (Open Source) | Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used | |
GNU Octave | Open Source | https://octave.org/ | |
Google Apps Script | Google LLC | script.google.com | |
Google Sheets | Google LLC | https://www.google.com/sheets/about/ | |
Laptop | Any computer that can run the eye tracking system software. | ||
Mangold Software Suite | Mangold | Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used. | |
Mouse | Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently. | ||
Vt3mini | EyeTech Digital Systems | 60 Hz. Any working Eye Tracking device should be compatible. |
Access restricted. Please log in or start a trial to view this content.
Запросить разрешение на использование текста или рисунков этого JoVE статьи
Запросить разрешениеThis article has been published
Video Coming Soon
Авторские права © 2025 MyJoVE Corporation. Все права защищены