Мы представляем протокол, который использует айтрекинг для отслеживания движений глаз во время задачи сравнения интервалов (восприятия длительности) на основе визуальных событий. Цель состоит в том, чтобы дать предварительное руководство по отделению глазодвигательных реакций на задачи восприятия длительности (сравнение или различение временных интервалов) от реакций на сам стимул.
Методы айтрекинга могут позволить онлайн-мониторинг когнитивной обработки во время заданий на восприятие визуальной длительности, где участников просят оценить, различить или сравнить временные интервалы, определяемые визуальными событиями, такими как мигающие круги. Однако, насколько нам известно, попытки подтвердить эту возможность до сих пор остаются безрезультатными, и результаты по-прежнему сосредоточены на поведенческих решениях, принятых в автономном режиме после появления стимула. В данной статье представлен протокол айтрекинга для изучения когнитивных процессов, предшествующих поведенческим реакциям, в задаче на сравнение интервалов, где участники просматривали два последовательных интервала и должны были решить, ускоряется ли он (первый интервал длиннее второго) или замедляется (второй интервал длиннее).
Наша главная задача состояла в том, чтобы отделить глазодвигательные реакции на сам зрительный стимул от коррелятов длительности, связанных с суждениями. Для этого мы определили три последовательных временных окна, основанных на критических событиях: начало исходного уровня, начало первого интервала, начало второго интервала и окончание стимула. Затем мы извлекли традиционные глазодвигательные показатели для каждого из них (количество фиксаций, размер зрачка) и сосредоточились на изменениях, связанных с временным окном, чтобы отделить реакцию на визуальный стимул от реакции, связанной со сравнением интервалов как таковым. Как мы показываем в иллюстративных результатах, данные айтрекинга показали значительные различия, которые согласуются с поведенческими результатами, что выдвигает гипотезы о задействованных механизмах. Этот протокол находится в зачаточном состоянии и потребует многих улучшений, но он представляет собой важный шаг вперед в современном состоянии техники.
Способности к восприятию времени привлекают все большее внимание исследователей в последние годы, отчасти из-за накопления доказательств того, что они могут быть связаны с навыками чтения или патологическими состояниями 1,2,3,4,5. Зрительное восприятие длительности — способность оценивать, различать или сравнивать временные интервалы, определяемые визуальными событиями — является одной изобластей интереса, в которуюмогут внести свой вклад методы отслеживания взгляда. Тем не менее, результаты по-прежнему сосредоточены на постстимульных поведенческих решениях, таких как нажатие кнопки, чтобы указать, сколько времени прошло (оценка), одинаковы ли временные интервалы или различны (дискриминация), или какой из ряда временных интервалов является самым длинным или коротким. В нескольких исследованиях предпринимались попытки соотнести поведенческие результаты с данными отслеживания движений глаз 8,9, но они не смогли найти корреляции между ними, предполагая, что прямая связь отсутствует.
В настоящей работе представлен протокол регистрации и анализа глазодвигательных реакций при предъявлении стимула в задаче восприятия зрительной длительности. В частности, описание относится к задаче на сравнение интервалов, в которой участники видели последовательности из трех событий, определяющих два временных интервала, и их просили оценить, ускорились ли они (первый интервал длиннее второго) или замедлились (первый интервал короче второго). Временные интервалы, использованные в исследовании, охватывали от 133 до 733 мс, в соответствии с принципами временной выборки (TSF)10. TSF предполагает, что колебательная активность мозга, особенно в частотных диапазонах, таких как дельта-колебания (1-4 Гц), синхронизируется с входящими речевыми единицами, такими как последовательности ударных ударений. Эта синхронизация улучшает кодирование речи, улучшает внимание к речевым единицам и помогает извлекать последовательные закономерности, которые могут иметь значение для понимания таких состояний, как дислексия, которые демонстрируют нетипичные низкочастотные колебания. Цель исследования, в котором мы разработали представленный здесь метод, состояла в том, чтобы определить, отражают ли трудности дислексиков в восприятии зрительной длительности (групповые эффекты в задаче интервального сравнения) проблемы в обработке самого визуального объекта, а именно движения и контрастов яркости11. Если бы это было так, мы ожидали, что дислектики были бы в невыгодном положении по отношению к контрольной группе для стимулов с движением и низкой контрастностью яркости (взаимодействие между группой и типом стимула).
Основной результат оригинального исследования был обусловлен постстимульными поведенческими суждениями. Данные айтрекинга (размер зрачка и количество фиксаций), записанные во время предъявления стимула, были использованы для изучения процессов, предшествующих принятию поведенческих решений. Тем не менее, мы считаем, что текущий протокол может быть использован независимо от сбора поведенческих данных, при условии, что цели будут поставлены соответствующим образом. Также можно настроить его для задач интервального различения. Использовать его в задачах оценки времени не так быстро, но мы не исключаем такой возможности. Мы использовали размер зрачка, потому что он отражает когнитивную нагрузку 12,13,14, среди других состояний и, таким образом, может предоставить информацию о навыках участников (чем выше нагрузка, тем меньше навыков). Что касается количества фиксаций, то большее количество фиксаций может отражать более сильную вовлеченность участников в задание15,16. В первоначальном исследовании использовались пять типов стимулов. Для упрощения мы использовали только два в текущем протоколе (Ball vs. Flash, представляющий собой контраст, связанный с движением).
Основная проблема, которую мы пытались решить, заключалась в том, чтобы отделить реакцию на сам визуальный стимул от реакции, связанной с интервальным сравнением, поскольку известно, что глазодвигательные реакции изменяются в зависимости от таких характеристик, как движение иликонтрастность яркости. Исходя из предпосылки, что визуальный стимул обрабатывается, как только он появляется на экране (первый интервал), а сравнение интервалов становится возможным только после начала второго временного интервала, мы выделили три временных окна: окно до стимула, первый интервал, второй интервал (поведенческая реакция не включена). Анализируя изменения в предстимульном окне в течение первого интервала, мы получаем индексы ответов участников на сам стимул. Сравнение первого и второго интервалов позволило бы выявить возможные глазодвигательные сигнатуры интервального сравнения — задачи, которую участников попросили выполнить.
Пятьдесят два участника (у 25 из которых была диагностирована дислексия или они были обозначены как потенциальные случаи заболевания, а 27 – контрольная группа) были набраны из сообщества (через социальные сети и удобные контакты по электронной почте) и из университетского курса. После подтверждающей нейропсихологической оценки и последующего анализа данных (подробнее см. Госвами10) семь участников были исключены из исследования. Это исключение включало четырех человек с дислексией, которые не соответствовали критериям, двух участников с дислексией с выбросами в основной экспериментальной задаче и одного участника контрольной группы, на чьи данные отслеживания глаз повлиял шум. Окончательная выборка состояла из 45 участников, 19 взрослых с дислексией (один мужчина) и 26 контрольных групп (пять мужчин). Все участники были носителями португальского языка, имели нормальное зрение или зрение, скорректированное до нормального, и ни у кого не было диагностированных проблем со слухом, неврологическими или речевыми проблемами. Протокол, описанный здесь, был одобрен местным комитетом по этике факультета психологии и педагогических наук Университета Порту (номер 2021/06-07b), и все участники подписали информированное согласие в соответствии с Хельсинкской декларацией.
1. Создание стимулов
2. Подготовка к эксперименту
3. Настройка аппарата
Рисунок 1: Настройка отслеживания движений глаз. Пространственное расположение записывающей системы состоит из компьютера стимуляции, записывающего компьютера, айтрекера, устройства отклика (кнопочного ящика) и клавиатуры. Участники сидели на расстоянии 55 см от экрана стимуляции. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
4. Подготовка сбора данных
5. Проведение эксперимента
6. Создание временных окон для анализа
Рисунок 2: Тип стимула. Последовательности прыгающих мячей (слева) и вспышек (справа), которые использовались в эксперименте. Пунктирными линиями обозначены временные окна, используемые для анализа: TW0 – период до стимулирования; TW1 является первым появлением стимула на экране и обозначает первый интервал, когда участник получает информацию о характеристиках стимулов и длине первого интервала, а TW2 отмечает второй интервал, когда участник может сравнить первый и второй интервалы для принятия решения (замедленного или ускоренного). Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
7. Меры по извлечению
8. Удалите испытания с артефактами
9. Статистический анализ
Чтобы лучше понять изменения, связанные с TW, наш анализ был сосредоточен на взаимодействии временных окон (TW0 и TW1, TW1 и TW1). TW2) с типом и группой стимулов. Как показано на рисунке 3, оба сравнения, связанные с TW (TW01 и TW12), показали разные уровни изменений в зависимости от стимула (взаимодействие TW x Stimulus), при этом Боллы вызывали больше связанных с TW изменений в глазодвигательных реакциях, чем вспышки в обеих группах (отсутствие TW x стимул x групповое взаимодействие). Это касалось как размера зрачка, так и количества фиксаций. Что касается групповых влияний, мы обнаружили взаимодействие TWX-групп на изменение числа фиксаций с TW0 на TW1 (реакция на начало стимула): дислексики показали снижение изменений, в основном за счет более низких значений престимула. Взаимодействия между TW, стимулом и группой отсутствовали. Это показывает, что групповые влияния были одинаковыми как для шаров, так и для вспышек.
Рисунок 3: Результаты. Изменения размера зрачка и количества фиксаций, связанные с временным окном, в зависимости от группы (контрольная группа, дислексия, TW x Group) и типа стимула (Balls, B, vs. Flashes, F, TW x Stimulus). TW 0-1 рассматривает контраст между отсутствием стимула и видимостью стимула; TW 1-2 сравнивает первый и второй интервалы для сравнения интервалов. 95% доверительные интервалы представлены вертикальными столбцами. Шары вызывали больше изменений, чем вспышки от TW0 по сравнению с TW1 (большее снижение) и от TW1 по сравнению с TW2 (большее увеличение) как в показателях отслеживания движений глаз, так и в обеих группах (стимул TW x, отсутствие стимула TW x группа). Изменения в количестве фиксаций в TW 0-1 были меньше у дислектиков, чем в контрольной группе, независимо от типа стимула (группа TW x, отсутствие стимула TW x группа). Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
Рисунок 4: Поведенческие результаты. (А) Различение последовательностей ускорения и замедления (d-prime) в зависимости от группы и типа стимула. (Б) Значимые корреляции между поведенческими показателями (d-prime) и изменениями в движениях глаз, связанными с временным окном, усредненными по стимулу. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
Важно отметить, что эти значения совпадали с поведенческими выводами (рис. 4А), в соответствии с основным исследованием: поведенческие результаты указывали на стимульные эффекты (меньшая точность для Болла, чем для Flashes) и групповые эффекты (худшая производительность у дислектиков), без взаимодействия со стимулами группы x. Более того, в оригинальном исследовании с пятью различными стимулами мы соотнесли поведенческие данные с данными айтрекинга (количество фиксаций), усредненными для всех типов стимулов, и обнаружили корреляцию в группе дислексиков: меньшие изменения от TW0 по сравнению с TW1 сосуществовали с улучшением производительности. В целом, результаты, казалось, согласуются с гипотезой о том, что эти (взрослые) дислектики могут прибегать к компенсаторным стратегиям для преднамеренного контроля внимания к самому стимулу в период до стимуляции (меньшее количество фиксаций на пустом экране будет способствовать концентрации внимания на стимуле к моменту его появления). Мы не обнаружили такой корреляции в контрольной группе, предполагая, что им, возможно, не нужно прибегать к стратегиям, чтобы сохранить фокус. Ограниченный набор данных, использованный здесь для иллюстрации (только два стимула, Balls и Flashes), показал ту же картину (рис. 4B): дислексики, но не контрольная группа, показали значимые корреляции между d-prime (индексом поведенческой дискриминации) и изменениями, связанными с TW01.
В целом, результаты айтрекинга, касающиеся реакций участников как на начало стимула (TW 0-1), так и на интервальное сравнение (TW 1-2), воспроизвели поведенческие доказательства того, что шарики и вспышки вызывают разные реакции у людей с дислексией и без нее (стимул TW x на показателях отслеживания взгляда, эффекты стимула на d-prime). Одна часть результатов айтрекинга также совпадала с групповыми эффектами на d-prime, в том смысле, что изменения в количестве фиксаций в начале стимула (TW 0-1) были меньше у дислектиков. Более того, взаимодействие между стимулом и группой (различные уровни девиантности у дислектиков для шариков и вспышек) было нулевыми для поведенческих данных и данных отслеживания движений глаз. Наконец, корреляция между поведенческими показателями и глазодвигательным ответом была значимой в группе дислексиков.
Последовательность | Тип | Интервал 1 | Интервал 2 | Разница |
1 | Ускорять | 433 | 300 | 133 |
2 | Ускорять | 300 | 167 | 133 |
3 | Ускорять | 467 | 433 | 34 |
4 | Ускорять | 733 | 167 | 566 |
5 | Ускорять | 467 | 300 | 167 |
6 | Ускорять | 433 | 134 | 299 |
7 | Ускорять | 534 | 233 | 301 |
8 | Ускорять | 500 | 433 | 67 |
9 | Не так быстро | 300 | 433 | -133 |
10 | Не так быстро | 167 | 300 | -133 |
11 | Не так быстро | 433 | 467 | -34 |
12 | Не так быстро | 167 | 733 | -566 |
13 | Не так быстро | 300 | 467 | -167 |
14 | Не так быстро | 133 | 434 | -301 |
15 | Не так быстро | 233 | 534 | -301 |
16 | Не так быстро | 433 | 500 | -67 |
Средний интервал | 377.1 | |||
Средняя разница | 212.6 | |||
Средняя разница/интервал | 294.8 |
Таблица 1: Продолжительность интервала. Последовательности стимулов для ускорения и замедления последовательностей в миллисекундах.
Текущий протокол содержит новый компонент, который может иметь решающее значение для преодоления существующих препятствий на пути внедрения отслеживания взгляда в задачи визуального восприятия длительности. Критическим шагом здесь является определение временных окон, основанное на когнитивных процессах, которые предположительно имеют место в каждом из этих временных окон. В системе, которую мы использовали, временные окна могут быть определены только как области интереса (концепция, связанная с пространством, которая связана со временем в этих системах), но в других системах это можно сделать, экспортируя различные сегменты испытания. В дополнение к этой временной сегментации исследования, важно сосредоточиться на анализе изменений во временных окнах, а не на параметрах для каждого временного окна.
Что касается поправок к протоколу, которые необходимо было внести, то они в основном касались размеров интересующего нас района. Мы предприняли первую попытку, используя динамические АОИ, определяя пространственный выбор вокруг стимула, который следовал за ним, а не по всему экрану. Однако вскоре мы поняли, что можем пропустить важные события за пределами этой области. Учитывая, что наши измерения не были связаны с фокусировкой на стимуле (ожидалось, что размер зрачка будет изменяться в зависимости от когнитивной нагрузки, а не от внимания к вспышке или мячу; ожидалось, что количество фиксаций будет отражать пространственный поиск), мы решили использовать полноэкранный режим в качестве области интереса.
Нынешний протокол находится в зачаточном состоянии, и в него все еще вносятся многочисленные уточнения. Мы выделим только два из них, хотя есть еще много возможностей для улучшения. Первый касается различий в длине трех временных окон, которые не позволяют нам интерпретировать влияние временного окна на количество фиксаций (например, более длительное временное окно влечет за собой большее количество фиксаций, отсюда и уменьшение от TW0 до TW1, см. рис. 3). Одним из способов решения этой проблемы может быть рассмотрение количества фиксаций в единицу времени.
Второй связан с соответствием между временными окнами и предполагаемыми текущими процессами, которые включают в себя различные вопросы. Одна из них заключается в том, что TW1 представляет собой не только появление стимула, но и, вероятно, явную форму интервальной оценки (первый интервал), вспомогательную по отношению к интервальному сравнению и, вероятно, отсутствующую в TW0. Аналогичным образом, изменения во временных окнах могут также отражать изменения в общих процессах, таких как устойчивое внимание и рабочая память, даже если некоторые из этих изменений можно было бы ожидать в задаче сравнения интервалов (ожидается, что нагрузка на рабочую память увеличится с TW1 по сравнению с TW2). Одним из способов ослабления этих потенциальных искажений было бы введение контрольных задач, связанных с чистой оценкой длительности, устойчивым вниманием и рабочей памятью, а затем основание анализа данных айтрекинга на сравнении экспериментальных (интервальное сравнение) и контрольных задач. Другая проблема заключается в том, что длительность TW0 не имеет отношения к задаче, а известно, что длительности, не относящиеся к задаче, могут быть вредны для производительности19. Будущая работа может быть сосредоточена на улучшении этой ситуации, а именно на создании разницы в 300 мс между TW0 (нерелевантный интервал) и TW1 для лучшего разграничения реакций визуальной обработки, поскольку короткое событие может быть смещено и восприниматься раньше или позже, чем его представление, просто добавив другое событие в непосредственной временной близости20,21.
Наконец, спонтанные моргания глаз могут влиять на восприятие времени, искажая его (увеличивая время, если моргание глаз предшествует интервалу, и сокращаясь, если оно происходит одновременно), потенциально внося вариативность во внутрииндивидуальныевременные показатели. Одним из способов минимизации этой проблемы было бы применение корректирующего фактора, основанного на моргании глаз, в поведенческих суждениях участников (например, присвоение степени надежности каждому суждению в зависимости от наличия морганий до или во время стимулов). Кроме того, использование статистического подхода, предполагающего рассмотрение испытаний как случайных величин, также может помочь в решении этой проблемы.
Что касается будущих исследований, важной темой для рассмотрения будет связь между частотой спонтанного моргания глаз (EBR) и восприятием времени. Известно, что EBR является неинвазивным косвенным маркером центральной дофаминовой функции (DA)23, а в последнее время высокий уровень ERB был связан с ухудшением временного восприятия. Исследование предполагает влияние дофамина на интервальное время и указывает на использование ERB в качестве прокси дофаминового показателя24. Другой важной темой является функциональное значение анализируемых нами мер (связанных с изменениями), которое еще предстоит определить в контексте нашей парадигмы. В первоначальном исследовании, а также в нынешнем упрощенном наборе данных, увеличение размера зрачка с TW0 до TW1 согласовывалось с идеей увеличения когнитивной нагрузки, но отсутствие групповых эффектов на этот показатель исключает дальнейшие рассмотрения. Одна из закономерностей, которая, по-видимому, присутствует, заключается в том, что небольшие изменения во временных окнах коррелируют с лучшими поведенческими показателями (вспышки лучше, чем мячи, и d-prime у дислексиков связаны с меньшими изменениями), но необходимы дальнейшие исследования.
Несмотря на свои ограничения, текущий протокол, насколько нам известно, является первым, который показал параллельные результаты в отслеживании движений глаз и поведенческих данных (один и тот же профиль эффектов), а также некоторые доказательства корреляции между ними.
Эта работа была поддержана Португальским фондом науки и технологий в рамках грантов UIDB/00050/2020; и PTDC/PSI-GER/5845/2020. APC был полностью профинансирован Португальским фондом науки и технологий в рамках гранта PTDC/PSI-GER/5845/2020 (http://doi.org/10.54499/PTDC/PSI-GER/5845/2020).
Name | Company | Catalog Number | Comments |
Adobe Animate | Adobe | It is a tool for designing flash animation films, GIFs, and cartoons. | |
EyeLink Data Viewer | It is robust software that provides a comprehensive solution for visualizing and analyzing gaze data captured by EyeLink eye trackers. It is accessible on Windows, macOS, and Linux platforms. Equipped with advanced capabilities, Data Viewer enables effortless visualization, grouping, processing, and reporting of EyeLink gaze data. | ||
Eye-tracking system | SR Research | EyeLink 1000 Portable Duo | It has a portable duo camera, a Laptop PC Host, and a response device. The EyeLink integrates with SR Research Experiment Builder, Data Viewer, and WebLink as well as many third-party stimulus presentation software and tools. |
Monitor | Samsung Syncmaster | 957DF | It is a 19" flat monitor |
SR Research Experiment Builder | SR Research | It is an advanced and user-friendly drag-and-drop graphical programming platform designed for developing computer-based experiments in psychology and neuroscience. Utilizing Python as its foundation, this platform is compatible with both Windows and macOS, facilitating the creation of experiments that involve both EyeLink eye-tracking and non-eye-tracking functionalities. |
This article has been published
Video Coming Soon
ABOUT JoVE
Copyright © 2025 MyJoVE Corporation. All rights reserved