Name: eye tracking during visually situated language comprehension: flexibility and limitations in uncovering visual context effects
Uploaded: 2018-11-30T12:30:00
Duration: 7 min 36 s
Description: Watch this Scientific Journal Video about Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects at JoVE.com

Это исследование финансировалось Зуко (передового опыта инициатива, Гумбольдт-Universität цу Берлин), 277 кластера Excellence «Когнитивных взаимодействия технологии» (Немецкий исследовательский совет, DFG) и седьмой рамочной программы Европейского союза для проведения исследований, технологическое развитие и демонстрация под Грант соглашение n ° 316748 (LanPercept). Авторы также отметить поддержку от базальной фондов для центров передового опыта, проект FB0003 от ассоциативного исследования программа НКНТИ (правительство Чили) и от проекта «FoTeRo» в центре внимания XPrag (DFG). Пиа Knoeferle условии первый проект статьи протоколом лабораторных сообщил, что Helene Kreysa создан в университете Билефельд и что по-прежнему использоваться в Humboldt-Universität цу Берлин. Все авторы способствовали содержимое, обеспечивая ввод о методах и результатах в той или иной форме. Камило Родригес рондерос и Пиа Knoeferle координировал от авторов и в двух итераций, существенно пересмотрел первоначальный проект. Эрнесто Guerra производится на рисунках 2 - 4 на основе ввода от Katja Münster, Альба Родригес и Эрнесто Герра. Helene Kreysa условии, что это обновление Рисунок 1 и Пиа Knoeferle. Части полученные результаты были опубликованы в работе ежегодного совещания общества когнитивной науки.

Авторы не имеют ничего сообщать.

В целом рассмотрены варианты глаз слежения в визуальные контекстах обнаружили много способов, в которых визуальной сцены может повлиять на понимание языка. Этот метод обеспечивает решающую преимущества по сравнению с методами, например измерение времени реакции. Например движения текущей глаз обеспечивают нас с окном в языке понимания процессов и как они взаимодействуют с нашим восприятием визуальный мир со временем. Кроме того участники, не обязательно выполнять явное задание во время понимание языка (например, судя Грамматичность приговор через нажатие кнопки). Это позволяет исследователям использовать метод с населением, которые могут бороться с открытой поведенческие реакции, за исключением глаз взглядом, как младенцев, детей и, в некоторых случаях, пожилые люди. Глаз слежения экологически допустимым в том, что он отражает внимание ответы участников — не в отличие от визуального допросов людей коммуникации соответствующих вещей в мире вокруг них в течение более или менее внимательныя(ый) слушать разворачивается высказываний.
Одна из границ (или возможно характеристики) визуальный мир парадигмы является, что не все события могут быть изображены прямо и недвусмысленно. Можно конечно, изображены конкретные объекты и события. Но как абстрактные понятия являются лучшими изображена менее ясно. Это может ограничить (или определить) понимание взаимодействия между обработки языка и восприятие визуальный мир, используя визуальный мир глаз отслеживания парадигмы. Дополнительные проблемы касаются ссылок гипотезы между наблюдаемым поведением и понимания процессов. Глаз записей представляют собой единый поведенческих ответ, который вероятно отражает многие подпроцессы во время понимание языка (например, лексические доступ, ссылочной процессов, язык опосредованной ожиданий, визуальный контекст эффекты, среди прочих). Учитывая это понимание, исследователи должны быть осторожны, чтобы не более - или неверно истолковать наблюдаемые взгляд шаблон. Для решения этой проблемы, предварительного исследования подчеркнул роль понимания подзадач для уточнения толкования взгляд записи40.
Одним из способов повышения интерпретируемости движений глаз является интегрировать их с другими мерами, например мозга, связанных с событиями потенциалов (ФПЗ). Исследуя то же явление с двумя методами, которые сопоставимы по их временной детализации и дополняют друг друга в их увязки гипотезы, исследователи могут исключать альтернативные объяснения их результатов и обогатить интерпретации каждого отдельные меры41. Этот подход осуществлялась через эксперименты43, но, более недавно, также в пределах одного эксперимента (хотя и в строго лингвистических контекстах)44. Будущие исследования могли бы извлечь большую пользу из таких методологических интеграции и продолжил комбинации с послесудебного и после экспериментальных задач.
Глаз отслеживание метод может реплицировать установленные результаты, а также испытания новых гипотез о взаимодействии визуального внимания в сценах с понимания языка. Изложенных в протоколе должны быть тщательно процедура поскольку экспериментатор даже незначительные ошибки могут повлиять на качество данных. В чтении исследования, например, в регионах соответствующего анализа зачастую отдельных слов или даже письма, означает, что даже небольшие калибровки ошибки может исказить результаты (см. статью42Рани и коллеги). Шаги 1.4 и 1.5 протокола, калибровка трекер глаз и дрейфа чек/дрейф правильно, имеют особое значение, поскольку они непосредственно влияют на точность записи. Неспособность правильно откалибровать трекер глаз может привести к трекер не точно отслеживания движения глаз в установленных областях, представляющих интерес. Такая неудача отслеживания приведет к отсутствующие точки данных и потерю в статистической мощности, что может быть проблематичным при расследовании отношения язык мира, которые являются очень тонкие и принести небольшой статистический эффект размеров (описание см. эксперименты по Герра и Knoeferle32 и37 Мюнстер и коллеги среди Представитель результаты).
Учитывая необходимость увеличить мощность и чувствительность оборудования, важно, что экспериментаторов знают, как бороться с проблемами, которые регулярно происходят во время экспериментальной сессии. Например ученик положение и движения участников очках может привести к калибровки трудности из-за отражения света на линзы очки участника. Одним из способов решения этой проблемы заключается в зеркало изображение участника глаз на экран ПК и поощрять их для перемещения их головы до тех пор, пока отражение света на очки больше не видны на экране, означает, что он больше не захвачен камеры. Еще одной причиной отказа калибровки может быть сужение зрачка, которая может быть следствием чрезмерного к свету. В этом случае диммирование света в лаборатории будет увеличить дилатация зрачка и, таким образом, помочь глаз tracker в точно обнаружение ученика.
Как последняя мысль мы хотели бы рассмотреть потенциал visual мире парадигма имеет по изучению второго языка обучения. Парадигма уже успешно используется в Психолингвистические исследования расследовать такие явления, как кросс языковых лексические и фонологические взаимодействия46,47,48. Кроме того в литературе прикладной лингвистики на приобретение второго языка49,,5051часто была подчеркнута тесная связь между визуального внимания и изучения языка. Будущие исследования по второго языка обучения, скорее всего, продолжит пользоваться выгодное положение глаз слежения, как метод, который обеспечивает индекс визуального внимания в резолюции миллисекунды.

<table border="0" cellpadding="0" cellspacing="0" width="1185">
	<tbody>
		<tr height="21">
			<td height="21" style="height:21px;width:476px;">Desktop mounted eye-tracker including head/chin rest</td>
			<td style="width:165px;">SR Research Ltd.</td>
			<td style="width:185px;">EyeLink 1000 plus</td>
			<td style="width:359px;">http://www.sr-research.com/eyelink1000plus.html</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;">Software for the design and execution of an eye-tracking experiment</td>
			<td>SR Research Ltd.</td>
			<td>Experiment Builder</td>
			<td>http://www.sr-research.com/eb.html</td>
		</tr>
	</tbody>
</table>

eye tracking during visually situated language comprehension: flexibility and limitations in uncovering visual context effects

Настоящая работа является описание и оценку методологии, предназначенных для количественной оценки различных аспектов взаимодействия между обработки языка и восприятие визуальный мир. Запись глаз взгляд шаблоны предоставила веские доказательства для вклада визуальный контекст и лингвистические/мир знаний для понимания языка. Первоначальные исследования оценить эффекты контекст объекта для проверки теории модульность языка обработки. Во введении, мы описываем как последующие расследования взяли роль более широкого контекста визуального языка обработки как темы исследования в своем собственном праве, задавая вопросы такие, как наше визуальное восприятие событий и ораторов способствует понимание, сообщил comprehenders опыт. Среди рассмотренных аспектов визуального контекста являются действия, события, спикер взглядом и эмоциональные выражения лица, а также пространственного объекта конфигурации. После обзора eye отслеживание метода и его различных приложений мы перечислим основные шаги методологии в протоколе, иллюстрирующие как успешно использовать его для изучения восприятия языка визуально расположен. Заключительном разделе представлены три представителя результирующие наборы и иллюстрирует преимущества и ограничения глаз слежения для изучения взаимосвязи между восприятия визуального восприятия мира и языка.

Watch this Scientific Journal Video about Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects at JoVE.com

Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects

Глаз слежения во время визуально расположен языка понимание: Гибкость и ограничения в раскрытии визуальный контекст эффекты

Настоящей статьи обзоры методологии глаз отслеживания исследований на понимание языка. Для получения достоверных данных, должны соблюдаться основные этапы протокола. Среди них правильные настройки глаз отслеживания (например, обеспечивая хорошее качество изображений глаз и головы) и точной калибровки.

The present work is a description and an assessment of a methodology designed to quantify different aspects of the interaction between language processing ...

Этот метод может помочь ответить на ключевые исследовательские вопросы в психолингвистику относительно психических процессов, связанных с пониманием языка. Преимущество этого метода заключается в том, что он обеспечивает индекс визуального внимания с высоким временным разрешением, направленный на изучение взаимосвязи между визуальным миром и обработкой языка. Лица, новые для этого метода, могут бороться, потому что протокол должен выполняться с высокой степенью точности.Визуальная демонстрация этого метода имеет решающее значение, поскольку надлежащее внедрение метода часто требует специального устранения неполадок. Чтобы определить доминирование глаз, попросите участника протянуть одну руку и выровнять большой палец с далеким объектом с открытыми глазами. У участника альтернативные закрытия каждого глаза.Доминирующим глазом является глаз, для которого большой палец остается выровнены с объектом, когда этот глаз открыт. Затем попросите участника сесть за стол с подбородком на подбородке и лбом против подголовника. Далее нажмите изображение для отображения ПК. Должны появиться один большой и два меньших изображения глаз участника.Используйте клавиши стрелки клавиатуры, чтобы выбрать один из небольших доминирующих изображений глаз и нажмите A, чтобы центр поиска ограничивает поле на позиции ученика. Красный квадрат должен появиться вокруг глаза с бирюзовым кругом в нижней части зрачка. Сам ученик должен быть синим.Подтвердите наличие двух перекрестий на экране, один в центре зрачка и один в центре отражения роговицы. Корректировка размера отражения роговицы имеет решающее значение. Это основа для хорошей калибровки глаз трекера.Вручную поверните фокус-объектив, чтобы настроить камеру по мере необходимости, заботясь о том, чтобы не касаться передней части объектива, пока отражение роговицы не будет как можно меньше. Затем нажмите A, чтобы автоматически установить пороги зрачка и роговицы на компьютере-хозяине, чтобы весь ученик и только ученик был синим. Чтобы откалибровать глаз трекер, попросите участника посмотреть на четыре угла экрана по одному с окном установки камеры в поле зрения, тщательно ищя любые нерегулярные отражения, которые мешают отражение роговицы, когда взгляд глаза участника направлен на углу.Если красная коробка вокруг глаза или любой из перекрестий не видны в любой точке, у участника сначала посмотрите на центр экрана, а затем на проблемный угол, чтобы определить источник проблемы. Отрегулируйте позицию руководителя участника, чтобы проверить, не дает ли это какое-либо улучшение. Далее сообщите участнику, что глаз трекер будет откалиброван и что они должны зациклиться на маленькой серой точке в пределах большего черного круга, как круг движется в разных частях экрана.Когда участник будет готов, нажмите калибровку, чтобы начать процесс калибровки девяти точек, нажав введите после того, как участник точно зациклился на первой точке в середине экрана для автоматической калибровки. В конце процесса калибровки на экране экспериментатора должен быть виден почти прямоугольный рисунок, представляющий узоры взгляда участника. Результаты хорошей калибровки будут выделены зеленым цветом.Чтобы проверить результаты, завемите участника повторить процедуру, напомнив участнику посмотреть на точку и оставаться на месте. Нажмите проверить и ввести, чтобы принять каждую фиксацию. Результаты будут отображаться на мониторе компьютера хоста.Обратите внимание на средние и максимальные ошибки. Эти данные представляют степени, в которых отслеживаемое изображение отклоняется от фактического положения взгляда участника. Если средняя погрешность выше 0,5 градуса и/или максимальная погрешность выше одного градуса, завемите участника скорректировать положение головы и перезапустить процедуру калибровки.Сохранение максимальной скорости ошибок ниже одного градуса имеет решающее значение для высокого качества сбора данных. Обратите внимание, что это пороги для отслеживания взгляда на относительно большие объекты во время понимания разговорного языка. Пороги для отслеживания глаз во время чтения еще ниже.После успешного завершения процесса калибровки нажмите на запись вывода, чтобы начать эксперимент. В качестве одного из примеров для отслеживания движений глаз во время чтения расположен, первый дисплей две игральные карты движущихся либо ближе друг к другу или дальше друг от друга. Затем участник прочитает предложение о двух понятиях, которые представлены как похожие или непохожие друг на друга, чтобы оценить, может ли расстояние между картами модулировать понимание сходства в языке.В качестве одного из примеров для записи движений глаз во время понимания слухового языка, сначала показать участнику видео события, представляющие интерес. Затем покажите участнику целевую сцену, содержащую изображения агента и объектов из видео, а также агента противоположного пола плюс изображение другого объекта. Одновременно сыграйте предложение, описывающее событие, которое совпадает или не соответствует предыдущему видео, чтобы оценить степень, в которой пол рук агента, показанных в предыдущих событиях, может влиять на лицо с целевой сцены, которую участник предвидит во время устного понимания.В этом репрезентативном эксперименте отслеживания глаз, среднее время чтения первого прохода прилагательных сходства было короче для предложений сходства после наблюдения двух игральные карты движущихся ближе друг к другу по сравнению с когда карты были перемещены дальше друг от друга. Здесь анализ средних соотношений взгляда журнала в области глагола теста слухового понимания показывает, что участники с большей вероятностью проверяли изображение агента, пол которого совпадал с событиями в ранее показанном видео, когда объект и глагол, упомянутые в последующем предложении, совпадали с видео и стереотипно совпадали с этим агентом, чем когда они совпадали на этих двух измерениях. При выполнении этой процедуры важно помнить, что точность при выполнении каждого шага имеет решающее значение для высокого качества сбора данных.Таким образом, мы можем получить представление о том, в какой степени контексты изображения постепенно модулируют понимание языка в реальном времени. Пост-предложение или пост-эксперимент меры, такие как время отклика и точность, или данные из других автономных тестов может обогатить идеи, которые могут быть получены из онлайн-меры фиксации. Этот метод позволил психолингуистам исследовать умственные представления и процессы в реальном времени, связанные с пониманием языка.

Research

JoVE Journal

Behavior

Using Eye Movements to Evaluate the Cognitive Processes Involved in Text Comprehension

Использование движений глаз для оценки когнитивных процессов, участвующих в понимании текста

The present article describes how to use eye  tracking methodologies to study the cognitive processes involved in text  comprehension. Measuring eye ...

A Method to Quantify Visual Information Processing in Children Using Eye Tracking

Разработан метод Количественно Визуальный обработки информации в интересах детей с помощью глаз слежения

Visual problems that occur early in life can have major impact on a child's development. Without verbal communication and only based on observational ...

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

С помощью движений глаз, записанная в парадигме визуальный мир для изучения оперативной обработки разговорного языка

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Eye-tracking to Distinguish Comprehension-based and Oculomotor-based Regressive Eye Movements During Reading

Глаз отслеживание различать движения на основе понимания и глазодвигательные регрессивный глаз во время чтения

Regressive eye movements are eye movements that move backwards through the text and comprise approximately 10-25% of eye movements during reading. As ...

Using the Visual World Paradigm to Study Sentence Comprehension in Mandarin-Speaking Children with Autism

Использование парадигмы визуальный мир изучить предложение понимания в Мандарин говорящих детей с аутизмом

Sentence comprehension relies on the ability to rapidly integrate different types of linguistic and non-linguistic information. However, there is ...

Gaze in Action: Head-mounted Eye Tracking of Children's Dynamic Visual Attention During Naturalistic Behavior

Взгляд в действии: руководитель монтируется глаз отслеживания динамического визуального внимания детей во время натуралистический поведение

Young children's visual environments are dynamic, changing moment-by-moment as children physically and visually explore spaces and objects and interact ...

Decomposing the Variance in Reading Comprehension to Reveal the Unique and Common Effects of Language and Decoding

Разлагая вариативность в чтение раскрыть уникальный и общие последствия языка и декодирование

The Simple View of Reading is a popular model of reading that claims that reading is the product of decoding and language, with each component uniquely ...

Simultaneous Eye Tracking and Single-Neuron Recordings in Human Epilepsy Patients

Одновременное отслеживание глаз и однонейронные записи у пациентов с эпилепсией человека

Intracranial recordings from patients with intractable epilepsy provide a unique opportunity to study the activity of individual human neurons during ...

Investigating the Deployment of Visual Attention Before Accurate and Averaging Saccades via Eye Tracking and Assessment of Visual Sensitivity

Расследование развертывания визуального внимания до точной и усреднения саккад через глаз отслеживания и оценки чувствительности

This experimental protocol was designed to investigate whether visual attention is obligatorily deployed at the endpoint of saccades. To this end, we ...

Defining the Role Of Language in Infants' Object Categorization with Eye-tracking Paradigms

Определение роли языка в категоризации объектов новорожденных с глаз отслеживания парадигмы

Assessing infant category learning is a challenging but vital aspect of studying infant cognition. By employing a familiarization-test paradigm, we ...