Name: eye tracking during visually situated language comprehension: flexibility and limitations in uncovering visual context effects
Uploaded: 2018-11-30T12:30:00
Duration: 7 min 36 s
Description: Watch this Scientific Journal Video about Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects at JoVE.com

Questa ricerca è stata finanziata da ZuKo (Excellence Initiative, Humboldt-Universität zu Berlin), l'eccellenza Cluster 277 'Cognitive interazione Technology' (Consiglio di ricerca tedesco, DFG) e dal settimo programma quadro dell'Unione europea, per la ricerca, sviluppo tecnologico e dimostrazione sotto accordo di finanziamento n ° 316748 (LanPercept). Gli autori riconoscono anche il sostegno dei fondi del basale per centri di eccellenza, progetto FB0003 dal programma di ricerca associativo di CONICYT (governo del Cile) e dal progetto "FoTeRo" nel centro della messa a fuoco XPrag (DFG). Pia Knoeferle fornito una prima bozza dell'articolo informato da un protocollo di laboratorio che Helene Kreysa creata un'istanza all'Università di Bielefeld e che continua ad essere utilizzato presso la Humboldt-Universität zu Berlin. Tutti gli autori hanno contribuito ai contenuti fornendo input su metodi e risultati in una forma o un altro. Camilo Rodríguez Ronderos e Pia Knoeferle coordinato l'input da parte degli autori e, in due iterazioni, sostanzialmente rividero il progetto iniziale. Ernesto Guerra prodotto figure 2 - 4 basata su input da Katja Münster, Alba Rodríguez ed Ernesto Guerra. Helene Kreysa fornito nella figura 1 e Pia Knoeferle aggiornato. Parti dei risultati segnalati sono stati pubblicati negli atti della riunione annuale della Cognitive Science Society.

Gli autori non hanno nulla a rivelare.

In sintesi, le varianti ha commentate di eye-tracking in contesti visual hanno scoperto molti modi in cui una scena visiva possa influenzare la comprensione del linguaggio. Questo metodo fornisce i vantaggi cruciali rispetto ai metodi come la misurazione dei tempi di reazione. Per esempio, movimenti oculari in corso ci forniscono una finestra in processi di comprensione della lingua e come questi interagiscono con la nostra percezione del mondo visivo nel corso del tempo. Inoltre, i partecipanti non devono necessariamente effettuare un compito esplicito durante la comprensione del linguaggio (ad esempio a giudicare la grammaticalità di una frase tramite pressione di un pulsante). Questo permette ai ricercatori di utilizzare il metodo con popolazioni che potrebbero lottare con evidenti risposte comportamentali diverse da sguardo fisso dell'occhio, come neonati, bambini e, in alcuni casi, gli adulti più anziani. Eye-tracking è ecologicamente valida, in quanto riflette le risposte dei partecipanti attenzione — non a differenza di interrogatorio visual degli umani delle cose rilevanti per la comunicazione nel mondo che li circonda durante più o meno attento ascolto di spiegamento enunciati.
Uno dei limiti (o forse caratteristiche) del paradigma mondo visivo è che non tutti gli eventi possono essere rappresentati senza complicazioni e senza ambiguità. Eventi e oggetti concreti possono, naturalmente, essere raffigurati. Ma come concetti astratti sono i migliori raffigurato è meno chiaro. Questo può limitare (o definire) intuizioni sull'interazione tra elaborazione del linguaggio e la percezione del mondo visivo utilizzando un paradigma di eye tracking mondo visivo. Ulteriori sfide riguardano le ipotesi di collegamento tra il comportamento osservato e processi di comprensione. Fissazioni di occhio sono una singola risposta comportamentale che probabilmente riflette molti sottoprocessi durante la comprensione del linguaggio (ad esempio, accesso lessicale, processi referenziali, aspettative di lingua-mediata, effetti di contesto visivo, tra gli altri). Dato questa intuizione, i ricercatori devono essere attenti di non sovra - o fraintendere il modello osservato lo sguardo. Per risolvere questo problema, prima ricerca ha evidenziato il ruolo della comprensione sottoattività per chiarire l'interpretazione del record sguardo40.
Un modo per migliorare l'interpretabilità dei movimenti oculari è di integrarli con altre misure quali i potenziali evento-relativi del cervello (ERPs). Indagando il fenomeno stesso con due metodi che siano comparabili in loro granularità temporale e complementari nella loro ipotesi di collegamento, i ricercatori possono escludere le spiegazioni alternative dei loro risultati e arricchire l'interpretazione di ogni singola misura41. Questo approccio è stato perseguito attraverso esperimenti43, ma, più recentemente, anche all'interno di un singolo esperimento (seppur in contesti strettamente linguistico)44. La ricerca futura potrebbe trarre grandi vantaggi da tale integrazione metodologica e continuato combinazione con attività di post-prova e post-sperimentale.
Il metodo di eye tracking può replicare i risultati stabiliti, nonché testare nuove ipotesi, sull'interazione di attenzione visiva in scene con la comprensione del linguaggio. La procedura descritta nel protocollo dovrà essere seguita attentamente poiché sperimentatore anche lievi errori possono influenzare la qualità dei dati. Nel leggere gli studi, ad esempio, le regioni di analisi pertinenti sono spesso singole parole o anche lettere, che significa che gli errori di calibratura anche piccoli potrebbero falsare i risultati (vedere l'articolo di Raney e colleghi42). Punti 1.4 e 1.5 del protocollo, la taratura dell'inseguitore dell'occhio e il controllo deriva/deriva corretta, sono di particolare importanza dal momento che hanno un impatto diretto la precisione di registrazione. Il tracker monitoraggio non accurato dei movimenti di occhio alle aree pre-stabilite di interesse può comportare per calibrare correttamente l'inseguitore dell'occhio. Tale mancanza di rilevamento porterà a mancante punti dati e una perdita di potenza statistica che può essere problematico quando studia relazioni di lingua di mondo che sono molto sottili e resa dimensioni piccolo effetto statistico (vedere la descrizione della esperimenti di Guerra e Knoeferle32 e Münster e colleghi37 tra i Risultati di rappresentante).
Data la necessità di massimizzare la potenza e la sensibilità dell'apparecchiatura, è importante che gli sperimentatori sanno come affrontare i problemi che normalmente si verificano durante una sessione sperimentale. Ad esempio, posizione pupilla e il movimento dei partecipanti con gli occhiali può causare difficoltà di taratura a causa di riflessi di luce sulle lenti degli occhiali di un partecipante. Un modo per risolvere questo problema è quello di rispecchiare l'immagine dell'occhio del partecipante sul PC di visualizzazione e incoraggiarli a spostare la testa fino a quando la riflessione della luce sugli occhiali non è più visibile sul proprio schermo, significa che non è catturato dalla fotocamera. Un'ulteriore causa di errore di calibrazione può essere costrizione pupilla, che può essere la conseguenza di una sovraesposizione alla luce. In tal caso, oscuramento della luce nel laboratorio aumenterà la dilatazione della pupilla e, quindi, aiutare l'inseguitore dell'occhio nel rilevare con precisione la pupilla.
Come un pensiero finale, ci piacerebbe affrontare il potenziale che il paradigma di visual-mondo ha per la ricerca sull'apprendimento della seconda lingua. Il paradigma è già stato utilizzato con successo nella ricerca psicolinguistica per studiare fenomeni come l'interazione di linguaggi lessicale e fonologico46,47,48. Inoltre, lo stretto legame tra attenzione visiva e l'apprendimento delle lingue è stato evidenziato frequentemente nella letteratura linguistica applicata sull'acquisizione della seconda lingua49,50,51. Future ricerche sull'apprendimento della seconda lingua continuerà probabilmente a trarre vantaggio dalla posizione vantaggiosa di tracciamento dell'occhio come un metodo che fornisce un indice di attenzione visiva nella risoluzione di millisecondo.

Ricerca psicolinguistica ha evidenziato l'importanza di analisi di movimento di occhio nella comprensione dei processi implicati nella comprensione del linguaggio. Il nucleo di inferenza di processi di comprensione del record di sguardo è un'ipotesi che collega cognizione a occhio movimenti5. Ci sono tre principali tipi di movimenti oculari: saccadi, riflesso vestibulo-oculare movimenti e movimenti regolari di inseguimento. Saccadi sono movimenti balistici e veloci che accadono principalmente inconsciamente e sono stati associati in modo affidabile con turni in attenzione6. I momenti di stabilità relativo sguardo tra saccadi, noto come fissazioni, sono considerati attenzione visiva attuale indice. Il locus delle fissazioni e la loro durata in relazione ai processi cognitivi di misura è noto come il 'metodo di eye-tracking'. Prime implementazioni di questo metodo è servito per esaminare la comprensione della lettura in contesti strettamente linguistici (cfr. Rayner7 per una recensione). In tale approccio, la durata di ispezionare una regione di parola o frase è associata a difficoltà di elaborazione. Eye-tracking, tuttavia, è anche stato applicato per esaminare la comprensione del linguaggio parlato durante l'ispezione di oggetti del mondo (o su un computer visualizzare2). In questa versione di eye tracking 'mondo visivo', l'ispezione di oggetti è guidato dalla lingua. Quando il comprehenders sente la zebra, per esempio, l'ispezione di una zebra sullo schermo è preso per riflettere che pensano circa l'animale. In che cosa è conosciuto come il paradigma del mondo visivo, sguardo degli occhi di un comprehender è preso per riflettere la comprensione del linguaggio parlato e l'attivazione di conoscenze associate (ad es., gli ascoltatori anche ispezionare la zebra quando sentono al pascolo, che indica un azione eseguita dalla zebra)2. Tali ispezioni suggeriscono un collegamento sistematico tra linguaggio-mondo relazioni e occhio movimenti2. Un modo comune per quantificare questo link è calcolando la percentuale di sguardi tra cui diverse regioni pre-determinate su uno schermo. Questo permette ai ricercatori di confrontare direttamente (attraverso condizioni, dai partecipanti ed elementi) la quantità di attenzione a oggetti diversi in un momento particolare e come questi valori cambiano in risoluzione di millisecondo.
Ricerca in psicolinguistica ha sfruttato il tracciamento dell'occhio in mondi visivi per stuzzicare apart concorrenti ipotesi teoriche per quanto riguarda l'architettura della mente1. Fissazioni occhio sugli oggetti raffigurati hanno, inoltre, ha rivelato che comprehenders può — assumendo un contesto linguistico sufficientemente restrittivo — eseguire incrementale interpretazione semantica8 e anche sviluppare aspettative sui prossimi caratteri 9. tali dati lo sguardo dell'occhio inoltre hanno fatto luce su una serie di ulteriori processi di comprensione, come ambiguità lessicale risoluzione10,11, pronome risoluzione12, il chiarimento delle ambiguità di ruolo strutturale e tematico assegnazione per mezzo di informazioni nel contesto visivo13,14,16e pragmatico processi15, tra molti altri4. Chiaramente, i movimenti di occhio agli oggetti durante la comprensione del linguaggio possono essere informativi dei processi implicati.
Il metodo di eye tracking è invasivo e può essere utilizzato con i neonati, gli utenti di lingua giovani e anziani. Un vantaggio chiave è che, a differenza delle risposte punctate per sonde o pressioni di tasto di risposta in attività di verifica, esso fornisce le comprensioni nel tempo in una risoluzione di millisecondo in quanto lingua Guida l'attenzione e come il contesto visivo (sotto forma di oggetti, azioni, eventi, un altoparlante lo sguardo ed espressioni facciali emotive, come pure le configurazioni oggetto spaziale) contribuisce all'elaborazione del linguaggio. La continuità della misura durante la comprensione di frase si integra bene con altre misure di post- frase e post-esperimento, come da evidente foto/video-frase verifica, domande di comprensione e attività di richiamo della memoria. Risposte evidenti in queste mansioni possono arricchire l'interpretazione del record lo sguardo dell'occhio fornendo spaccato l'esito del processo di comprensione, memoria e apprendimento2. Combinando il tracciamento dell'occhio con queste altre attività ha scoperto fino a che punto diversi aspetti del contesto del visual modulano l'attenzione visiva e la comprensione (immediata, come pure in ritardo) in tutta la durata della vita.
La presentazione del linguaggio (parlato o scritto) e scene possono essere simultanea o sequenziale. Per esempio, Knoeferle e collaboratori17 ha presentato la scena 1.000 ms prima la frase parlata, e rimase presente durante la comprensione. Hanno riferito prove che clipart rappresentazioni di eventi azione contribuiscono alla risoluzione di ambiguità strutturali locali in tedesco soggetto-verbo-oggetto (SVO) confrontata con frasi oggetto-verbo-oggetto (OVS). Knoeferle e Crocker18 ha presentato una scena di clipart prima una frase scritta e testato l'integrazione incrementale di clipart eventi durante la comprensione della frase. Essi hanno osservato gli effetti incrementali congruenza, che significa che i tempi di lettura dei partecipanti dei costituenti di frase erano più lunghi quando questi non corrispondono (vs abbinati) l'evento raffigurato nella scena precedente. In un'altra variante di presentazione dello stimolo, i partecipanti prima leggere una frase che descrive un rapporto spaziale e poi visto una scena di una particolare disposizione spaziale che coinvolgono oggetto disegni linea19. Questo studio ha valutato le previsioni dei modelli computazionali linguaggio spaziale chiedendo ai partecipanti di votare la vestibilità della frase data alla scena, con i movimenti dell'occhio viene registrati durante l'interrogatorio di scena. Modelli di sguardo dei partecipanti sono stati modulati dalla forma dell'oggetto che sono stati confrontati con — parzialmente confermando le previsioni del modello e fornire i dati per il perfezionamento del modello.
Mentre molti studi hanno utilizzato clipart raffigurazioni17,18,19,20,21,22,23, è anche possibile combinare reali oggetti, video di questi oggetti, o di fotografie statiche con lingua parlata1,21,24,25,26,46. Knoeferle e colleghi hanno usato un mondo reale impostazione24 e Abashidze e colleghi hanno usato un formato di presentazione videoregistrato per esaminare gli eventi azione ed effetti tesa25. Variando il contenuto preciso delle scene (ad es., raffiguranti azioni o non)22,27,38 è possibile e può anche rivelare effetti di contesto visivo. Uno studio relativo da Rodríguez e collaboratori26 studiato l'influenza di spunti videoregistrato genere visual sulla comprensione del successivamente presentato frasi parlate. I partecipanti guardato i video visualizzati sia maschile o femminile mani eseguendo un'azione stereotypically legate al genere. Poi, hanno sentito una frase neanche di un evento di azione lo stereotipo maschile o femminile durante l'ispezione simultaneamente un display che mostra due fotografie fianco a fianco, tra l'altro di una donna e un uomo. Questo ricco ambiente visual e linguistico ammessi gli autori a prendere in giro a parte gli effetti della lingua-mediata stereotypical conoscenza sulla comprensione dagli effetti dei suggerimenti di genere visivamente presentato (a mano).
Un'applicazione ulteriore di questo paradigma ha preso di mira cambiamenti inerenti allo sviluppo nell'elaborazione linguistica. I movimenti di occhio agli oggetti durante la comprensione del linguaggio parlato hanno rivelato gli effetti degli eventi raffigurati in 4 - 5 - anni27,28 e in adulti più anziani29 in tempo reale, ma un po' in ritardo rispetto ai giovani adulti. Kröger e collaboratori22 ha esaminato gli effetti di spunti prosodiche e caso marcatura all'interno di un esperimento e rispetto questi attraverso esperimenti negli adulti e nei bambini. I partecipanti ispezionato una scena ambigua azione-evento mentre si ascolta una frase di tedesco relative al caso-contrassegnato in modo non ambiguo. Movimenti oculari ha rivelato che i modelli distinti prosodici ha aiutato né gli adulti né il 4 - o 5-year-olds quando evitare ambiguità tra chi-fa-cosa-a-chi. Caso di frase iniziale marcatura, influenzato tuttavia, degli adulti, ma non i movimenti di occhio dei bambini. Ciò suggerisce che la comprensione di 5-anno-olds della marcatura di caso non è sufficientemente robusto per consentire l'assegnazione di ruolo tematico (Vedi lo studio di Özge e collaboratori30), almeno non quando eventi action non risolvere l'ambiguità tematiche ruolo rapporti. Questi risultati sono interessanti, dato che sono in contrasto con i precedenti risultati di effetti prosodici su ruolo tematico assegnazione31. Kröger e collaboratori22 proposto che il contesto visivo (più o meno favorevole) è responsabile per i risultati contrastanti. Nella misura in cui queste interpretazioni valgono, essi sottolineano il ruolo del contesto nella comprensione del linguaggio in tutta la durata della vita.
Il metodo di eye tracking combina bene con le misure da foto (o video) frase verifica attività18,20,26, immagine-verifica attività32, corpus studia24, Voto attività19, o richiamo post-sperimentale attività25,33. Abashidze e collaboratori34 e Kreysa e collaboratori33 studiato l'interazione dello sguardo fisso altoparlante e mondo reale azione video34 e altoparlante lo sguardo e azione raffigurazioni33, rispettivamente, come spunti per contenuto di prossima frase. Combinando l'allineamento di sguardo fisso dell'occhio in una scena durante la comprensione del linguaggio con un compito di memoria post-sperimentale, hanno acquisito una migliore comprensione del modo in cui la percezione degli ascoltatori dello sguardo fisso di un altoparlante e le azioni raffigurate interagire e colpiscono sia elaborazione del linguaggio immediato e richiamo della memoria. I risultati hanno rivelato il contributo distinto di azioni contro altoparlante lo sguardo a processi di richiamo di comprensione in tempo reale contro post-esperimento memoria.
Mentre il metodo di eye tracking può essere impiegato con grande flessibilità, talune norme sono la chiave. Il seguente protocollo riassume una routine generalizzata che può essere registrata per diversi tipi di domande di ricerca secondo le specifiche esigenze dei ricercatori. Questo protocollo è una procedura standardizzata, un impiego in laboratorio psicolinguistica presso la Humboldt-Universität zu Berlin, così come nella lingua e nella cognizione laboratorio presso il Cognitive interazione tecnologia Excellence Cluster (CITEC) presso ex Università di Bielefeld. Il protocollo descrive un desktop e un'impostazione remota. Quest'ultimo è consigliato per l'uso negli studi con bambini o anziani. Tutti gli esperimenti citati nei Risultati rappresentante utilizzano un dispositivo di tracking di occhio che ha una frequenza di campionamento di 1.000 Hz e viene utilizzato insieme a un testa stabilizzatore, un PC per testare i partecipanti (Display PC) e un PC per l'esperimento di monitoraggio e la movimenti di occhio dei partecipanti (PC Host). La differenza principale di questo dispositivo al suo predecessore è che permette il tracciamento dell'occhio binoculare. Il protocollo è destinato ad essere sufficientemente generali per l'utilizzo con altri dispositivi di eye tracking che includono uno stabilizzatore testa e fare uso di un PC dual installazione (Host + Display). Tuttavia, è importante tenere a mente che altre configurazioni probabilmente avrà diversi metodi per la gestione di problemi quali errori di calibrazione o perdita di pista, in cui caso lo sperimentatore deve fare riferimento per l'utente manuale del loro dispositivo specifico.

<table border="0" cellpadding="0" cellspacing="0" width="1185">
	<tbody>
		<tr height="21">
			<td height="21" style="height:21px;width:476px;">Desktop mounted eye-tracker including head/chin rest</td>
			<td style="width:165px;">SR Research Ltd.</td>
			<td style="width:185px;">EyeLink 1000 plus</td>
			<td style="width:359px;">http://www.sr-research.com/eyelink1000plus.html</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;">Software for the design and execution of an eye-tracking experiment</td>
			<td>SR Research Ltd.</td>
			<td>Experiment Builder</td>
			<td>http://www.sr-research.com/eb.html</td>
		</tr>
	</tbody>
</table>

eye tracking during visually situated language comprehension: flexibility and limitations in uncovering visual context effects

Il presente lavoro è una descrizione e una valutazione di una metodologia progettata per quantificare i diversi aspetti dell'interazione tra elaborazione del linguaggio e la percezione del mondo visivo. La registrazione dei modelli di sguardo fisso dell'occhio ha fornito buone prove per il contributo di conoscenza linguistica/mondo di comprensione del linguaggio sia il contesto visivo. Ricerca iniziale valutato gli effetti del contesto dell'oggetto per testare le teorie di modularità nell'elaborazione linguistica. Nell'introduzione, descriviamo come le indagini successive hanno preso il ruolo del più ampio contesto visivo nella lingua di elaborazione come un argomento di ricerca a se stante, fare domande così come la nostra percezione visiva degli eventi e degli altoparlanti contribuisce alla comprensione informata dall'esperienza degli comprehenders. Tra gli aspetti esaminati del contesto visivo sono azioni, eventi, un altoparlante lo sguardo ed espressioni facciali emotive, come pure le configurazioni oggetto spaziale. A seguito di una panoramica delle sue varie applicazioni e il metodo di eye tracking, vi elenchiamo i passaggi chiave della metodologia nel protocollo, che illustrano come utilizzare correttamente per studiare la comprensione del linguaggio visivo situato. Una sezione finale presenta tre insiemi di risultati rappresentativi e illustra i vantaggi ei limiti di rilevamento di occhio per indagare l'interazione tra la percezione della comprensione mondiale e linguaggio visual.

Uno studio condotto da Münster e collaboratori37 studiato l'interazione della struttura della frase, ritraeva le azioni e spunti emotivi facciale durante la comprensione del linguaggio. Questo studio è perfetto per illustrare i vantaggi e le limitazioni del metodo, poiché ha mostrato che entrambi robusto raffigurati degli effetti dell'azione e gli effetti marginali di spunti emotivi facciale sulla comprensione della frase. Gli autori hanno creato 5 s video di espressione del viso di una donna che ha cambiato da una posizione di riposo in un felice o in un'espressione triste. Crearono anche emotivamente positivamente sarebbe tedesco oggetto-verbo-avverbio-soggetto (OVAdvS) frasi del modulo ' [oggetto/pazientecaso accusativo] [verbo] [avverbio positivo] [oggetto/agentecaso nominativo].' Via l'avverbio positivo, le frasi abbinate il video 'felice' e non corrispondenti il video 'triste', permettendo in previsione di principio dell'agente (che era sempre sorridente e descritto come recitazione felicemente dall'avverbio positivo). In seguito l'altoparlante dei video, la frase è apparso con una delle due versioni di una scena di agente-paziente-distractor clipart. In una versione, l'agente è stato raffigurato come eseguendo l'azione accennato sul paziente, mentre il personaggio di distrattore eseguita un'azione diversa. L'altra versione di scena non raffigurata alcuna azione tra i caratteri. Movimenti oculari nella scena hanno rivelato gli effetti delle azioni e dell'espressione facciale dell'altoparlante sulla comprensione della frase.
La raffigurazione di azione colpite rapidamente l'attenzione visiva dei partecipanti, che significa che i partecipanti sembrava più presso l'agente rispetto al distrattore quando l'azione accennato era (vs non era) raffigurato. Questi sguardi erano anticipatori (cioè, che si verificano prima che l'agente è stato citato), suggerendo che la raffigurazione di azione chiarito l'agente prima che la frase ha fatto. L'effetto più in anticipo nella raffigurazione di azione emerse durante il verbo (cioè, il verbo ha mediato l'agente azione-associato). Al contrario, se l'oratore precedente ha sorriso o sembrava infelice non ha avuto chiaro effetto sulla previsione agente (Figura 2). Il risultato di quest'ultimo potrebbe riflettere il più tenue legame tra sorriso di un altoparlante e un avverbio sentenziale positivo relativi all'azione dell'agente raffigurati (rispetto a un riferimento di verbo-azione diretta un agente di azione-associato di mediazione). In alternativa, potrebbe essere specifico per la presentazione di attività e di stimolo: forse gli effetti emotion sarebbero state più marcati in un'attività più socialmente interattiva o in quella che presenta la comprensione di frase faccia durante (anziché prima) dell'altoparlante. Tuttavia, che presenta il volto sorridente dell'altoparlante durante la comprensione potrebbe causare i partecipanti a concentrarsi sul viso a scapito di altri contenuti di scena, forse mascheramento altrimenti osservabili effetti delle variabili manipolate (fonte: dati non pubblicati).
In una variante ulteriore del paradigma, Guerra e Knoeferle32 chiesto se relazioni spaziali-semantiche di lingua di mondo possono modulare la comprensione del contenuto semantico astratto durante la lettura. Guerra e Knoeferle preso in prestito l'idea dal metafora concettuale teoria38 che distanza spaziale (ad es., prossimità) motivi il significato di astratte relazioni semantiche (ad es., somiglianza). In linea con questa ipotesi, i partecipanti lettura coordinato nomi astratti più velocemente quando erano simili (vs opposto) nel significato ed era stata precedute da una vicinanza di trasporto video (vs distanza; carte da gioco mossa più vicino insieme vs. più distanti). In una seconda serie di studi39, frasi descritto l'interazione tra due persone come intimo o scortese, leader per la scoperta che i video delle due carte si avvicina uno altro velocizzato la lettura delle regioni di frase che trasmettesse sociale vicinanza/intimità. Si noti che la distanza spaziale interessato frase lettura rapidamente e in modo incrementale anche quando le frasi non ha fatto riferimento agli oggetti nel video. I video modulata distintamente lettura volte in funzione della congruenza tra distanza spaziale e aspetti semantici, nonché sociali del significato di frase. Questi effetti è apparso sia in tempi di lettura di primo passaggio (la durata della prima ispezione di una regione pre-determinata frase) e il tempo totale trascorso in quella regione di frase (vedere la Figura 3 per un'illustrazione dei risultati dagli studi di Guerra e Knoeferle)32. Tuttavia, le analisi hanno rivelato anche una variazione sostanziale tra i partecipanti, che porta alla conclusione che tali effetti sottili di carta-distanza potrebbero non essere affidabile quanto gli effetti delle relazioni di verbo-azione, per citare un esempio.
Un ulteriore insieme di studi illustra come variazione nella struttura della frase può aiutare a valutare la generalità degli effetti di contesto visivo. Abashidze e collaboratori34 e Rodríguez e collaboratori26 ha esaminato gli effetti delle azioni recenti sul trattamento successivo di frasi pronunciate. In entrambi gli studi, i partecipanti ispezionato prima un video di azione (ad es., un cetrioli di condimento sperimentatore, o mani femminili in forno una torta). Successivamente, hanno ascoltato una frase tedesca che è stata collegata sia all'azione recente o a un'altra azione che potrebbe essere eseguita avanti (condimento di pomodori34; edificio un modello26). Durante la comprensione, i partecipanti hanno ispezionato una scena che mostra due oggetti (cetrioli, pomodori)34 o due fotografie dell'agente facce (una femmina e un volto di agente maschio, denominato 'Susanna' e 'Thomas', rispettivamente)26. Nello studio di Abashidze e collaboratori34, l'altoparlante per la prima volta lo sperimentatore e quindi il verbo (ad es., condimento), suscitando le aspettative circa un tema (per esempio, i cetrioli o pomodori). Nello studio di Rodríguez e collaboratori26, l'altoparlante per la prima volta un tema (la torta) e quindi il verbo (al forno), suscitando aspettative sull'agente dell'azione (femminile: Susanna, o uomo: Thomas, raffigurato tramite foto di un donna e un volto maschile).
In entrambi gli studi, la domanda in questione era se persone (visivamente) anticiperebbe il tema/agente del recente evento azione o l'altro tema/agente basate sulle ulteriori contestuali indicazioni fornite durante la comprensione. Abashidze e collaboratori34, lo sguardo dello sperimentatore cued oggetto tema futuro (i pomodori) fin dall'inizio del verbo (letteralmente tradotto dal tedesco: 'l'agente di sperimentatore sapori presto...'). Rodríguez e collaboratori26, conoscenze in materia di azioni stereotipate è diventato disponibile quando sono stati accennati il tema e il verbo (ad esempio, la traduzione letterale degli stimoli tedeschi è stata: 'il tema-torta cuoce presto...'). In entrambi gli insiemi degli studi, i partecipanti preferenzialmente ispezionato l'agente di destinazione dell'azione recente (cetrioli34 o Susanna26) sopra l'obiettivo (futuro/altri-genere) alternativo (pomodori34 o Thomas26) durante la frase.
Questo cosiddetto 'evento recente preferenza', quindi, sembra essere robusto attraverso una variazione sostanziale nella struttura della frase e materiali sperimentali. Essa è stata modulata, tuttavia, dai vincoli di visual dal simultanee scena26, tali da presentare fotografie plausibile dei temi di verbo inoltre a gendered fotografie degli agenti ridurre l'affidamento sugli eventi azione recentemente ispezionato e attenzione modulata sulla base della conoscenza di genere-stereotipo convogliato dal linguaggio. La figura 4 illustra i principali risultati degli esperimenti di Rodríguez e collaboratori26.
Mentre questa versione del paradigma visual-mondo dato risultati robusti, altri studi hanno messo in evidenza la complessità (e limiti) dell'ipotesi del collegamento. Burigo e Knoeferle20 scoperto quello partecipanti — durante l'ascolto di espressioni quali der di über Die Box ist Wurst ('casella è sopra la salsiccia') — per la maggior parte ha seguito l'espressione di controllo clipart rappresentazioni di questi oggetti. Ma una percentuale delle prove, lo sguardo dei partecipanti disaccoppiato da quello che è stato menzionato. Dopo aver sentito 'salsiccia' e avendo ispezionato almeno una volta la salsiccia, ispezione successiva dei partecipanti restituite alla casella su circa il 21% delle prove verifica distrattori (esperimento 1) e nel 90% delle prove di verifica post-frase ( Esperimento 2). Questo modello di sguardo suggerisce che il riferimento (udienza ' salsiccia') guidato solo alcuni (ispezionando la salsiccia) ma non tutti i movimenti (la casella di controllo) oculari. Questo tipo di progettazione potrebbe essere utilizzato per stuzzicare i processi lessicali referenziale apart dagli altri (tra cui frase-livello interpretativo) processi. Tuttavia, i ricercatori devono prestare attenzione quando fare affermazioni sui diversi livelli di elaborazione linguistica basato su differenze relative nelle proporzioni del movimento di occhio, data l'ambiguità nel collegamento sguardo fisso dell'occhio a cognitivi e processi di comprensione.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/57694/57694fig1v3.jpg"> Figura 1: Panoramica dell'ambiente di raccolta dati. Il grafico mostra come i diversi software e gli elementi hardware utilizzati per la raccolta dati e pre-elaborazione si riferiscono ad uno altro. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig1v3large.jpg" target="_blank">Clicca qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/57694/57694fig2.jpg"> Figura 2: Risultati rappresentativi di Münster e collaboratori37. Questi pannelli mostrano il registro medio-lo sguardo di soggetto rapporti di probabilità per condizione della regione di verbo (per l'azione raffigurata) e della regione di verbo-avverbio combinato (per l'effetto del primo emotivo). I risultati mostrano una percentuale notevolmente superiore di sguardi verso l'immagine di destinazione quando l'azione indicato nella frase era raffigurato rispetto a quando esso non è stato rappresentato. I risultati per l'effetto dei primi facciale emotive erano meno conclusivi: essi suggeriscono solo un lieve aumento nel rapporto media-registro di sguardi alla destinazione quando il primo viso aveva una valenza emotiva positiva (un sorriso) rispetto a quando aveva una valenza negativa (una faccia triste). Le barre di errore rappresentano l'errore standard della media. Questa figura è stata modificata da Münster et al. 37. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig2large.jpg" target="_blank">Clicca qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/57694/57694fig3v2.jpg"> Figura 3: Risultati rappresentativi di Guerra e Knoeferle32. Questo pannello mostra i tempi di lettura media di primo passaggio (in millisecondi) dell'aggettivo (dis) similarità. I risultati mostrano tempi di lettura per frasi di somiglianza dopo vedendo due carte giochi avvicinare paragonato ai lontani. Le barre di errore rappresentano l'errore standard della media. Questa figura è stata modificata da Guerra e Knoeferle32. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig3v2large.jpg" target="_blank">Clicca qui per visualizzare una versione più grande di questa figura.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/57694/57694fig4v3.jpg"> Figura 4: Risultati rappresentativi di Rodríguez e collaboratori26. Questo pannello mostra lo sguardo di log medio di soggetto rapporti di probabilità per condizione della regione di verbo. Le proporzioni di aspetto sopra 0 Visualizza una preferenza per l'immagine di agente di destinazione e le proporzioni inferiori a 0 mostrano una preferenza per l'immagine di agente concorrente. I risultati mostrano che i partecipanti erano più probabili di ispezionare l'immagine di agente di destinazione quando l'oggetto e il verbo indicato nella frase abbinato le precedenti manifestazioni videoregistrate rispetto a quando non lo fecero. Inoltre, c'erano più sguardi verso l'immagine di agente di destinazione quando l'azione descritta nella frase conformato a stereotipi di genere. Le barre di errore rappresentano l'errore standard della media. Questa figura è stata modificata da Rodríguez et al. 26. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig4v3large.jpg" target="_blank">Clicca qui per visualizzare una versione più grande di questa figura.</a>

Watch this Scientific Journal Video about Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects at JoVE.com

Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects

Eye Tracking durante la comprensione del linguaggio visivo situato: Flessibilità e limitazioni a scoprire gli effetti di contesto visivo

Il presente articolo esamina una metodologia di eye tracking per gli studi sulla comprensione del linguaggio. Per ottenere dati affidabili, passaggi chiave del protocollo devono essere seguiti. Tra questi vi sono il corretto set-up dell'inseguitore dell'occhio (per esempio, garantire la buona qualità delle immagini dell'occhio e testa) ed una calibrazione accurata.

The present work is a description and an assessment of a methodology designed to quantify different aspects of the interaction between language processing ...

Questo metodo può aiutare a rispondere alle domande chiave di ricerca in psicolinguistica riguardo ai processi mentali implicati nella comprensione del linguaggio. Il vantaggio di questa tecnica è che fornisce un indice di attenzione visiva ad alta risoluzione temporale, orientato ad esame del rapporto tra il mondo visivo e l'elaborazione del linguaggio. Gli individui nuovi a questo metodo possono avere difficoltà perché il protocollo deve essere eseguito con un alto grado di precisione.La dimostrazione visiva di questo metodo è fondamentale in quanto l'implementazione corretta del metodo richiede spesso la risoluzione dei problemi ad hoc. Per determinare la dominanza oculare, chiedi al partecipante di allungare un braccio e allineare il pollice con un oggetto distante con entrambi gli occhi aperti. Fare in modo che il partecipante si alterni chiudendo ogni occhio.L'occhio dominante è l'occhio per il quale il pollice rimane allineato con l'oggetto quando quell'occhio è aperto. Quindi, chiedi al partecipante di sedersi al tavolo con il mento sul poggiamento del mento e la fronte contro il poggiatesta. Fare quindi clic su immagine per visualizzare il PC. Dovrebbero apparire una grande e due immagini più piccole degli occhi del partecipante.Utilizzare i tasti di direzione della tastiera per selezionare una delle immagini oculari dominanti più piccole e premere A per centrare la casella dei limiti di ricerca sulla posizione della pupilla. Un quadrato rosso dovrebbe apparire intorno all'occhio con un cerchio turchese vicino al fondo della pupilla. L'alunno stesso dovrebbe essere blu.Confermare la presenza di due mirini sullo schermo, uno al centro della pupilla e uno al centro della riflessione corneale. Regolare le dimensioni della riflessione corneale è fondamentale. È la base per una buona calibrazione dell'eye tracker.Ruotare manualmente l'obiettivo di messa a fuoco per regolare la fotocamera in base alle esigenze, facendo attenzione a non toccare la parte anteriore dell'obiettivo fino a quando il riflesso corneale non è il più piccolo possibile. Quindi premere A per impostare automaticamente le soglie pupille e corneali sul computer ospitante in modo che l'intero alunno e solo l'alunno sia blu. Per calibrare l'eye tracker, chiedi al partecipante di guardare i quattro angoli dello schermo uno alla volta con la finestra di configurazione della fotocamera in vista mentre cerca attentamente eventuali riflessi irregolari che interferiscono con il riflesso corneale quando lo sguardo del partecipante è diretto all'angolo.Se la casella rossa intorno all'occhio o uno dei mirini non sono visibili in nessun punto, fare in modo che il partecipante guardi prima il centro dello schermo e quindi l'angolo problematico per determinare la fonte del problema. Riregolare la posizione della testa del partecipante per verificare se ciò produce un miglioramento. Successivamente, informa il partecipante che l'eye tracker sarà calibrato e che deve fissarsi sul piccolo punto grigio all'interno di un cerchio nero più grande mentre il cerchio si sposta su diverse parti dello schermo.Quando il partecipante è pronto, fare clic su calibra per iniziare il processo di calibrazione a nove punti, premendo INVIO dopo che il partecipante ha fissato accuratamente il primo punto al centro dello schermo per una calibrazione automatica. Al termine del processo di calibrazione, sullo schermo dello sperimentatore dovrebbe essere visibile un motivo quasi rettangolare che rappresenta i motivi dello sguardo del partecipante. I risultati di una buona calibrazione saranno evidenziati in verde.Per convalidare i risultati, fare in modo che il partecipante ripeta la procedura, ricordando al partecipante di guardare il punto e di rimanere fermo. Fare clic su convalida e immettere per accettare ogni fissazione. I risultati verranno visualizzati sul monitor del computer host.Si notano gli errori medi e massimi. Questi dati rappresentano i gradi in cui l'immagine tracciata si discosta dalla posizione dello sguardo effettivo del partecipante. Se l'errore medio è superiore a 0,5 gradi e/o l'errore massimo è superiore a un grado, fare in modo che il partecipante riregola la posizione della testa e riavvii la procedura di calibrazione.Mantenere il tasso massimo di errore al di sotto di un grado è fondamentale per la raccolta di dati di alta qualità. Si noti che queste sono le soglie per tracciare lo sguardo a oggetti relativamente grandi durante la comprensione della lingua parlata. Le soglie per il tracciamento oculare durante la lettura sono ancora più basse.Dopo aver completato correttamente il processo di calibrazione, fare clic sul record di output per iniziare l'esperimento. Come esempio per tenere traccia dei movimenti oculari durante la lettura in posizione, mostra prima due carte da gioco che si avvicinano o si allontanano. Quindi fai leggere al partecipante una frase su due concetti che sono rappresentati come simili o dissimili l'uno dall'altro per valutare se la distanza tra le carte può modulare la comprensione della somiglianza nel linguaggio.Come esempio per registrare i movimenti oculari durante la comprensione del linguaggio uditivo, mostra prima al partecipante un video di un evento di interesse. Quindi mostra al partecipante una scena di destinazione contenente le immagini dell'agente e degli oggetti del video e un agente del genere opposto più l'immagine di un altro oggetto. Contemporaneamente, riproduci una frase che descrive un evento che corrisponde o non corrisponde al video precedente per valutare in che misura il sesso delle mani di un agente presenti negli eventi precedenti può influenzare quale volto della scena di destinazione il partecipante anticiperà durante la comprensione parlata.In questo esperimento rappresentativo di tracciamento oculare di lettura, i tempi di lettura media del primo passaggio degli aggettivi di somiglianza erano più brevi per le frasi di somiglianza dopo aver osservato due carte da gioco avvicinarsi rispetto a quando le carte erano spostate più distanti. Qui, un'analisi dei rapporti media dello sguardo di log durante la regione verbale di un test di comprensione uditivo rivela che i partecipanti avevano maggiori probabilità di ispezionare l'immagine dell'agente il cui genere corrispondeva agli eventi in un video precedentemente mostrato quando l'oggetto e il verbo menzionati nella frase successiva erano congruenti con il video e corrispondevano stereotipatamente a questo agente rispetto a quando non corrispondevano a queste due dimensioni. Durante l'esecuzione di questa procedura, è importante ricordare che la precisione nell'esecuzione di ogni passaggio è fondamentale per la raccolta di dati di alta qualità.In questo modo, possiamo ottenere informazioni dettagliate sulla misura in cui i contesti dell'immagine modulano in modo incrementale la comprensione del linguaggio in tempo reale. Le misure post-frase o post-esperimento, come i tempi di risposta e l'accuratezza, o i dati di altri test offline possono arricchire le informazioni che possono essere ottenute dalle misure di fissazione online. Questa tecnica ha consentire agli psicolinguisti di indagare le rappresentazioni mentali e i processi in tempo reale implicati nella comprensione del linguaggio.

Research

JoVE Journal

Behavior

Using Eye Movements to Evaluate the Cognitive Processes Involved in Text Comprehension

Utilizzo dei movimenti oculari per valutare i processi cognitivi coinvolti nella comprensione del testo

The present article describes how to use eye  tracking methodologies to study the cognitive processes involved in text  comprehension. Measuring eye ...

Ricerca

Comportamento

A Method to Quantify Visual Information Processing in Children Using Eye Tracking

Un metodo per quantificare Visual Information Processing in bambini che utilizzano Eye Tracking

Visual problems that occur early in life can have major impact on a child's development. Without verbal communication and only based on observational ...

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

Utilizzando i movimenti di occhio registrati nel paradigma mondo visivo per esplorare l'elaborazione Online di lingua parlata

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Eye-tracking to Distinguish Comprehension-based and Oculomotor-based Regressive Eye Movements During Reading

Eye-tracking per distinguere movimenti oculari regressivo oculomotoria basati e comprensione durante la lettura

Regressive eye movements are eye movements that move backwards through the text and comprise approximately 10-25% of eye movements during reading. As ...

Using the Visual World Paradigm to Study Sentence Comprehension in Mandarin-Speaking Children with Autism

Usando il paradigma del mondo visivo per studiare frase comprensione in lingua Mandarina i bambini con autismo

Sentence comprehension relies on the ability to rapidly integrate different types of linguistic and non-linguistic information. However, there is ...

Gaze in Action: Head-mounted Eye Tracking of Children's Dynamic Visual Attention During Naturalistic Behavior

Lo sguardo in azione: Head-mounted Eye Tracking dell'attenzione visiva dinamica dei bambini durante il comportamento naturalistico

Young children's visual environments are dynamic, changing moment-by-moment as children physically and visually explore spaces and objects and interact ...

Decomposing the Variance in Reading Comprehension to Reveal the Unique and Common Effects of Language and Decoding

La varianza nella comprensione della lettura per rivelare gli effetti unici e comuni di lingua di decomposizione e decodifica

The Simple View of Reading is a popular model of reading that claims that reading is the product of decoding and language, with each component uniquely ...

Simultaneous Eye Tracking and Single-Neuron Recordings in Human Epilepsy Patients

Tracciamento oculare simultaneo e registrazioni mononeurone nei pazienti affetti da epilessia umana

Intracranial recordings from patients with intractable epilepsy provide a unique opportunity to study the activity of individual human neurons during ...

Investigating the Deployment of Visual Attention Before Accurate and Averaging Saccades via Eye Tracking and Assessment of Visual Sensitivity

Studiando la distribuzione dell'attenzione visiva prima di saccadi Accurate e media tramite Eye-Tracking e valutazione della sensibilità visiva

This experimental protocol was designed to investigate whether visual attention is obligatorily deployed at the endpoint of saccades. To this end, we ...

Defining the Role Of Language in Infants' Object Categorization with Eye-tracking Paradigms

Definire il ruolo del linguaggio nella categorizzazione degli oggetti degli infanti con paradigmi di Eye-tracking

Assessing infant category learning is a challenging but vital aspect of studying infant cognition. By employing a familiarization-test paradigm, we ...