Name: eye tracking during visually situated language comprehension: flexibility and limitations in uncovering visual context effects
Uploaded: 2018-11-30T12:30:00
Duration: 7 min 36 s
Description: Watch this Scientific Journal Video about Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects at JoVE.com

Dit onderzoek werd gefinancierd door de ZuKo (Excellence Initiative, Humboldt-Universität zu Berlin), de Excellence Cluster 277 'Cognitieve interactie Technology' (Duits Research Council, DFG), en door de Europese Unie zevende kader programma voor onderzoek, technologische ontwikkeling en demonstratie onder grant overeenkomst n ° 316748 (LanPercept). De auteurs erkennen ook ondersteuning van de basale fondsen voor Centers of Excellence, Project FB0003 van de associatief onderzoek programma van CONICYT (regering van Chili) en van het Project "FoTeRo" in het centrum van de Focus XPrag (DFG). Pia Knoeferle mits een eerste ontwerp van het artikel op de hoogte door een laboratorium protocol dat instantievorming van Helene Kreysa aan de Bielefeld universiteit en die nog steeds worden gebruikt bij de Humboldt-Universität zu Berlin. Alle schrijvers bijgedragen aan de inhoud door het leveren van informatie over de methoden en resultaten in een of andere vorm. Camilo Rodríguez Ronderos Pia Knoeferle gecoördineerd de inbreng van de auteurs en in twee iteraties, aanzienlijk herziene versie van het oorspronkelijke ontwerp. Ernesto Guerra geproduceerd figuren 2 - 4 op basis van input van Katja Münster, Alba Rodríguez en Ernesto Guerra. Helene Kreysa geboden Figuur 1 en Pia Knoeferle bijgewerkt. Delen van de gerapporteerde resultaten zijn gepubliceerd in de Proceedings van de jaarvergadering van de Cognitive Science Society.

De auteurs hebben niets te onthullen.

Kortom, hebben de herziene varianten van eye tracking in een visuele context ontdekt vele manieren waarop een visuele scène taalbegrip kan beïnvloeden. Deze methode biedt cruciale voordelen ten opzichte van methoden zoals het meten van reactiesnelheid. Bijvoorbeeld voorzien lopende oogbewegingen ons van een venster in taal begrip processen en hoe deze samenwerken met onze perceptie van de visuele wereld na verloop van tijd. Deelnemers zijn bovendien niet noodzakelijkerwijs vereist voor het uitvoeren van een expliciete taak tijdens het taalbegrip (zoals te oordelen de grammaticaliteit van een zin via een druk op de knop). Hierdoor kunnen onderzoekers met behulp van de methode met populaties die met openlijke gedrags reacties dan oog blik, zoals zuigelingen moeite, kinderen en, in sommige gevallen, oudere volwassenen. Eye tracking is ecologisch geldig in dat hierin deelnemers aandacht reacties — niet in tegenstelling tot de mens visuele ondervraging van communicatie-relevante dingen in de wereld om hen heen tijdens het min of meer aandachtig luisteren naar ontplooiing uitingen.
Een van de grenzen (of misschien kenmerken) van de visuele wereld paradigma is dat niet alle gebeurtenissen rechtlijnig en ondubbelzinnig kunnen worden afgebeeld. Concrete objecten en gebeurtenissen kunnen, natuurlijk, zijn afgebeeld. Maar hoe abstracte concepten beste zijn afgebeeld is minder duidelijk. Dit kan beperken (of definieer) inzicht in de interactie tussen taalverwerking en de perceptie van de visuele wereld met behulp van een eye-tracking visuele wereld paradigma. Verdere uitdagingen hebben betrekking op de koppeling hypothesen tussen waargenomen gedrag en begrip processen. Oog fixaties zijn gedrags één antwoord dat waarschijnlijk vele subprocessen tijdens taalbegrip (bijvoorbeeldlexicale toegang, referentiële processen, taal-gemedieerde verwachtingen, visuele context effecten, onder andere weerspiegelt). Gezien dit inzicht, onderzoekers moeten oppassen niet te over - of interpreteren van de blik van de waargenomen patroon. Om aan te pakken dit probleem, heeft voorafgaande onderzoek benadrukte de rol van begrip subtaken ter verduidelijking van de interpretatie van de blik registreren40.
Een manier om het verbeteren van de interpretability van oogbewegingen is om deze te integreren met andere maatregelen, zoals gebeurtenis-gerelateerde hersenen potentieel (ERPs). Door het onderzoeken van hetzelfde fenomeen met twee methoden die vergelijkbaar in hun temporele granulatie en complementair in hun koppelen hypothesen zijn, kunnen onderzoekers uitsluiten van alternatieve uitleg van hun resultaten en verrijken van de interpretatie van elk individuele maatregel41. Deze aanpak heeft uitgeoefend over experimenten43, maar meer recentelijk, ook binnen een enkele experiment (zij het in strikt taalkundige contexten)44. Toekomstig onderzoek kan veel baat hebben bij deze methodologische integratie en bleef combinatie met na proef en na experimentele taken.
De eye-tracking-methode kan repliceren gevestigde resultaten, evenals het testen van nieuwe hypothesen, over de interactie van de visuele aandacht in scènes met taalbegrip. De procedure die wordt beschreven in het protocol moet zorgvuldig worden gevolgd omdat zelfs kleine experimentator fouten kunnen invloed hebben op de kwaliteit van de gegevens. Bij het lezen van studies, bijvoorbeeld zijn de analyse van de relevante regio's vaak afzonderlijke woorden of zelfs letters, wat betekent dat zelfs kleine kalibratie fouten kunnen het verstoren van de resultaten (Zie het artikel door Raney en collega's42). Stap 1.4 en 1.5 van het protocol, de kalibratie van de eye tracker en de drift selectievakje/drift juist is, zijn van bijzonder belang omdat ze rechtstreeks van invloed zijn de nauwkeurigheid van de opname. Niet correct kalibreren de eye tracker kan resulteren in de tracker niet nauwkeurig bijhouden van oogbewegingen aan de vooraf vastgestelde gebieden van belang. Dergelijke tracking niet zal leiden tot ontbrekende gegevenspunten en een verlies aan de statistische macht die kan problematisch zijn bij het onderzoeken van de wereld-tot-taal relaties die zijn heel subtiel en opbrengst kleine statistisch effect maten (Zie de beschrijving van de experimenten door Guerra en Knoeferle32 en Münster en collega's37 onder de Vertegenwoordiger resultaten).
Gezien de noodzaak om macht en gevoeligheid van de apparatuur te maximaliseren, is het belangrijk dat onderzoekers weten hoe om te gaan met problemen die regelmatig tijdens een experimentele sessie optreden. Bijvoorbeeld, de leerling positie en beweging van de deelnemers dragen van een bril kunnen leiden tot kalibratie problemen als gevolg van lichtreflecties op de lenzen van een deelnemer bril. Unidirectioneel dit probleem op te lossen moet de spiegel het beeld van de deelnemer in de gaten de Display-PC en hen aanmoedigen te verplaatsen van hun hoofd totdat de weerkaatsing van het licht op de glazen niet langer zichtbaar op hun scherm is, wat betekent dat het niet langer wordt gevangen door de camera. Een verdere oorzaak van kalibratie storing kunnen vernauwing van de leerling, die mogelijk een gevolg van een overmatige blootstelling aan licht. In dat geval zal dimmen het licht in het laboratorium verhogen leerling dilatatie en zo helpen de eye tracker in nauwkeurig opsporen van de leerling.
Als een laatste gedachte, wil we graag de mogelijkheden die het paradigma visual-wereld voor onderzoek naar tweede-taalonderwijs heeft. Het paradigma heeft al met succes gebruikt in psycholinguïstisch onderzoek te onderzoeken verschijnselen zoals cross-taal lexicale en fonologische interactie46,47,48. Bovendien, het nauwe verband tussen de visuele aandacht en leren van talen heeft vaak naar voren in de toegepaste-taalwetenschap literatuur over tweede-taalverwerving49,50,51. Toekomstig onderzoek op tweede taal leren zal waarschijnlijk blijven profiteren van de voordelige positie van eye tracking als een methode waarmee een index van de visuele aandacht in milliseconde resolutie.

Psycholinguïstisch onderzoek heeft gewezen op het belang van eye-movement analyses in het begrijpen van de processen die betrokken zijn bij taalbegrip. De kern van het begrip processen uit de blik record afgeleid is een hypothese die cognitie met oog bewegingen5verbindt. Er zijn drie belangrijke types van oogbewegingen: saccades, bewegingen van de vestibulo-oculaire en soepele uitoefening bewegingen. Saccades zijn snel en ballistische bewegingen die meestal onbewust gebeurt en zijn betrouwbaar geassocieerd met verschuivingen in aandacht6. De momenten van de blik van de relatieve stabiliteit tussen saccades, bekend als vastleggingen, worden beschouwd als index huidige visuele aandacht. Meten van de locus van de vastleggingen en de duur ten opzichte van cognitieve processen is bekend als de "eye-tracking-methode". Vroege implementaties van deze methode diende te onderzoeken van begrijpend lezen in strikt taalkundige contexten (Zie Rayner7 herzieningsverzoek). In deze benadering wordt de duur van de inspectie van een woord of zin regio geassocieerd met de verwerking van problemen. Eye tracking echter ook is toegepast gesproken taalbegrip onderzoeken tijdens de inspectie van objecten in de wereld (of op een computer weergeven2). In deze versie van 'visuele wereld' eye-tracking, wordt de inspectie van objecten geleid door taal. Wanneer de comprehenders hoort de zebra, bijvoorbeeld, hun inspectie van een zebra op het scherm wordt genomen om na te denken dat ze over het dier denken. In wat bekend als de visuele wereld paradigma staat, van een comprehender oog blik aan gesproken taalbegrip en de activering van de bijbehorende kennis wordt genomen (bijvoorbeeld luisteraars ook controleren de zebra als ze grazen horen, geven een actie uitgevoerd door de zebra)2. Dergelijke inspecties suggereren een systematische link tussen taal-wereld betrekkingen en oog bewegingen2. Een veel voorkomende manier te kwantificeren van deze link is door het berekenen van het aandeel van kijkt naar verschillende vooraf bepaalde regio's op een scherm. Hierdoor onderzoekers wilt rechtstreeks vergelijken (over voorwaarden, door deelnemers en items) de hoeveelheid aandacht besteed aan verschillende objecten op een bepaalde tijd en hoe deze waarden wijzigen in milliseconde resolutie.
Onderzoek in de psycholinguïstiek heeft misbruikt eye tracking in visuele werelden te plagen uit elkaar concurrerende theoretische hypothesen over de architectuur van de geest1. Oog fixaties op afgebeelde objecten, Bovendien is gebleken dat comprehenders kan — uitgaande van een voldoende beperkende linguïstische context — incrementele semantische interpretatie8 uit te voeren en zelfs het ontwikkelen van verwachtingen over aankomende tekens 9. diegegevens blik oog hebben ook licht werpen op een aantal verder begrip processen, zoals10,11van de resolutie van de lexicale dubbelzinnigheid, voornaamwoord resolutie12, de doorverwijspagina van structurele en thematische rol toewijzing door middel van informatie in de visuele context13,14,16, en pragmatische processen15, onder vele anderen4. Duidelijk, kunnen de oogbewegingen tot objecten tijdens taalbegrip informatieve van het geïmpliceerd processen.
De eye-tracking-methode is niet-invasief en kan worden gebruikt met zuigelingen, jonge en oudere taal gebruikers. Een belangrijk voordeel is dat, in tegenstelling tot punctate reacties op sondes of antwoord knop indrukt in verificatie taken, het biedt inzichten na verloop van tijd in de resolutie van een milliseconde in hoe taal aandacht en hoe gidsen het visuele context (in de vorm van objecten, acties, evenementen, van een spreker blik, en emotionele gezichtsuitdrukkingen, evenals ruimtelijk object configuraties) draagt bij aan taalverwerking. De continuïteit van de maatregel tijdens zin begrip vult goed met andere maatregelen van het post zin en na experiment zoals uit geheugen terugroepen taken, openlijke foto/video-zin verificatie en begrip vragen. Openlijke reacties bij deze taken kunnen de interpretatie van de ogen blik record verrijken door het verstrekken van inzicht in de resultaten van het begrip proces, geheugen en leren2. Het combineren van eye tracking met deze andere taken heeft ontdekt welke mate verschillende aspecten van de visuele context visuele aandacht en begrip (directe, evenals vertraagde) over de levensduur moduleren.
De presentatie van taal (gesproken of geschreven) en de scènes kunnen gelijktijdige of opeenvolgende. Bijvoorbeeld, Knoeferle en medewerkers17 gepresenteerd de scène 1000 ms voor de gesproken zin, en het bleef aanwezig tijdens begrip. Ze gemeld bewijs dat clipart-afbeeldingen van actie gebeurtenissen bijdragen aan de oplossing van lokale structurele dubbelzinnigheid in onderwerp-werkwoord-voorwerp van de Duitse (SVO) vergeleken met object-werkwoord-onderwerp (OVS) zinnen. Knoeferle en Crocker18 gepresenteerd een clipart scène vóór een schriftelijke zin en getest de incrementele integratie van clipart gebeurtenissen tijdens zin begrip. Ze waargenomen incrementele congruentie effecten, wat betekent dat de deelnemers lezing tijden van zin kiezers langer waren toen deze verkeerde (vs. gematched) de gebeurtenis afgebeeld in de vorige scene. In een andere stimulans presentatie variant, de deelnemers eerst een zinsnede die beschrijft wat een ruimtelijke relatie gelezen en toen zag een scène van een bepaalde ruimtelijke rangschikking waarbij object lijntekeningen19. Deze studie beoordeeld de voorspellingen van computationele ruimtelijke taalmodellen door te vragen van de deelnemers aan de stem van de pasvorm van de zin gegeven aan de scène, met de oogbewegingen worden geregistreerd tijdens de ondervraging van de scène. De deelnemers blik patronen waren gemoduleerd door de vorm van het object dat ze werden geconfronteerd met — gedeeltelijk bevestigen de modelvoorspellingen en gegevens ter verfijning van het model.
Hoewel tal van studies hebben gebruikt clipart voorstellingen17,18,19,20,21,22,23, is het ook mogelijk om te combineren van de echte wereld objecten, video's van deze objecten of statische foto's met gesproken taal1,21,24,25,26,46. Knoeferle en collega's gebruikte een realistische instelling24 en Abasjidze en collega's een gefilmd presentatie-indeling gebruikt voor de behandeling van actie gebeurtenissen en gespannen effecten25. Variërend van de exacte inhoud van de scènes (bijvoorbeeldbeeltenis van acties of niet)22,27,38 is mogelijk en ook visuele context effecten kan onthullen. Een gerelateerde studie door Rodríguez en medewerkers26 onderzocht de invloed van visuele geslacht gefilmd signalen op het begrip van vervolgens gepresenteerd gesproken zinnen. Deelnemers keek naar de video's weergeven of vrouwelijke als mannelijke handen een stereotiep genderspecifieke actie te kunnen uitvoeren. Vervolgens hoorden zij een zin over beide een stereotiep mannelijke of vrouwelijke actie gebeurtenis terwijl het tegelijkertijd inspecteren op een beeldscherm tonen twee foto's naast elkaar, tot een man en de andere van een vrouw. Deze rijke visuele en taalkundige omgeving toegestaan de auteurs om pesten elkaar de gevolgen van taal-gemedieerde stereotiepe kennis op begrip van de gevolgen van de signalen van de gender visueel gepresenteerd (hand).
Developmental wijzigingen in taalverwerking was gericht tegen een verdere toepassing van dit paradigma. Oogbewegingen tot objecten tijdens gesproken taalbegrip bleek de effecten van afgebeelde gebeurtenissen in 4 - 5 - jarigen27,28 en in oudere volwassenen29 in real-time, maar enigszins vertraagd in vergelijking met jonge volwassenen. Kröger en medewerkers22 onderzocht de effecten van prosodische signalen en case markering binnen een experiment en vergeleken dit over experimenten bij volwassenen en kinderen. Deelnemers geïnspecteerd een dubbelzinnige actie-event scène terwijl u luistert naar een verwante ondubbelzinnig geval-gemerkt Duitse zin. Oogbewegingen bleek dat de verschillende prosodische patronen hielp de volwassenen noch de 4 - of 5-jarigen, wanneer disambiguating die-doet-wat-te-wie. Zin-eerste geval markering, echter beïnvloed volwassenen maar niet Kinder oogbewegingen. Dit suggereert dat de 5-jarigen inzicht in geval markering niet robuust genoeg is om thematische roltoewijzing (Zie de studie door Özge en medewerkers30), tenminste niet wanneer actie gebeurtenissen deed niet eenduidig thematische rol betrekkingen. Deze resultaten zijn interessant, gezien het feit dat zij in tegenstelling tot de resultaten van de vorige prosodische effecten op thematische rol toewijzing31. Kröger en medewerkers22 voorgesteld dat de (min of meer ondersteunende) visuele context verantwoordelijk voor de tegenstrijdige bevindingen is. In de mate dat deze interpretaties houden, wijzen ze op de rol van context in taalbegrip over de levensduur.
De eye-tracking-methode combineert goed met de maatregelen uit het beeld - (of video-) zin verificatie taken18,20,26, PIP verificatie taken32, corpus studies24, rating taken19, of post experimentele terugroepen taken25,33. Abasjidze en medewerkers34 en Kreysa en medewerkers33 onderzocht het samenspel van spreker blik en realistische actie video's34 en spreker blik en actie voorstellingen33, respectievelijk als signalen voor Aankomende zin de inhoud. Door het volgen van oog blik in een scène tijdens taalbegrip te combineren met een taak na experimentele geheugen, kregen ze een beter begrip van de manier waarop de luisteraars perceptie van een spreker de blik en de afgebeelde acties communiceren en beïnvloeden beide onmiddellijke taalverwerking en geheugen terugroepen. De resultaten bekend gemaakt van de afzonderlijke bijdrage van acties ten opzichte van de blik van de spreker tot real-time begrip versus na experiment geheugen terugroepen processen.
Terwijl de eye-tracking-methode kan worden gebruikt met grote flexibiliteit, zijn bepaalde normen sleutel. Het volgende protocol bevat een overzicht van een algemene procedure die kan worden aangepast aan verschillende soorten onderzoeksvragen volgens de specifieke behoeften van de onderzoekers. Dit protocol is een gestandaardiseerde procedure werkzaam in de psycholinguïstiek laboratorium aan de Humboldt-Universität zu Berlin, evenals in het voormalige taal en cognitie laboratorium op de cognitieve interactie technologie Excellence Cluster (CITEC) op Bielefeld-universiteit. Het protocol beschrijft een desktop en een installatie op afstand. De laatste wordt aanbevolen voor gebruik in studies met kinderen of oudere volwassenen. Alle experimenten in de Vertegenwoordiger resultaten vermeld gebruiken een eye tracker apparaat die een sampling-frequentie van 1000 Hz en is gebruikt in combinatie met een hoofd stabilisator, een PC voor het testen van de deelnemers (Display PC) en een PC voor het toezicht op het experiment en de deelnemers oogbewegingen (Host PC). Het belangrijkste verschil van dit apparaat zijn voorganger is dat het mogelijk voor verrekijker eye tracking maakt. Het protocol is bedoeld als voldoende algemeen voor gebruik met andere eye-tracking-apparaten die uit een hoofd stabilisator en gebruik maken van een dubbele PC setup (Host + scherm). Het is echter belangrijk in gedachten te houden dat andere opstellingen waarschijnlijk verschillende methoden hebben zal voor de behandeling van problemen zoals kalibratie storingen of verlies van de track, in dat geval de experimentator naar de gebruiker verwijzen moet handmatig voor hun specifieke apparaat.

<table border="0" cellpadding="0" cellspacing="0" width="1185">
	<tbody>
		<tr height="21">
			<td height="21" style="height:21px;width:476px;">Desktop mounted eye-tracker including head/chin rest</td>
			<td style="width:165px;">SR Research Ltd.</td>
			<td style="width:185px;">EyeLink 1000 plus</td>
			<td style="width:359px;">http://www.sr-research.com/eyelink1000plus.html</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;">Software for the design and execution of an eye-tracking experiment</td>
			<td>SR Research Ltd.</td>
			<td>Experiment Builder</td>
			<td>http://www.sr-research.com/eb.html</td>
		</tr>
	</tbody>
</table>

eye tracking during visually situated language comprehension: flexibility and limitations in uncovering visual context effects

Het huidige werk is een beschrijving en een beoordeling van een methodologie die is ontworpen om het kwantificeren van de verschillende aspecten van de interactie tussen taalverwerking en de perceptie van de visuele wereld. De opname voor ogen-blik patronen heeft goed bewijs voor de bijdrage van zowel de visuele context en de kennis van de taalkundige/wereld aan taalbegrip geleverd. Eerste onderzoek beoordeeld object-context effecten te testen van de theorieën van modulariteit in taalverwerking. In de inleiding, beschrijven we hoe latere onderzoeken de rol van de bredere visuele context in taalverwerking als een onderzoeksonderwerp in zijn eigen recht genomen hebben, vragen vragen zoals hoe onze visuele perceptie van de gebeurtenissen en sprekers draagt bij tot begrip door comprehenders ervaring in kennis gesteld. Onder de onderzochte aspecten van de visuele context zijn acties, evenementen, van een spreker blik, en emotionele gezichtsuitdrukkingen, evenals ruimtelijk object configuraties. Na een overzicht van de eye-tracking-methode en de verschillende toepassingen sommen we de belangrijkste stappen van de methodologie in het protocol, illustreren hoe succesvol om het te gebruiken om te studeren visueel gelegen taalbegrip. Een laatste deel presenteert drie sets van representatieve resultaten en illustreert de voordelen en beperkingen van eye tracking voor het onderzoeken van de wisselwerking tussen de perceptie van het visuele wereld en taal begrijpen.

Een studie door Münster en medewerkers37 onderzocht het samenspel van zinsbouw, acties en gezicht emotionele signalen afgebeeld tijdens taalbegrip. Deze studie is geschikt voor het illustreren van de voordelen en beperkingen van de methode, zoals bleek dat zowel robuuste afgebeeld actie effecten en marginale effecten van gezicht emotionele signalen op begrip van de zin. De auteurs gemaakt 5 s-video's van gelaatsuitdrukking van een vrouw die vanuit een rustende positie in een gelukkig of in een trieste uitdrukking gewijzigd. Ze creëerde ook emotioneel positief valenced Duitse Object-werkwoord-bijwoord-Subject (OVAdvS) zinnen van het formulier ' de [object/patiëntaccusatief] [werkwoord] [positieve bijwoord] [onderwerp/agentnominatieve geval].' Via de positieve bijwoord, de zinnen gematched de 'happy' video en verkeerde de 'trieste' video, in afwachting van het beginsel van de agent (die glimlachte en beschreven als waarnemend gelukkig door de positieve bijwoord) het toelaat. Na de spreker video verscheen de zin met een van de twee versies van een agent-patiënt-afleider clipart scène. In één versie, werd de agent afgeschilderd als het uitvoeren van de genoemde actie op de patiënt, terwijl de afleider teken een andere actie uitgevoerd. De andere scène versie afgebeeld geen acties tussen de personages. Oogbewegingen in de scène bleek het effect van de acties en van de gelaatsuitdrukking van de spreker op begrip van de zin.
De actie afbeelding snel beïnvloed de deelnemers visuele aandacht, wat betekent dat de deelnemers meer bij de agent dan op de afleider keek toen de genoemde actie (vs. was niet) afgebeeld. Deze ziet er waren anticiperende (dat wil zeggen, die zich voordoen voordat de agent werd genoemd), suggereren dat de voorstelling van de actie de agent verduidelijkt voordat de zin heeft. De vroegste effect van de actie-voorstelling naar voren gekomen tijdens het werkwoord (dat wil zeggen, het werkwoord gemedieerde de actie-geassocieerde agent). Daarentegen, de vorige spreker glimlachte of keek ongelukkig hadden geen duidelijk effect op de agent anticipatie (Figuur 2). Het laatste resultaat kon weerspiegelen het meer zwak verband tussen een spreker glimlach en een positieve sentential bijwoord met betrekking tot de afgebeelde agent actie (vergeleken met een referentie van de directe werkwoord-actie een actie-geassocieerde agent bemiddelen). Anderzijds zou het specifiek voor de taak en stimulans presentatie: misschien emotie effecten zou hebben meer uitgesproken in een meer sociaal interactieve taak of in die van de spreker gezicht tijdens (en niet vóór) zin begrip presenteert. Echter, presenteren van de spreker van een lachende gezicht tijdens begrip kan veroorzaken deelnemers te concentreren op het eerste gezicht ten koste van andere inhoud van de scène, misschien maskeren anders waarneembare effecten van de gemanipuleerde variabelen (Bron: ongepubliceerde gegevens).
In een verdere variant van het paradigma, Guerra en Knoeferle32 gevraagd of ruimtelijke-semantische wereldtaal betrekkingen het begrijpen van de abstracte semantische inhoud tijdens de lezing moduleren kunnen. Guerra en Knoeferle leende het idee van de conceptuele metafoor theorie38 dat ruimtelijke afstand (b.v., nabijheid) de betekenis van abstracte semantische relaties (bijvoorbeeldgelijkenis gronden). In overeenstemming met deze hypothese, deelnemers lezen gecoördineerd abstracte zelfstandige naamwoorden sneller wanneer zij vergelijkbaar (vs. tegenovergestelde) in betekenis waren en had zijn voorafgegaan door een video vervoert nabijheid (vs. afstand; speelkaarten stap dichter samen vs. verder uit elkaar liggen). In een tweede reeks van studies39beschreven zinnen de interactie tussen twee personen als intieme of onvriendelijk, wat leidt tot de ontdekking dat de video's van twee kaarten die elkaar naderen de lezing van zin-regio's die sociale overgebracht versneld nabijheid/intimiteit. Opmerking dat de ruimtelijke afstand beïnvloed zin lezen snel en stapsgewijs zelfs wanneer de zinnen deed niet verwijzen naar de objecten in de video. De video's apart gemoduleerd lezing tijden als een functie van de congruentie tussen ruimtelijke afstand en semantische evenals sociale aspecten van de betekenis van de zin. Deze effecten bleek zowel in eerste-pass lezing tijden (de duur van de eerste keuring van een vooraf bepaalde zin regio) en de totale tijd doorgebracht op deze zin regio (Zie Figuur 3 voor een illustratie van de resultaten van de studies door Guerra en Knoeferle)32. De analyses bleek echter ook aanzienlijke variatie tussen deelnemers, wat leidt tot de conclusie dat dergelijke subtiele effecten van de kaart-afstand mogelijk niet zo robuust als de effecten van werkwoord-actie betrekkingen, om een voorbeeld te noemen.
Een nieuwe reeks van studies illustreert hoe variatie in zinsbouw kan helpen evalueren de algemeenheid van de effecten van de visuele context. Abasjidze en medewerkers34 en Rodríguez en medewerkers26 onderzocht de effecten van recente acties inzake de verdere verwerking van de gesproken zinnen. In beide studies, geïnspecteerd de deelnemers eerst een actie video (bijvoorbeeld, een experimentator smaakstof komkommers, of vrouwelijke handen een taart bakken). Vervolgens zij luisterden naar een Duitse zin dat ofwel was gerelateerd aan de recente actie of aan een andere actie die uitgevoerd zou kunnen worden de volgende (smaakstoffen tomaten34; bouwen van een model-26). Tijdens het begrip, de deelnemers geïnspecteerd een scène toont twee objecten (komkommers, tomaten)34 of twee foto's van agent gezichten (een vrouwelijke en een mannelijke agent gezicht, met de naam 'Susanna' en 'Thomas', respectievelijk)26. In de studie van Abasjidze en medewerkers34, de spreker voor het eerst genoemd de experimentator en vervolgens het werkwoord (bijv., smaakstof), aanleiding kunnen geven tot verwachtingen over een thema (b.v., de komkommers of de tomaten). In de studie van Rodríguez en medewerkers26, de spreker voor het eerst genoemd een thema (de cake), waarna het werkwoord (bakken), aanleiding kunnen geven tot verwachtingen over de agent van de actie (vrouwelijke: Susanna, of man: Thomas, afgebeeld via foto's van een vrouwelijke en een mannelijke gezicht).
In beide studies was de vraag of mensen zou (visueel) anticiperen op het thema/agent van de recente gebeurtenis van de actie of de andere thema/agent-gebaseerd op verdere contextuele aanwijzingen tijdens begrip verstrekt. Van de experimentator blik in Abasjidze en medewerkers34, gecued wordt de toekomstige theme-object (de tomaten) vanaf het begin van het werkwoord (letterlijk vertaald uit het Duits: 'de experimentator-agent smaken binnenkort...'). In Rodríguez en medewerkers26, gender kennis van stereotiepe acties beschikbaar werd, toen het thema en het werkwoord zijn genoemd (bijvoorbeeld, de letterlijke vertaling van de Duitse stimuli was: 'de taart-thema bakt binnenkort...'). In beide sets van studies, de deelnemers bij voorkeur geïnspecteerd de target/agent van de recente actie (de komkommers34 of Susanna26) meer dan het de alternatieve (toekomst/andere-geslacht) doel (de tomaten34 of Thomas26) tijdens de zin.
Deze zogenaamde 'recente-event voorkeur', zo lijkt robuust over aanzienlijke variatie in zinsbouw en experimentele materialen. Het was gemoduleerd, echter door visuele beperkingen uit de gelijktijdige scène26, zodanig dat de afhankelijkheid van de gebeurtenissen van onlangs geïnspecteerd actie presenteren plausibel foto's van werkwoord thema's bovendien tot seksegerelateerd foto's van agenten verminderd en gemoduleerde aandacht op basis van gender-stereotype kennis overgebracht door taal. Figuur 4 illustreert de belangrijkste bevindingen van de experimenten door Rodríguez en medewerkers26.
Terwijl deze versie van het visual-wereld paradigma robuuste resultaten opgeleverd, hebben andere studies gewezen op de complexiteit (en beperkingen) van de koppeling hypothese. Burigo en Knoeferle20 ontdekt dat deelnemers — wanneer u luistert naar uitingen zoals Die Box ist über der Wurst ('het vak is boven de worst') — meestal gevolgd de uiting bij de inspectie van clipart-afbeeldingen van deze objecten. Maar op een deel van de proeven, de deelnemers blik losgekoppeld van wat werd genoemd. Bij het horen van de 'worst' en de worst ten minste eenmaal hebben geïnspecteerd, de deelnemers volgende keuring keerde terug naar het vak op ongeveer 21% van de proeven in versneld verificatie (Experiment 1) en in 90% van de proeven in () na zin verificatie Experiment 2). Dit patroon blik suggereert dat de verwijzing (hoorzitting ' worst') alleen sommige begeleide (inspectie van de worst), maar niet alle oog bewegingen (inspectie van het vak). Dit soort ontwerp kan worden gebruikt om de plagen uit elkaar lexicale-referentiële processen van andere (met inbegrip van-zinsniveau interpretatieve) processen. Onderzoekers moeten echter voorzichtig zijn wanneer vorderingen over verschillende niveaus van taalkundige verwerking gebaseerd op relatieve verschillen in oog-beweging proporties, gezien de ambiguïteit in oog blik te koppelen cognitieve en begrip processen.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/57694/57694fig1v3.jpg"> Figuur 1: overzicht van de omgeving met gegevensverzameling. De grafiek toont hoe de verschillende software en hardware elementen voor gegevensverzameling gebruikt en voorbewerken zich tot elkaar verhouden. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig1v3large.jpg" target="_blank">Klik hier voor een grotere versie van dit cijfer.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/57694/57694fig2.jpg"> Figuur 2: Representatieve resultaten van Münster en medewerkers37. Deze panelen tonen de door-onderwerp gemiddelde log-blik waarschijnlijkheid ratio's per voorwaarde in de regio van het werkwoord (voor de afgebeelde actie) en in de regio van de werkwoord-bijwoord gecombineerd (voor het effect voor emotionele prime). Uit de resultaten blijkt een aanzienlijk hoger aandeel van kijkt naar de doelafbeelding wanneer de actie in de zin genoemde werd afgebeeld dan wanneer het niet was afgebeeld. De resultaten voor het effect van emotionele gezicht priemgetallen waren minder overtuigend: ze suggereren slechts een lichte stijging van de verhouding van de gemiddelde-log van kijkt naar het doel als het gezicht priemgetal had een positieve emotionele valence (een glimlach) dan had een negatieve valence (een triest gezicht). De foutbalken vertegenwoordigen de standaardfout van het gemiddelde. Dit cijfer is gewijzigd van Münster et al. 37. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig2large.jpg" target="_blank">Klik hier voor een grotere versie van dit cijfer.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/57694/57694fig3v2.jpg"> Figuur 3: Representatieve resultaten Guerra en Knoeferle32. Dit paneel toont de gemiddelde eerste-pass lezing tijd (in milliseconden) van het (dis) gelijkenis bijvoeglijk naamwoord. De resultaten tonen kortere lezing tijden voor gelijkenis zinnen na het zien van twee spelen kaarten dichter bij elkaar plaatsen met verder uit elkaar vergeleken. De foutbalken vertegenwoordigen de standaardfout van het gemiddelde. Dit cijfer is gewijzigd van Guerra en Knoeferle32. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig3v2large.jpg" target="_blank">Klik hier voor een grotere versie van dit cijfer.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/57694/57694fig4v3.jpg"> Figuur 4: Representatieve resultaten van Rodríguez en medewerkers26. Dit paneel toont de blik van-onderwerp gemiddelde log waarschijnlijkheid ratio's per voorwaarde in de regio werkwoord. De verhoudingen van ziet er boven 0 Toon een voorkeur voor de doelafbeelding voor de agent en de verhoudingen onder 0 Toon een voorkeur voor de concurrent agent afbeelding. De resultaten blijkt dat deelnemers meer kans om te inspecteren de doelafbeelding agent wanneer het object en het werkwoord in de zin genoemde gematched de vorige videotaped gebeurtenissen dan wanneer ze niet waren. Daarnaast waren er meer kijkt naar de doelafbeelding agent wanneer de actie beschreven door de zin gelijkvormig genderstereotypen. De foutbalken vertegenwoordigen de standaardfout van het gemiddelde. Dit cijfer is gewijzigd van Rodríguez et al. 26. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig4v3large.jpg" target="_blank">Klik hier voor een grotere versie van dit cijfer.</a>

Watch this Scientific Journal Video about Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects at JoVE.com

Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects

Eye Tracking tijdens visueel ligt taalbegrip: Flexibiliteit en beperkingen blootleggen visuele Context-effecten

Het huidige artikel bespreekt een eye-tracking-methode voor studies over taalbegrip. Voor het verkrijgen van betrouwbare gegevens, moeten de belangrijkste stappen van het protocol worden gevolgd. Onder deze zijn de juiste set-up van de eye tracker (bijvoorbeeld, garanderen van de goede kwaliteit van de beelden voor ogen en hoofd) en nauwkeurige kalibrering.

The present work is a description and an assessment of a methodology designed to quantify different aspects of the interaction between language processing ...

Deze methode kan helpen bij het beantwoorden van belangrijke onderzoeksvragen in psycholinguïstiek met betrekking tot de mentale processen die betrokken zijn bij taalbegrip. Het voordeel van deze techniek is dat het een visuele aandachtsindex met hoge temporele resolutie biedt, gericht op het onderzoeken van de relatie tussen de visuele wereld en taalverwerking. Personen die nieuw zijn op deze methode kunnen worstelen omdat het protocol moet worden uitgevoerd met een hoge mate van precisie.Visuele demonstratie van deze methode is van cruciaal belang omdat de juiste implementatie van de methode vaak ad hoc probleemoplossing vereist. Om de oculaire dominantie te bepalen, vraag de deelnemer om een arm uit te rekken en de duim uit te lijnen met een ver object met beide ogen open. Laat de deelnemer elk oog afwisselen.Het dominante oog is het oog waarvoor de duim uitgelijnd blijft met het object wanneer dat oog open is. Vraag vervolgens de deelnemer om aan de tafel te zitten met de kin op de kinsteun en het voorhoofd tegen de hoofdsteun. Klik vervolgens op afbeelding om de pc weer te geven. Een grote en twee kleinere beelden van de ogen van de deelnemer moeten verschijnen.Gebruik de pijltoetsen voor het toetsenbord om een van de kleinere dominante oogafbeeldingen te selecteren en druk op A om het vak zoeklimieten op de pupilpositie te centreren. Een rood vierkant moet verschijnen rond het oog met een turquoise cirkel in de buurt van de onderkant van de leerling. De leerling zelf moet blauw zijn.Bevestig de aanwezigheid van twee vizieren op het scherm, een in het midden van de pupil en een in het midden van de hoornvliesreflectie. Het aanpassen van de grootte van de hoornvliesreflectie is cruciaal. Het is de basis voor een goede kalibratie van de eye tracker.Draai handmatig de focuslens om de camera zo nodig aan te passen, waarbij u ervoor moet zorgen dat de voorkant van de lens niet wordt aangeraakt totdat de hoornvliesreflectie zo klein mogelijk is. Druk vervolgens op A om de drempels voor leerlingen en hoornvlies automatisch in te stellen op de hostcomputer, zodat de hele leerling en alleen de leerling blauw is. Om de eye tracker te kalibreren, vraag de deelnemer om te kijken naar de vier hoeken van het scherm een voor een met de camera setup venster in het zicht, terwijl zorgvuldig op zoek naar eventuele onregelmatige reflecties die interfereren met de hoornvlies reflectie wanneer de deelnemer oog blik is gericht op de hoek.Als de rode doos rond het oog of een van de vizieren op geen enkel moment zichtbaar zijn, laat de deelnemer eerst naar het midden van het scherm kijken en vervolgens naar de problematische hoek om de bron van het probleem te bepalen. Pas de positie van het hoofd van de deelnemer aan om te controleren of dit een verbetering oplevert. Vervolgens, informeer de deelnemer dat de eye tracker zal worden gekalibreerd en dat ze moeten fixeren op de kleine grijze stip binnen een grotere zwarte cirkel als de cirkel beweegt naar verschillende delen van het scherm.Wanneer de deelnemer klaar is, klikt u op kalibreren om het kalibratieproces van negen punten te starten en drukt u op enter nadat de deelnemer nauwkeurig op de eerste stip in het midden van het scherm is gefixeerd voor een automatische kalibratie. Aan het einde van het kalibratieproces moet een bijna rechthoekig patroon zichtbaar zijn op het scherm van de onderzoeker dat de oogblikpatronen van de deelnemer vertegenwoordigt. De resultaten van een goede kalibratie worden in het groen gemarkeerd.Om de resultaten te valideren, laat de deelnemer de procedure herhalen, waarbij de deelnemer eraan wordt herinnerd om naar de stip te kijken en stil te blijven. Klik op valideren en voer in om elke fixatie te accepteren. De resultaten worden weergegeven op de hostcomputermonitor.Let op de gemiddelde en maximale fouten. Deze gegevens vertegenwoordigen de graden waarin het bijgehouden beeld afwijkt van de werkelijke blikpositie van de deelnemer. Als de gemiddelde fout hoger is dan 0,5 graden en/of als de maximale fout boven één graad ligt, laat de deelnemer de hoofdpositie aanpassen en de kalibratieprocedure opnieuw starten.Het maximale foutenpercentage onder één graad houden is cruciaal voor het verzamelen van gegevens van hoge kwaliteit. Merk op dat dit de drempels zijn voor het bijhouden van de blik naar relatief grote objecten tijdens het begrijpen van gesproken taal. De drempels voor eye tracking tijdens het lezen zijn nog lager.Na een succesvolle voltooiing van het kalibratieproces klikt u op uitvoerrecord om het experiment te starten. Als voorbeeld voor het bijhouden van oogbewegingen tijdens het lezen, eerst twee speelkaarten die dichter bij elkaar of verder uit elkaar. Laat de deelnemer vervolgens een zin lezen over twee concepten die als vergelijkbaar of ongelijk aan elkaar worden weergegeven om te beoordelen of de afstand tussen de kaarten het begrip gelijkenis in taal kan moduleren.Als voorbeeld voor het opnemen van oogbewegingen tijdens auditieve taalbegrip, laat de deelnemer eerst een video zien van een interessant evenement. Toon vervolgens de deelnemer een doelscène met de afbeeldingen van de agent en de objecten uit de video, en een agent van het andere geslacht plus het beeld van een ander object. Speel tegelijkertijd een zin die een gebeurtenis beschrijft die overeenkomt met of overeenkomt met de vorige video om te beoordelen in hoeverre het geslacht van de handen van een agent in eerdere gebeurtenissen van invloed kan zijn op welk gezicht van de doelscène de deelnemer zal anticiperen tijdens gesproken begrip.In deze representatieve lezing eye tracking experiment, de gemiddelde eerste pass leestijden van gelijkenis bijvoeglijke naamwoorden waren korter voor gelijkenis zinnen na het observeren van twee speelkaarten dichter bij elkaar in vergelijking met toen de kaarten werden verplaatst verder uit elkaar. Hier, een analyse van de gemiddelde log blik verhoudingen tijdens het werkwoord regio van een auditieve begrip test blijkt dat de deelnemers waren meer kans om de foto van de agent waarvan het geslacht overeenkomen met gebeurtenissen in een eerder getoonde video te inspecteren wanneer het object en het werkwoord genoemd in de daaropvolgende zin waren congruent met de video en stereotiep afgestemd op deze agent dan wanneer ze mismatched op deze twee dimensies. Bij het uitvoeren van deze procedure is het belangrijk om te onthouden dat precisie bij het uitvoeren van elke stap cruciaal is voor het verzamelen van gegevens van hoge kwaliteit.Op deze manier kunnen we inzicht krijgen in de mate waarin beeldcontexten stapsgewijs real-time taalbegrip moduleren. Maatregelen na de zin of na het experiment, zoals responstijden en nauwkeurigheid, of gegevens uit andere offline tests kunnen de inzichten verrijken die kunnen worden verkregen uit online fixatiemaatregelen. Deze techniek heeft psycholinguïsten in staat gesteld om de mentale representaties en real-time processen te onderzoeken die betrokken zijn bij taalbegrip.

Research

JoVE Journal

Behavior

Using Eye Movements to Evaluate the Cognitive Processes Involved in Text Comprehension

Oogbewegingen gebruiken om de cognitieve processen te evalueren die betrokken zijn bij tekstbegrip

The present article describes how to use eye  tracking methodologies to study the cognitive processes involved in text  comprehension. Measuring eye ...

A Method to Quantify Visual Information Processing in Children Using Eye Tracking

Een methode om Visual Information Processing kwantificeren bij kinderen met behulp van Eye Tracking

Visual problems that occur early in life can have major impact on a child's development. Without verbal communication and only based on observational ...

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

Met behulp van oogbewegingen die worden opgenomen in de visuele wereld paradigma te verkennen van de Online verwerking van gesproken taal

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Eye-tracking to Distinguish Comprehension-based and Oculomotor-based Regressive Eye Movements During Reading

Eye-tracking te onderscheiden van begrip- en Oculomotor gebaseerde regressieve oogbewegingen tijdens lezing

Regressive eye movements are eye movements that move backwards through the text and comprise approximately 10-25% of eye movements during reading. As ...

Using the Visual World Paradigm to Study Sentence Comprehension in Mandarin-Speaking Children with Autism

Met behulp van de visuele wereld paradigma te bestuderen zin begrip in Mandarijn sprekende kinderen met autisme

Sentence comprehension relies on the ability to rapidly integrate different types of linguistic and non-linguistic information. However, there is ...

Gaze in Action: Head-mounted Eye Tracking of Children's Dynamic Visual Attention During Naturalistic Behavior

Blik in actie: Head-mounted Eye Tracking van kinder dynamische visuele aandacht tijdens naturalistische gedrag

Young children's visual environments are dynamic, changing moment-by-moment as children physically and visually explore spaces and objects and interact ...

Decomposing the Variance in Reading Comprehension to Reveal the Unique and Common Effects of Language and Decoding

Ontbinding van de variantie in het begrijpend lezen te onthullen van de unieke en gemeenschappelijke effecten van taal en decoderen

The Simple View of Reading is a popular model of reading that claims that reading is the product of decoding and language, with each component uniquely ...

Simultaneous Eye Tracking and Single-Neuron Recordings in Human Epilepsy Patients

Gelijktijdige Oogtracering en single-neuron opnames bij humane epilepsiepatiënten

Intracranial recordings from patients with intractable epilepsy provide a unique opportunity to study the activity of individual human neurons during ...

Investigating the Deployment of Visual Attention Before Accurate and Averaging Saccades via Eye Tracking and Assessment of Visual Sensitivity

Onderzoek naar de inzet van de visuele aandacht voor nauwkeurige en gemiddeld Saccades via Eye Tracking en beoordeling van visuele gevoeligheid

This experimental protocol was designed to investigate whether visual attention is obligatorily deployed at the endpoint of saccades. To this end, we ...

Defining the Role Of Language in Infants' Object Categorization with Eye-tracking Paradigms

Definiëren van de rol van taal in de zuigelingen Object categorisering met Eye-tracking paradigma 's

Assessing infant category learning is a challenging but vital aspect of studying infant cognition. By employing a familiarization-test paradigm, we ...