Name: eye tracking during visually situated language comprehension: flexibility and limitations in uncovering visual context effects
Uploaded: 2018-11-30T12:30:00
Duration: 7 min 36 s
Description: Watch this Scientific Journal Video about Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects at JoVE.com

Forskningen finansierades av ZuKo (Excellence Initiative, Humboldt-Universität zu Berlin), den Excellence kluster 277 'Kognitiva interaktionsteknik' (tyska forskningsrådet, DFG), och av EU: s sjunde ramprogram för forskning, teknisk utveckling och demonstration under grant avtalet n ° 316748 (LanPercept). Författarna erkänner också stöd från Basal fonderna för Centers of Excellence, projektet FB0003 från den associativa forskning Program av CONICYT (regeringen av Chile) och från projektet ”FoTeRo” i stadens fokus XPrag (DFG). Pia Knoeferle fortsätter förutsatt ett första utkast till artikeln informeras av ett laboratorium protokoll att Helene Kreysa instansierad vid Bielefeld-universitetet och som att användas på den Humboldt-Universität zu Berlin. Alla författare bidragit till innehållet genom att ge input på metoder och resultat i en eller annan form. Camilo Rodríguez Ronderos och Pia Knoeferle samordnas input från författarna och i två iterationer, ändrade väsentligen det ursprungliga utkastet. Ernesto Guerra produceras figurerna 2 - 4 baserat på input från Katja Münster, Alba Rodríguez och Ernesto Guerra. Helene Kreysa enligt figur 1 och Pia Knoeferle uppdaterat den. Delar av rapporterade resultaten har publicerats i det målet av årsmöte i kognitionsvetenskap Society.

Detta protokoll följer de etiska riktlinjerna institutionen där data samlades in, dvsden kognitiva interaktion teknik Excellence kluster (CITEC) av Bielefeld-universitetet och Humboldt-Universität zu Berlin. De experiment som utförs vid Bielefeld University godkändes individuellt av Bielefeld universitetets etiska kommitté. Psykolingvistik laboratoriet på den Humboldt-Universität zu Berlin har ett laboratorium etik protokoll som godkändes av den etiska kommittén Deutsche Gesellschaft für Sprachenwissenschaft tysk språkvetenskap samhället (DGfS).
1. datorinstallation
Obs: Följande är de viktigaste stegen i en eye-tracking-experiment.
<ol><li>Instrumentet förberedelse
	<ol>
<li>Slå på eye-tracking kameran och den värd PC (se figur 1 för en illustration av i-lab datainsamlingen och förbehandling setup).</li>
		<li>Inleda den eye tracker-programvaran.</li>
		<li>Aktivera displayen PC. Öppna mappen som innehåller experiment.</li>
		<li>Starta 'distribuerade' version med filnamnstillägget .exe genom att dubbelklicka på den.</li>
		<li>Beroende på inställningarna, kanske en uppmaning om att välja en experimentell lista visas, som är typiskt en tabbavgränsad.csv/.txt fil som innehåller de villkor, ljudfil namn, skrivna meningar eller bilder som en deltagare kommer att utsättas för. Välj i listan och startar programmet. Namnge utdatafilen där resultaten kommer att lagras. Obs: Utdatafilen sparas på displayen PC och en säkerhetskopia sparas på det värd PC.</li>
		<li>Lämna den första skärmen i experimentet (Introduktion eller välkomstskärmen) öppen.</li>
		<li>Ta bort skyddslocket från eye tracker kameran.</li>
		<li>För hygieniska ändamål, placera en vävnad på hållaren för hakan.</li>
		<li>Valfritt: Förbereda en svar pad eller ett tangentbord som krävs av experimentet.</li>
		<li>Valfritt: Om presentera auditiva stimuli, justera volymen på högtalarna och testa dem innan du kör experimentet. Alternativt testa funktionaliteten i hörlurarna att användas av deltagaren.</li>
		<li>Förbereda de nödvändiga blanketterna ska undertecknas av deltagaren.</li>
		<li>Justera ljusstyrkan i laboratoriet för att ha ett svagt upplyst rum med en konstant luminans för hela processen för insamling av data.</li>
	</ol></li>
	<li>Förberedelse för deltagarna
	<ol>
<li>Efter att deltagarna har anlänt, presentera dig själv.</li>
		<li>Plats en stör ej logga på laboratoriet dörren.</li>
		<li>Be deltagaren att ta en plats.</li>
		<li>Vägleda deltagaren genom informationsblad och nödvändigt samtycke och demografiska former.</li>
		<li>Låt deltagaren Läs och signera formuläret samtycke.</li>
		<li>Kortfattat förklara de allmänna aspekterna av experimentet och dess varaktighet. Ge inte alltför mycket information innan experimentet, eftersom detta kan påverka deltagarens blick beteende och resulterande data.</li>
		<li>Tillhandahålla skriftliga instruktioner och ge deltagaren möjlighet att ställa frågor.</li>
		<li>Kortfattat förklara funktionen av eye tracker.</li>
		<li>Vid behov förtydliga uppgiften och påpeka eventuella knappar/tangenter som måste vara intryckt under experimentet.</li>
		<li>Förklara hur hakstödet syftar till att minimera huvudrörelser under experimentet. Nämna att enheten fungerar bäst om deltagaren undviker eventuella förflyttningar.</li>
	</ol></li>
	<li>Ställa in eye tracker
	<ol>
<li>Förbereda deltagaren för experimentet: be dem att sitta vid bordet och placera sin haka på hakstödet. Be dem att luta pannan mot nackstödet.</li>
		<li>Be deltagaren att justera höjd och position av stolen om det behövs: deltagaren ska känna sig bekväm med sin haka på hakstödet och sin panna mot nackstödet.</li>
		<li>Förklara att det är vanligt att oavsiktligt flytta huvudet under experimentet och att detta bör undvikas. Förklara att huvudet kroppshållning kan behöva korrigeras under experimentet.</li>
		<li>Om experimentet kräver en knapptryckning(t.ex. via svar pad), instruera deltagaren att lämna sina fingrar vilar på knapparna ska pressas och att undvika att titta på svar pad när du trycker på en knapp.</li>
		<li>Be deltagaren att läsa Välkommen/införandet skärmen.</li>
		<li>Sitta framför den värd PC. Om skärmen inte redan på kamera inställningar, klicka på kameran setup för att komma till skärmen rätt. Om skyddslocket har tagits bort från kameralinsen och deltagaren är korrekt placerad på hakstödet, skärmen ska visa tre bilder av deltagarens ögon: en större bild på toppen, och två mindre längst ned till vänster och höger. Dessa mindre bilder visar ett öga varje, motsvarande vänster och höger öga.</li>
		<li>Välj det öga som ska spåras. Det är brukligt att spåra deltagarens dominerande öga. Om deltagaren inte vet vilket öga är dominant, genomföra en okulär dominanstestet (steg 1.3.8).</li>
		<li>Bestämma okulär dominans. Be deltagaren att sträcka ut en arm och justera tummen med ett avlägset objekt med båda ögonen öppna. Be deltagaren att alternativa utgående vänster eller höger ögat. Dominerande ögat är den där tummen förblir linje med objektet när ögat är öppet35,36.</li>
		<li>Klicka på bilden | Displayen pc (eller tryck på Enter) och de bilder som beskrivs i steg 1.3.6 visas också på deltagarens skärm, men endast en i taget.</li>
		<li>Tryck på vänster/höger pilen på antingen experimenter's eller deltagarens dator tangentbordet för att växla mellan mindre och större bilden av ögat. Fokusera på den mindre bilden (ögat).</li>
		<li>Tryck på A (Justera ögat fönster) på antingen tangentbord för att centrera gränser sökrutan pupillen positionen. Sedan, en röd ruta visas runt ögat bör visas med en turkos cirkel [den 'hornhinnans reflektion', (cr)] nära botten av eleven. Eleven själv ska vara blå.</li>
		<li>Se till att två kors ('hårkorset') visas på skärmen – en i mitten av eleven och en i mitten av hornhinnans reflektion. Den röda rutan och två korsar menar att eye tracker är att upptäcka eleven och cr. Obs: Om den röda rutan eller korsen är frånvarande, ögat är inte spåras — om det händer, Ingen elev visas på de experimenter's dator.</li>
		<li>Justera kamerans fokus genom att manuellt vrida objektivets fokus. Vara noga med att inte vidröra framsidan av linsen. Vrid objektivet tills den bästa fokuspunkten nås. Obs: Den bästa fokuspunkten är nådd när turkos cirkeln (hornhinnans reflektion) är så liten som möjligt (dvs.när denna cirkel är i fokus).</li>
		<li>Ange elev tröskelvärde. Se till att bara bilden av eleven är blå (t.ex., ögonfransarna ska inte vara blå) på det värd PC. Kontrollera också att hela eleven (inte bara dess centrala del) är blå. Bara oroa vad som finns inuti Röda torget.</li>
		<li>Tryck på A. Detta ställer automatiskt in elev tröskeln. Om eleven inte visas korrekt i blått, justera tröskeln manuellt med knappen upp för att öka och ned för att minska mängden blå del av bild yta. Obs: Mascara (som vanligtvis är svart, som eleven) kan störa inställning tröskeln — eye tracker kan ta mörka ögonfransar för eleven. I detta fall be deltagaren att ta bort deras makeup genom att förse dem med makeup remover vävnader.</li>
		<li>Ange tröskelvärde för cr. Om A trycktes i steg 1.3.15, bör cr tröskel har automatiskt ställts in. Obs: Numeriska värden för alla tröskel inställningar ska synas. Om ett frågetecken visas i någon av dem, det fanns ett problem i ett av de föregående stegen och tröskelvärdena bör ställas in manuellt.</li>
	</ol></li>
	<li>Kalibrera eye tracker Obs: Kontrollera huruvida eye tracker konsekvent kan identifiera positionen för ögat när deltagaren tittar på andra delar av skärmen.<ol>
<li>Be deltagaren att titta på de fyra hörnen på skärmen en i taget medan kamerafönstret är i sikte. Noggrant leta efter några oregelbundna reflektioner (dessa visas som turkos 'BLOB' på skärmen) som stör hornhinnans reflektion när den ögon-blicken är riktad mot hörnet.</li>
		<li>Be deltagaren att titta på mitten av skärmen och sedan rikta blicken till det problematiska hörnet om den röda rutan runt ögat och antingen av hårkorset inte syns på någon punkt under steg 1.4.1. Detta kommer att hjälpa fastställa orsaken till problemet.</li>
		<li>Justera positionen för deltagarens chef och kontrollera om detta ger någon förbättring. Upprepa detta steg om det behövs. Om enheten fortfarande inte kan spåra deltagarens blick efter flera försök, avbryta experimentet.</li>
		<li>Informera deltagaren att eye tracker kommer att kalibreras och att de kommer att se en svart cirkel (med en liten grå prick) flyttar till olika delar av skärmen. Instruera deltagaren att fixera cirkeln tills den flyttas till en ny plats. Instruera deltagaren att undvika anstränga ögonen och fokusera på de små grå pricken inuti den svarta cirkeln för optimalt resultat.</li>
		<li>Tala om för deltagaren att det är viktigt att vara stilla och inte att försöka förutse nästa cirkeln ställning under kalibreringen. Instruera dem att följa cirklar med sina ögon och inte deras huvud. Klicka på kalibrera att starta kalibreringen. En 9-punktskalibrering förfarandet används normalt, i vilken den svarta cirkeln flyttas till nio platser i en seriell sätt.</li>
		<li>För en automatisk kalibrering, tryck på RETUR efter deltagaren har korrekt fixerad första punkten i mitten av skärmen. För manuell kalibrering (t.ex., när det finns problem med att spåra deltagarens ögat eller när behandlar särskilda deltagare för till exempel barn), acceptera varje fixering genom att trycka på ENTER (eller genom att klicka på acceptera fixering/ trycka på blanksteg). Obs: I slutet av kalibreringen, en nästan rektangulär mönster på de experimenter's skärm ska synas. Detta representerar den öga blick mönstren av deltagaren. Resultaten av en bra kalibrering bör dessutom vara markerade i grönt. Om de inte kan upprepa kalibreringen (dvsKlicka på kalibrering).</li>
		<li>Validera resultaten. Berätta för deltagaren att gå igenom samma procedur (tittar på prickar) för att validera resultaten av kalibreringen. Påminn dem att titta på pricken och vara stilla. Obs: Processen för validering är liknande den för kalibrering och båda resultaten jämförs av eye tracker programvara för att säkerställa att ögat spåras exakt.</li>
		<li>Klicka på validera.
</li>
		<li>Acceptera varje fixering genom att trycka på ENTER (eller genom att klicka på accepterafixering/trycka på blanksteg).</li>
		<li>Efter validering visas resultaten på de experimenter's skärm. Ägna särskild uppmärksamhet åt de två fel åtgärderna, genomsnittliga felet (t.ex., 0,23 °) och maximal felet (t.ex., 0.70 °). Dessa representerar de grader som spårade bilden avviker från den riktiga blick positionen där en deltagare.</li>
		<li>När du använder en visuell värld paradigm, hålla den genomsnittliga fel (första antal) under 0,5 ° och det maximala felet (det andra talet) under 1°.</li>
		<li>Om felvärdena är tröskelvärdet, be deltagaren att justera placeringen av huvudet och starta om kalibreringen. Om ingen förbättring observeras, avbryta experimentet. Obs: Det är vanligt att iaktta höga kalibrering fel när deltagaren bär kontaktlinser. Deltagaren bör tillfrågas i förväg att föra sina glasögon i stället för sina kontaktlinser.</li>
		<li>Efter framgångsrikt avslutat kalibreringsprocessen, klicka på Utgång/Record för att starta experimentet. Informera deltagaren att experimentet börjar nu.</li>
	</ol></li>
	<li>Under experimentet Obs: Under experimentet (beroende på hur enskilda experiment är programmerad, men vanligtvis före varje experimentellt försöket), en glida in eller drift rätt skärm visar en prick i mitten av skärmen. Dess syfte är att rapportera beräknade fixering felet för aktuellt prövningen och, beroende på eye tracker modell, att automatiskt justera den.<ol>
<li>Under fasen instruktion har deltagaren berättats att fixera den centrala punkten när den visas. Kontrollera att deltagarna under varje drift kontrollera/drift rätt fas, igen fixerande pricken. Detta kan göras genom att följa deltagarens blick på det värd PC, där deltagarens blick visas som en glidande grön cirkel.</li>
		<li>När den avdrift kontrollera/drivan rätt har slutförts, tryck på RETUR (eller blanksteg) för att göra pricken försvinner och Visa nästa rättegången.</li>
		<li>Avgöra hur man handskas med underlåtenhet att passera fasen drift kontrollera enligt modellera av eye tracker används. Beroende på modell, eye tracker kommer att antingen utföra en automatisk drift korrigering genom att justera den blicken koordinater om du vill matcha hos den centrala punkten, eller det kommer att göra ett pipande ljud att fråga försöksledaren att kalibrera innan du fortsätter den experiment (glida in).</li>
		<li>Om du använder en automatisk drift korrigering, Tänk på att alltför många drift korrigeringar i efterföljande prövningar och för stor en grad av avdrift korrigering kommer att snedvrida resultaten och kräver en omkalibrering av enheten.</li>
	</ol></li>
	<li>Omkalibrering under experimentet
	<ol>
<li>Det är möjligt att kalibrera när som helst under experimentet. Under presentationen av glida korrigering/drift kontrollera skärmen, klicka på kamera inställningar, klicka på kalibrera. Gå genom kalibrering och validering processer tills ett tillfredsställande värde uppnås, klicka på utgång/posten. Experimentet kommer att återupptas från utförselstället i sekvensen rättegång.</li>
	</ol></li>
	<li>Efter experimentet
	<ol>
<li>Ge deltagaren ett frågeformulär för att bedöma om de skulle kunna gissa de viktigaste experimentella manipulationer. Här är det också viktigt att fråga om potentiella strategier som kunde ha utvecklat hela experimentet.</li>
		<li>Utfråga deltagaren om syftet med experimentet. Tacka dem för deras deltagande och tillhandahålla nödvändiga skadestånd eller tilldela kurs kredit om tillämpligt.</li>
	</ol></li>
</ol>2. fjärrinställning: Justera inställningarna för studier med barn och äldre vuxna
Obs: Detta avsnitt beskriver endast skillnaderna mellan en fjärrinställning och en stationär installation som beskrivs i steg 1. Punkter nämns inte uttryckligen här bör antas vara identisk med det förfarande som beskrivs i steg 1.
<ol><li>Utbyta standard 35 mm eye tracker kameralinsen för en 16 mm objektiv.</li>
	<li>Anslut alla nödvändiga utrustning (värd PC, högtalare, eye tracker och laptop om du använder en bärbar dator).</li>
	<li>Placera den bärbara datorn på en laptop-stativ och eye tracker framför den (deltagaren bör kunna se de 75% av skärmen).</li>
	<li>Placera en ”target klistermärke” (tillgängligt från tracker tillverkare) på deltagarens panna (ovanför ögonbrynet höger öga eller på den högra kinden om pannan är för små (dvs.vid spädbarn); Detta klistermärke ersätter hakan vila av den Datorinstallation och den tillåter eye tracker att noggrant bestämma positionen för deltagarens chef.</li>
	<li>Kontrollera att deltagaren sitter 550-600 mm bort från kameran (distansera av målet dekalen till kameran).</li>
	<li>Se till att orden ”stor vinkel” eller ”nära ögat” visas inte på det värd PC. Om de gör, innebär det att positionen för målet dekalen inte är idealisk. I detta fall justera target dekalen. Det kan också innebära att deltagarens pannan är särskilt små. Om så är fallet, placera dekalen på deltagarens kinden. Obs: Om etiketten är placerad för nära örat, meddelandet ”stora vinkel” sannolikt kommer att visas och dekalen måste flyttas.</li>
	<li>Innan du påbörjar kalibreringsprocessen beskrivs i steg 1.4, kontrollera att deltagaren sitter bekvämt. Be dem att bibehålla samma ställning under hela experimentet och förklara att eye tracker är mycket känslig för kroppsliga rörelser. Insistera på att de hålla huvudet stilla. Om deltagaren rör sig för mycket, kommer enheten avger brummande. Obs: Om inställningen remote eye tracker används för att testa känsliga befolkningsgrupper, såsom barn och äldre vuxna, är det tillrådligt att använda en manuell kalibrering.</li>
</ol>3. Justera inställningarna för läsning studier
Obs: När du undersöker visuella sammanhang effekter på läsning, det är nödvändigt att särskilt uppmärksamma de kalibrering och omkalibrering processerna. I motsats till visuella världen studier kräver eyetracking under behandlingen en mycket högre grad av enheten precision, med tanke på den noggrannhet som behövs för att spåra ord-för-ord och bokstav-till-bokstav läsning mönster.
<ol><li>Se till att både det genomsnittliga och maximala fel visas under valideringsfasen förblir under 0,5 °.</li>
	<li>Se till att använda minst en 9-gradig skala för kalibrering. Detta försäkrar en mer exakt spårning av den öga blick ståndpunkten, vilket är nödvändigt, med tanke på den begränsade storleken på områden av intresse under behandlingen.</li>
</ol>

Författarna har något att avslöja.

Sammanfattningsvis har de granskade varianterna av eyetracking i visuella sammanhang upptäckt många sätt som en visuell scen kan påverka språkförståelse. Denna metod ger avgörande fördelar jämfört med metoder såsom mätmetoder reaktionstider. Till exempel ger pågående ögonrörelser oss ett fönster till språk förståelse processer och hur dessa interagerar med vår uppfattning av den visuella världen över tid. Dessutom krävs deltagare inte nödvändigtvis för att utföra en uttrycklig uppgift under språkförståelse (t.ex. att döma av grammaticality av en mening via en knapptryckning). Detta tillåter forskare att använda metoden med befolkningsgrupper som kan kämpa med overt beteendemässiga Svaren än ögon blick, till exempel spädbarn, barn och i vissa fall, äldre vuxna. Eyetracking är ekologiskt giltig eftersom den avspeglar deltagarnas uppmärksamhet svaren — inte till skillnad från människans visuella förhör av kommunikation-relevanta saker i världen omkring dem under mer eller mindre uppmärksamt lyssna på pågående uttalanden.
En av de gränser (eller kanske egenskaper) av den visuella värld paradigmen är att inte alla händelser kan beskrivas rakt och entydigt. Konkreta föremål och händelser kan, naturligtvis, beskrivas. Men hur abstrakta begrepp är bästa skildras är mindre tydlig. Detta kan begränsa (eller definiera) insikter om samspelet mellan språkbearbetning och uppfattningen av den visuella världen med en eye-tracking visuella världen paradigm. Ytterligare utmaningar avser de länkande hypoteserna mellan observerade beteende och förståelse processer. Eye upptagningar är en enda beteendemässiga svar som återspeglar sannolikt många delprocesser under språkförståelse (t.ex., lexikala tillgång, refererande processer, språk-medierad förväntningar, visuella sammanhang effekter, bland annat). Med tanke på denna insikt, forskare måste vara försiktig att inte över - eller misstolkar observerade blick mönstret. För att lösa detta problem, belyser tidigare forskning rollen av läsförståelse underaktiviteter att klargöra tolkningen av blick rekord40.
Ett sätt att förbättra tolkningsbarhet av ögonrörelser är att integrera dem med andra åtgärder såsom evenemangsrelaterade hjärnan potentialer (ERPs). Genom att undersöka samma fenomen med två metoder som är jämförbara i deras temporal granularitet och kompletterande i deras länka hypoteser, kan forskare utesluta alternativa förklaringar av deras resultat och berika tolkningen av varje enskild åtgärd41. Detta tillvägagångssätt har bedrivits över experiment43, men, mer nyligen, även inom en enda experiment (om än i strikt språkliga sammanhang)44. Framtida forskning skulle kunna dra stor nytta av sådana metodologiska integration och fortsatte kombination med efter rättegången och efter experimentella uppgifter.
Metoden eye-tracking kan replikera etablerade resultat, samt testa nya hypoteser, om samspelet mellan visuell uppmärksamhet i scener med språkförståelse. Det förfarande som anges i protokollet måste följas noga eftersom även mindre försöksledaren fel kan påverka datakvaliteten. I läsning studier, exempelvis de relevanta analyser regionerna är ofta enskilda ord eller även bokstäver, vilket innebär att även små kalibrering fel kan snedvrida resultaten (se artikeln av Raney och kollegor42). Steg 1.4 och 1.5 i protokollet, kalibrering av eye tracker och drift kontrollera/drift rätt, är särskilt viktiga eftersom de direkt påverkar noggrannheten inspelningen. Underlåtenhet att korrekt kalibrera eye tracker kan resultera i tracker inte exakt spåra ögonrörelser till förutbestämda områden av intresse. Sådan spårning misslyckande kommer att leda till saknade datapunkter och en förlust i statistiska makt som kan vara problematiskt när du undersöker världen-till-språk relationer som är mycket subtila och ger liten statistisk effekt storlekar (se beskrivningen av den experiment av Guerra och Knoeferle32 och Münster och kollegor37 bland Representativa resultat).
Med tanke på behovet av att maximera kraft och känslighet av utrustningen, är det viktigt att praktiker vet hur man handskas med problem som rutinmässigt uppstår under en experimentell session. Till exempel kan elev position och förflyttning av deltagarna bär glasögon resultera i kalibrering svårigheter på grund av reflektioner på linserna en deltagares glasögon. Ett sätt att lösa detta problem är att spegla bilden av deltagarens öga på displayen PC och uppmuntra dem att flytta huvudet tills reflektion av ljus på glasen är inte längre synlig på skärmen, vilket innebär att det inte längre fångas av kameran. En ytterligare orsak till kalibrering underlåtenhet kan vara elev sammandragning, som kan vara en följd av en överexponering för ljus. Öka elev dilatation i så fall ljusreglering ljuset i laboratoriet kommer att och, således, att eye tracker i noggrant upptäcka eleven.
Som en sista tanke, skulle vi vilja ta den potential som visual-världen paradigm har för forskning om andra språk lärande. Paradigm har redan framgångsrikt använts i Psykolingvistiska forskning för att undersöka fenomen som cross-lexikala och fonologiska interaktion46,47,48. Det nära sambandet mellan visuell uppmärksamhet och språkinlärning har dessutom ofta lyfts fram i tillämpad-språkvetenskap litteratur på andra språk förvärv49,50,51. Framtida forskning om andra språk lärande kommer sannolikt att fortsätta att dra nytta av den fördelaktiga positionen av eye tracking som en metod som ger ett index av visuell uppmärksamhet i millisekunds noggrannhet.

Psykolingvistiska forskning har lyft fram betydelsen av ögonrörelser analyser för att förstå de processer som är inblandade i språkförståelse. Kärnan i inferring förståelse processer från posten blick är en hypotes som länkar kognition till ögat rörelser5. Det finns tre huvudtyper av ögonrörelser: saccades, vestibulo-okulär förehavanden och smooth pursuit rörelser. Saccades är snabb och ballistiska rörelser som händer mestadels omedvetet och tillförlitligt har förknippats med förskjutningar i uppmärksamhet6. Ögonblicken av relativa blick stabilitet mellan saccades, känd som upptagningar, anses index nuvarande visuell uppmärksamhet. Mäta locus upptagningarna och deras varaktighet i förhållande till kognitiva processer kallas metoden' eye-tracking'. Tidiga implementationer av denna metod serveras att undersöka läsförståelse i strikt språkliga sammanhang (se Rayner7 för en översyn). I detta synsätt varar inspektera ett ord eller mening regionen associerade med bearbetning svårigheter. Eyetracking, dock har också ansökt om att undersöka talade språkförståelse under inspektion av objekt i världen (eller på en dator Visa2). I denna 'visuell värld' eye-tracking version styrs inspektion av objekt av språk. När comprehenders hör zebra, exempelvis sin inspektion av en zebra på skärmen tas att reflektera att de funderar på djuret. Vad är känd som den visuella värld paradigmen, en comprehender's ögon blick tas att återspegla talade språkförståelse och aktivering av associerade kunskaper (t.ex. lyssnare även inspektera zebra när de hör bete, som anger en åtgärd som utförs av zebra)2. Sådana inspektioner föreslår en systematisk koppling mellan språk-världen förbindelser och ögat rörelser2. Ett vanligt sätt att kvantifiera denna länk är genom att beräkna andelen ser till olika förutbestämda regioner på en skärm. Detta tillåter forskare att direkt jämföra (tillstånd, av deltagarna och objekt) mängden uppmärksamhet ges till olika objekt vid en viss tidpunkt och hur dessa värden förändras i millisekunds noggrannhet.
Forskning inom psykolingvistik har utnyttjat eye tracking i visuella världar att retas apart konkurrerande teoretiska hypoteser angående arkitekturen i åtanke1. Eye upptagningar på avbildade objekt, dessutom visat att comprehenders kan — förutsatt att ett tillräckligt restriktiv språkliga sammanhang — utföra inkrementella semantisk tolkning8 och även utveckla förväntningar om kommande karaktärer 9. sådana ögon blick data har också belyst en rad ytterligare förståelse processer, såsom lexikala tvetydighet resolution10,11, pronomen upplösning12, svenskspråkiga strukturella och tematiska roll tilldelning med hjälp av informationen i den visuella sammanhang13,14,16, och pragmatiska processer15, bland många andra4. Tydligt, ögonrörelser till objekt under språkförståelse kan vara informativ inblandad processer.
Eye-tracking metoden är icke-invasiv och kan användas med spädbarn, unga och äldre språk användare. En viktig fördel är att, till skillnad från punktuell Svaren till sonder eller svar knapptryckningar i verifiering uppgifter, det ger insikter över tid i en millisekunds noggrannhet i hur språk guidar uppmärksamhet och hur det visuella sammanhanget (i form av föremål, handlingar, händelser, en talares blick, och känslomässiga ansiktsuttryck, samt rumsliga objekt konfigurationer) bidrar till språkbearbetning. Kontinuiteten i åtgärden under meningen förståelse kompletterar väl med andra efter mening och efter experimentet åtgärder såsom från overt bild/video-meningen verifiering, förståelse frågor och minne minns uppgifter. Overt svaren i dessa uppgifter kan berika tolkningen av posten öga blick genom att ge inblick i resultatet av läsförståelse processen, minne och lärande2. Att kombinera eye tracking med dessa andra uppgifter har avslöjat i vilken utsträckning olika aspekter av det visuella sammanhanget modulera visuell uppmärksamhet och (omedelbar, samt fördröjd) förståelse över livslängden.
Presentation av språket (skriftliga eller muntliga) och scener kan vara antingen samtidigt eller sekventiellt. Exempelvis Knoeferle och medarbetare17 presenteras scenen 1000 ms innan den uttalad meningen, och det återstod närvarande under förståelse. De rapporterade bevis som clipart skildringar av åtgärd evenemang bidrar till att lösa lokala strukturella tvetydighet i tyska subjekt-verb-objekt (SVO) jämfört med objekt-verb-ämne (OVS) meningar. Knoeferle och Crocker18 presenteras en clipart scenen innan en skriftlig mening och testade en stegvis integrering av clipart händelser under meningen förståelse. De observerade inkrementell kongruens effekter, vilket innebär att deltagarnas läsning gånger av meningen väljare var längre när dessa omaka (vs. matchade) händelsen skildras i den föregående scenen. I en annan stimulans presentation variant, deltagarna först läsa en mening som beskriver en rumslig relation och sedan såg en scen av en viss rumsliga arrangemang som rör objektet teckningar19. Denna studie bedömde computational rumsliga språkmodeller förutsägelser genom att be deltagarna att betygsätta passformen meningen ges till scenen, med ögonrörelser registreras under scen förhör. Deltagarnas blick mönster var moduleras av formen på det objekt som de konfronterades med — delvis bekräftar modell förutsägelser och tillhandahålla uppgifter för modell förfining.
Medan många studier har använt clipart skildringar17,18,19,20,21,22,23, är det också möjligt att kombinera verkliga objekt, videor av dessa objekt eller statiska fotografier med talat språk1,21,24,25,26,46. Knoeferle och kollegor används en verkliga inställning24 och Abasjidze och kollegor används ett videofilmade presentationsformat för att pröva åtgärder händelser och spända effekter25. Varierande det exakta innehållet av scenerna (t.ex., som skildrar åtgärder eller inte)22,27,38 är möjligt och kan också avslöja visuella sammanhang effekter. En relaterad studie av Rodríguez och medarbetare26 undersökte påverkan av videoinspelade visuella kön ledtrådar på förståelsen av därefter fram talade meningar. Deltagarna tittade på video som visar antingen manliga eller kvinnliga händer utför ett stereotypt könsrelaterade åtgärd. Sedan hört de en mening om antingen en stereotypt manlig eller kvinnlig action-händelse medan samtidigt inspektera en display som visar två fotografier sida vid sida, en av en man och den andra en kvinna. Denna rika visuella och språkliga miljö tillät författarna att retas isär effekterna av språk-medierad stereotypa kunskap om förståelse från effekterna av visuellt presenterade (hand) kön ledtrådar.
En ytterligare tillämpning av detta paradigm har riktat utvecklingsmässiga förändringar i språkbearbetning. Ögonrörelser till objekt under talat språkförståelse visade effekterna av skildras händelser i 4 - 5 - åringar27,28 och i äldre vuxna29 i realtid, men något försenat jämfört med unga vuxna. Kröger och medarbetare22 undersökt effekterna av prosodisk cues och fall märkning inom ett experiment och jämfört dessa över experiment hos vuxna och barn. Deltagarna inspekterade en tvetydig åtgärd-event scenen medan du lyssnar på en relaterade otvetydigt fall-märkta tyska meningen. Ögonrörelser avslöjade att de distinkta prosodiska mönsterna hjälpte varken vuxna eller den 4 - eller 5-åringar när värdeposition vem-gör-vad-till-vem. Meningen-inledande fall märkning, påverkade dock vuxnas men inte barnens ögonrörelser. Detta tyder på att 5-åringar förståelse av mål märkning inte är tillräckligt robusta för att aktivera tematiska rolltilldelning (se studien Özge och medarbetare30), åtminstone inte när åtgärden händelser inte disambiguera tematiska roll förbindelser. Dessa resultat är intressant, med tanke på att de är i motsats till tidigare resultat av prosodisk effekter på tematiska roll uppdraget31. Kröger och medarbetare22 föreslås att (mer eller mindre stödjande) visuella samband ansvarar för kontrasterande resultaten. I den mån dessa tolkningar håller, belyser de rollen som sammanhang i språkförståelse över livslängden.
Eye-tracking metoden kombinerar väl med åtgärderna från bild - (eller video-) meningen verifiering uppgifter18,20,26, bild-bild verifiering uppgifter32, corpus studier24, värdering uppgifter19, eller efter experimentell recall uppgifter25,33. Abasjidze och kollaboratörer34 och Kreysa och medarbetare33 undersökt samspelet mellan högtalare blick och verkliga åtgärder videor34 och högtalare blick och åtgärd skildringar33, respektive, som ledtrådar för kommande meningen innehåll. Genom att kombinera spårning av ögon blick i en scen under språkförståelse med en efter experimentell minne uppgift, fick de en bättre förståelse för hur där lyssnarna uppfattning av en talares blick och de avbildade åtgärderna samverkar och påverkar både bearbetning av omedelbar språk och minne minns. Resultaten visade distinkta bidrag till åtgärder mot högtalare blick till realtid förståelse kontra efter experimentet minne minns processer.
Medan metoden eye-tracking kan vara sysselsatt med stor flexibilitet, är vissa standarder nyckeln. Följande protokoll sammanfattar en generaliserad procedur som kan anpassas till olika typer av frågeställningar enligt forskarnas specifika behov. Detta protokoll är ett standardiserat förfarande som anställd i psykolingvistik laboratorium vid Humboldt-Universität zu Berlin, liksom i den tidigare språk och kognition laboratorium på den kognitiva interaktion teknik Excellence kluster (CITEC) på Bielefeld-universitetet. Protokollet beskrivs en stationär och en fjärrinställning. Den senare rekommenderas för användning i studier med barn eller äldre vuxna. Alla experiment nämns i Representativa resultat Använd en eye tracker-enhet som har en samplingsfrekvens på 1000 Hz och används tillsammans med en huvud stabilisator, en dator för att testa deltagarna (Display PC) och en dator för att övervaka experimentet och deltagarnas ögonrörelser (värd PC). Den största skillnaden av denna enhet till dess föregångare är att det tillåter för kikare eye tracking. Protokollet är avsett att vara tillräckligt allmänna för användning med andra eye-tracking enheter som inkluderar en huvud stabilisator och använda en dual PC setup (värd + Display). Det är dock viktigt att komma ihåg att andra uppställningar kommer troligen att ha olika metoder för hantering av problem såsom kalibrering misslyckanden eller spår förlust, i vilket fall experimenter bör avse användaren manuell för sin specifika enhet.

<table border="0" cellpadding="0" cellspacing="0" width="1185">
	<tbody>
		<tr height="21">
			<td height="21" style="height:21px;width:476px;">Desktop mounted eye-tracker including head/chin rest</td>
			<td style="width:165px;">SR Research Ltd.</td>
			<td style="width:185px;">EyeLink 1000 plus</td>
			<td style="width:359px;">http://www.sr-research.com/eyelink1000plus.html</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;">Software for the design and execution of an eye-tracking experiment</td>
			<td>SR Research Ltd.</td>
			<td>Experiment Builder</td>
			<td>http://www.sr-research.com/eb.html</td>
		</tr>
	</tbody>
</table>

eye tracking during visually situated language comprehension: flexibility and limitations in uncovering visual context effects

Den nuvarande arbetet är en beskrivning och bedömning av en metodik för att kvantifiera olika aspekter av samspelet mellan språkbearbetning och uppfattningen av den visuella världen. Inspelningen av ögon-blick mönster har lämnat bra bevis för bidrag av både visuella sammanhang och språkliga/world kunskap till språkförståelse. Inledande forskning bedömdes objektkontext effekter att testa teorier om modularitet i språkbearbetning. I inledningen beskriver vi hur efterföljande undersökningar har tagit rollen i det större sammanhanget som visuella språk bearbetning som ett forskningsområde i sin egen rätt, ställa frågor så som hur våra visuell perception av händelser och högtalare bidrar till läsförståelse informerad av comprehenders' erfarenhet. Bland de undersökta aspekterna av det visuella sammanhanget är handlingar, händelser, en talares blick, och känslomässiga ansiktsuttryck, samt rumsliga objekt konfigurationer. Efter en översikt av eye-tracking metoden och dess olika tillämpningar listar vi de viktigaste stegen i metoden i protokollet, som illustrerar hur man framgångsrikt använder det för att studera visuellt-belägen språkförståelse. En sista avsnittet presenterar tre uppsättningar av representativa resultat och illustrerar fördelar och begränsningar av eye tracking för att undersöka samspelet mellan uppfattningen av den visuella världen och språket förståelsen.

En studie av Münster och medarbetare37 undersökt samspelet mellan meningsbyggnad, avbildas åtgärder och ansiktsbehandling känslomässiga signaler under språkförståelse. Denna studie är väl lämpad att illustrera fördelar och begränsningar av metoden, som visade både robust skildras åtgärder effekter och marginella ansiktsbehandling känslomässiga signaler på meningen förståelse. Författarna skapat 5 s videor i en kvinnas ansiktsuttryck som ändrats från en vilande position i en lycklig eller i ett sorgligt uttryck. De skapade också känslomässigt positivt valenced tyska objekt-Verb-Adverb-ämne (OVAdvS) meningar i formuläret ' [objekt/patientenackusativ] [Verb] [positiva Adverb] [ämne/agentnominativ].' Via positiv adverben, meningarna matchade 'glad' videon och missmatchad 'sad' video, tillåter i princip väntan på agenten (som log och beskrivs som agerar glatt av positiva adverben). Efter talaren video visades meningen med en av två versioner av en agent-patienten-distraktor clipart-scen. I en version skildrades agenten som utför nämnda åtgärden på patienten, medan tecknet distraktor framförde en annan åtgärd. Den andra scen versionen skildras inga åtgärder mellan tecknen. Ögonrörelser i scenen avslöjade verkningarna av åtgärderna och talarens ansiktsuttryck på meningen förståelse.
Åtgärd skildringen snabbt påverkas deltagarnas visuell uppmärksamhet, vilket innebär att deltagarna såg mer på agenten än på distraktor när nämnda åtgärden var (vs. var inte) skildras. Dessa ser ut var föregripande (dvs.som inträffat innan agenten nämndes), vilket tyder på att åtgärder skildringen klarläggs agenten innan meningen gjorde. Den tidigaste effekten av åtgärden skildringen framkom under verbet (dvsverbet medierad handling-associerade agenten). Däremot om den föregående talaren log eller såg olycklig hade ingen tydlig effekt på agent förväntan (figur 2). Sistnämnda resultatet kunde återspegla den lösare kopplingen mellan en talares leende och en positiv sentential adverben rör avbildade agentens åtgärd (jämfört med en direkt verb-action referens medla en action-associerade agent). Alternativt kan det vara specifika för uppgiften och stimulans presentationen: kanske känslor effekter skulle har varit mer uttalad i en mer socialt interaktiv uppgift eller i en som presenterar talarens ansikte under (snarare än innan) meningen förståelse. Dock presentera ett leende talarens ansikte under förståelse kan orsaka deltagarna att fokus i ansiktet på bekostnad av andra scen innehåll, kanske annars observerbara skymda av manipulerade variabler (Källa: opublicerade data).
I en ytterligare variant av paradigm frågade Guerra och Knoeferle32 om rumsliga-semantiska världsspråk relationer kan modulera förståelsen av abstrakt semantiska innehåll under behandlingen. Guerra och Knoeferle lånat idén från de konceptuella metafor teori38 att rumsliga avstånd (t.ex., närhet) grunder innebörden av abstrakt semantiska relationer (t.ex., likhet). I linje med denna hypotes samordnas deltagare Läs abstrakta Substantiv snabbare när de var liknande (vs. motsatt) i menande och hade föregåtts av en video förmedla närhet (vs. avstånd, spelkort flytta närmare grupp vs. längre ifrån varandra). I en andra uppsättning studier39beskrivs meningar interaktionen mellan två människor som intima eller ovänliga, ledande till upptäckten att videor av två kort närmar sig varandra skyndade upp läsningen av meningen regioner som förmedlas sociala närhet/intimitet. Observera att rumsliga avståndet påverkas meningen läsa snabbt och stegvis även när meningarna inte hänvisade till objekten i videon. Videor moduleras tydligt läsa gånger som en funktion av kongruens mellan rumsliga avstånd och semantiska samt sociala aspekter av meningen menande. Dessa effekter visades både i första-passage läsning gånger (varaktigheten av den första inspektionen av en förutbestämd meningen region) och den totala tid som tillbringas på molnlager meningen (se figur 3 för en illustration av resultaten från studierna av Guerra och Knoeferle)32. Analyserna visade emellertid också betydande variation mellan deltagarna, leder till slutsatsen att sådana subtila kort-avstånd effekter inte är lika robusta som effekterna av verbet-action förbindelser, för att nämna ett exempel.
En ytterligare uppsättning studier visar hur variation i meningsbyggnad kan hjälpa till att utvärdera allmängiltigheten av visuella sammanhang effekter. Abasjidze och kollaboratörer34 och Rodríguez och medarbetare26 undersökt effekterna av de senaste åtgärderna på den efterföljande behandlingen av talad dömer. I båda studierna deltagare först inspekterade en action video (t.ex., en försöksledaren smaktillsats gurkor, eller kvinnliga händer baka en tårta). Nästa, de lyssnade till en tysk mening som antingen var relaterade till den senaste åtgärden eller till en annan åtgärd som kan utföras nästa (smaktillsats tomater34, bygga en modell26). Under fattningsförmåga, deltagarna inspekterade en scen som visar två objekt (gurkor, tomater)34 eller två fotografier av agent ansikten (en kvinnlig och en manlig agent ansikte, namnet 'Susanna' och 'Thomas', respektive)26. I studien av Abasjidze och medarbetare34, talaren omnämnt av försöksledaren och sedan verbet (t.ex., smakämnen), framkalla förväntningar om ett tema (t.ex., gurka eller tomaterna). I studien av Rodríguez och medarbetare26, talaren omnämnt ett tema (kakan), och sedan verbet (bakning), framkalla förväntningar om agenten av åtgärden (kvinnliga: Susanna, eller man: Thomas, skildras via bilder av en kvinnliga och en manlig ansikte).
I båda studierna var frågan huruvida personer (visuellt) skulle föregripa tema/agenten senaste åtgärd händelsen eller andra tema/agent baserad på ytterligare kontextuella ledtrådar som lämnats under förståelse. I Abasjidze och medarbetare34, de experimenter's blick cued den framtida temaobjekt (tomater) från uppkomsten av verbet (bokstavligt översatt från tyska: 'experimenter-agenten smaker snart...'). Rodríguez och medarbetare26, kön kunskap om stereotypa åtgärder blev tillgängligt när temat och verbet nämndes (t.ex., den bokstavliga översättningen av de tyska stimuli var: 'cake-temat bakar snart...'). I båda uppsättningar av studier inspekterade deltagarna prioriterat mål/agent för den senaste åtgärden (gurkor34 eller Susanna26) över alternativa (framtid/other-genus) målet (tomater34 eller Thomas26) under meningen.
Denna så kallade 'senaste-event preferens', verkar således vara robust över betydande variation i meningsbyggnad och experimentella material. Det var moduleras, dock av visuella begränsningar från den samtidiga scen26, sådan att presentera rimliga fotografier av verbet teman i tillägg till könade fotografier av agenter minskat beroendet av händelserna nyligen-inspekteras åtgärder och modulerade uppmärksamhet som utifrån genus-stereotyp kunskap förmedlas av språk. Figur 4 illustrerar de viktigaste resultaten av experimenten av Rodríguez och medarbetare26.
Medan denna version av visual-världen paradigm gett robusta resultat, har andra studier belyst komplexiteten (och begränsningarna) förbinder hypotesen. Burigo och Knoeferle20 avslöjat att deltagarna — när du lyssnar på yttranden såsom dö Box ist über der Wurst ('rutan är ovanför korven') — mestadels följt utterancen inspekterar clipart skildringar av dessa objekt. Men på en del av prövningar, deltagarnas blick frikopplat från vad nämndes. Då höra 'korv' och efter att ha inspekterat korven minst en gång, deltagarnas nästa kontroll tillbaka till rutan på cirka 21% av prövningar i speedad verifiering (Experiment 1) och i 90% av prövningar i efter meningen verifiering ( Experiment 2). Denna blick mönster föreslår att hänvisningen (hörsel ' korv') guidade endast vissa (inspektera korven) men inte alla ögon rörelser (inspektera rutan). Denna typ av design kan användas att retas apart lexikala-refererande processer från andra (inklusive meningen-nivå tolkningsmeddelande) processer. Forskare måste dock vara försiktig när att göra påståenden om olika nivåer av språklig bearbetning baserat på relativa skillnader i ögonrörelser proportioner, ges tvetydigheten i länka ögon blick till kognitiva och förståelse processer.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/57694/57694fig1v3.jpg"> Figur 1: översikt över data collection miljön. Diagrammet visar hur de olika programvara och hårdvara element används för datainsamling och förbehandling förhåller sig till varandra. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig1v3large.jpg" target="_blank">Klicka här för att se en större version av denna siffra.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/57694/57694fig2.jpg"> Figur 2: Representativa resultat i Münster och medarbetare37. Dessa paneler relationstal för-ämne menar log-blicken sannolikheten per tillstånd i regionen verb (för åtgärden avbildade) och verb-adverb regionen kombinerat (för effekten av känslomässiga prime). Resultaten visar en betydligt högre andel av blickar mot målbilden när den åtgärd som nämns i meningen var avbildad än när det inte var avbildas. Resultaten för effekten av känslomässiga ansiktsbehandling primtal var mindre övertygande: de föreslår endast en liten ökning i medelvärdet-log förhållandet ser till målet när ansiktet prime hade en positiv känslomässig valence (ett leende) än när det hade en negativ valence (ett sorgset ansikte). Felstaplar representera standardavvikelsen för medelvärdet. Denna siffra har ändrats från Münster o.a. 37. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig2large.jpg" target="_blank">vänligen klicka här för att visa en större version av denna siffra.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/57694/57694fig3v2.jpg"> Figur 3: Representativa resultat av Guerra och Knoeferle32. I denna panel visas medelvärdet presystemisk läsning tider (i millisekunder) av (dis) likheten adjektivet. Resultaten visar kortare läsning tider för likheten meningar efter att se två spela kort flytta närmare varandra jämfört med längre ifrån varandra. Felstaplar representera standardavvikelsen för medelvärdet. Denna siffra har ändrats från Guerra och Knoeferle32. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig3v2large.jpg" target="_blank">Klicka här för att se en större version av denna siffra.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/57694/57694fig4v3.jpg"> Figur 4: Representativa resultat av Rodríguez och medarbetare26. I denna panel visas av-ämne menar log blicken sannolikhet nyckeltal per tillstånd i regionen verb. Proportionerna av ser ovan 0 Visa en preferens för agent målbilden och proportioner under 0 visar en preferens för konkurrent agent bilden. Resultaten visar att deltagarna var mer benägna att inspektera agent målbilden när objektet och verbet nämns i meningen matchade föregående videofilmade händelser än när de inte gjorde. Dessutom fanns det fler ser mot agent målbilden när gäller åtgärd meningen överensstämde med könsstereotyper. Felstaplar representera standardavvikelsen för medelvärdet. Denna siffra har ändrats från Rodríguez m.fl. 26. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig4v3large.jpg" target="_blank">vänligen klicka här för att visa en större version av denna siffra.</a>

Watch this Scientific Journal Video about Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects at JoVE.com

Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects

Eye Tracking under visuellt ligger språkförståelse: Flexibilitet och begränsningar i avslöjande visuella sammanhang effekter

Denna artikel recensioner en eye-tracking metodik för studier på språkförståelse. För att erhålla tillförlitliga uppgifter, måste viktiga steg i protokollet följas. Bland dessa finns de korrekt uppbyggnaden av eye tracker (t.ex., säkerställa en god kvalitet av ögat och huvudet bilderna) och korrekt kalibrering.

The present work is a description and an assessment of a methodology designed to quantify different aspects of the interaction between language processing ...

Denna metod kan hjälpa till att besvara viktiga forskningsfrågor i psykolingvistik när det gäller de mentala processer som är inblandade i språkförståelse. Fördelen med denna teknik är att det ger en visuell uppmärksamhet index med hög tidsmässig upplösning, inriktad på examen förhållandet mellan den visuella världen och språkbehandling. Individer nya till denna metod kan kämpa eftersom protokollet måste utföras med en hög grad av precision.Visuell demonstration av den här metoden är avgörande eftersom korrekt implementering av metoden ofta kräver ad hoc-felsökning. För att bestämma den okulära dominansen, be deltagaren att sträcka ut en arm och att rikta tummen med ett avlägset objekt med båda ögonen öppna. Ha deltagaren suppleant stängning varje öga.Det dominerande ögat är det öga för vilket tummen förblir i linje med objektet när det ögat är öppet. Sedan, be deltagaren att sitta vid bordet med hakan på hakan vila och pannan mot pannstödet. Klicka därefter på bild för att visa PC. En stor och två mindre bilder av deltagarens ögon ska visas.Använd tangentbordets piltangenter för att välja en av de mindre dominerande ögonbilderna och tryck på A för att centrera sökgränserna rutan på elevpositionen. En röd fyrkant ska visas runt ögat med en turkos cirkel nära pupillens botten. Själva eleven ska vara blå.Bekräfta närvaron av två hårkors på skärmen, en i mitten av eleven och en i mitten av hornhinnans reflektion. Justera storleken på hornhinnans reflektion är avgörande. Det är grunden för en bra kalibrering av ögat tracker.Vrid manuellt fokus linsen för att justera kameran som behövs, var noga med att inte röra framsidan av linsen tills hornhinnans reflektion är så liten som möjligt. Tryck sedan på A för att automatiskt ställa in pupill- och hornhinnetrösklarna på värddatorn så att hela pupillen och endast eleven är blå. För att kalibrera ögat tracker, be deltagaren att titta på de fyra hörnen av skärmen en i taget med kameran inställningsfönstret i sikte medan noggrant letar efter eventuella oregelbundna reflektioner som stör hornhinnans reflektion när deltagaren blick riktas mot hörnet.Om den röda rutan runt ögat eller något av hårkorset inte syns vid någon punkt, har deltagaren först titta på mitten av skärmen och sedan till problematiska hörnet för att avgöra källan till problemet. Justera positionen för deltagarens huvud för att kontrollera om detta ger någon förbättring. Därefter informera deltagaren om att eye tracker kommer att kalibreras och att de är att fixera på den lilla grå pricken inom en större svart cirkel som cirkeln flyttas till olika delar av skärmen.När deltagaren är redo, klicka på kalibrera för att påbörja nio punkt kalibreringsprocessen, trycka på enter efter deltagaren har noggrant fixerade på den första pricken i mitten av skärmen för en automatisk kalibrering. I slutet av kalibreringsprocessen bör ett nästan rektangulärt mönster vara synligt på experimentörens skärm som representerar synstögatmönster hos deltagaren. Resultaten av en bra kalibrering kommer att markeras i grönt.För att validera resultaten, be deltagaren upprepa proceduren, påminna deltagaren att titta på pricken och att förbli stilla. Klicka på validera och ange för att acceptera varje fixering. Resultaten kommer att visas på värddatorns bildskärm.Notera de genomsnittliga och maximala felen. Dessa data representerar de grader som den spårade bilden avviker från deltagarens faktiska blickposition. Om det genomsnittliga felet är över 0,5 grader och/eller det maximala felet är över en grad, har deltagaren justera huvudets position och starta om kalibreringsproceduren.Att hålla den maximala felfrekvensen under en grad är avgörande för högkvalitativ datainsamling. Observera att dessa är tröskelvärdena för att spåra blicken till relativt stora objekt under talad språkförståelse. Trösklarna för ögonspårning under läsning är ännu lägre.Efter ett lyckat slutförande av kalibreringsprocessen klickar du på utdataposten för att påbörja experimentet. Som ett exempel för att spåra ögonrörelser under belägen läsning, visar först två spelkort som rör sig antingen närmare varandra eller längre ifrån varandra. Sedan har deltagaren läst en mening om två begrepp som är representerade som liknande eller olik varandra för att bedöma om avståndet mellan korten kan modulera förståelsen av likhet i språket.Som ett exempel för inspelning av ögonrörelser under auditiv språkförståelse, först visa deltagaren en video av en händelse av intresse. Visa sedan deltagaren en målscen som innehåller bilderna av agenten och objekten från videon, och en agent av motsatt kön plus bilden av ett annat objekt. Spela samtidigt upp en mening som beskriver en händelse som antingen matchar eller inte matchar föregående video för att bedöma i vilken utsträckning könet på en agent händer med i tidigare händelser kan påverka vilket ansikte från målscenen deltagaren kommer att förutse under talad förståelse.I denna representativa läsning eye tracking experiment, medelvärdet första passera läsning gånger likhet adjektiv var kortare för likhet meningar efter att ha observerat två spelkort som rör sig närmare varandra jämfört med när korten flyttades längre ifrån varandra. Här visar en analys av medelvärdet log gaze ratios under verbregionen för ett auditivt förståelsetest att deltagarna var mer benägna att inspektera bilden av agenten vars kön matchade händelser i en tidigare visad video när objektet och verbet som nämns i den efterföljande meningen var kongruenta med videon och stereotypiskt matchade detta ombud än när de inte matchade på dessa två dimensioner. Samtidigt som du utför detta förfarande är det viktigt att komma ihåg att precision i genomförandet av varje steg är avgörande för högkvalitativ datainsamling.På så sätt kan vi få insikter i i vilken utsträckning bildkontexter stegvis modulerar språkförståelse i realtid. Åtgärder efter meningen eller efter experimentet, som svarstider och noggrannhet, eller data från andra offlinetester kan berika de insikter som kan fås från åtgärder för onlinefixering. Denna teknik har gjort det möjligt för psykolinguister att undersöka de mentala representationer och realtidsprocesser inblandade i språkförståelse.

Research

JoVE Journal

Behavior

Using Eye Movements to Evaluate the Cognitive Processes Involved in Text Comprehension

Använda ögonrörelser för att utvärdera de kognitiva processerna som är involverade i textförståelse

The present article describes how to use eye  tracking methodologies to study the cognitive processes involved in text  comprehension. Measuring eye ...

A Method to Quantify Visual Information Processing in Children Using Eye Tracking

En metod för att kvantifiera Visual Information Processing i barn som använder Eye Tracking

Visual problems that occur early in life can have major impact on a child's development. Without verbal communication and only based on observational ...

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

Med ögonrörelser registreras i den visuella värld paradigmen att utforska Online bearbetning av talat språk

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Eye-tracking to Distinguish Comprehension-based and Oculomotor-based Regressive Eye Movements During Reading

Eye-tracking att skilja förståelse- och ögonmuskelförlamningar-baserade regressiva ögonrörelser under behandlingen

Regressive eye movements are eye movements that move backwards through the text and comprise approximately 10-25% of eye movements during reading. As ...

Using the Visual World Paradigm to Study Sentence Comprehension in Mandarin-Speaking Children with Autism

Med den visuella världen paradigmen att studera meningen förståelse i Mandarin-talande barn med Autism

Sentence comprehension relies on the ability to rapidly integrate different types of linguistic and non-linguistic information. However, there is ...

Gaze in Action: Head-mounted Eye Tracking of Children's Dynamic Visual Attention During Naturalistic Behavior

Blicka ut i aktion: huvud-monterad Eye Tracking av barnens dynamiska visuella uppmärksamhet under naturalistiska beteende

Young children's visual environments are dynamic, changing moment-by-moment as children physically and visually explore spaces and objects and interact ...

Decomposing the Variance in Reading Comprehension to Reveal the Unique and Common Effects of Language and Decoding

Ruttnande variansen i läsförståelse att avslöja de unika och gemensamma effekterna av språk och avkodning

The Simple View of Reading is a popular model of reading that claims that reading is the product of decoding and language, with each component uniquely ...

Simultaneous Eye Tracking and Single-Neuron Recordings in Human Epilepsy Patients

Samtidig öga spårande och enkel-neuron inspelningen i mänsklig epilepsi patienten

Intracranial recordings from patients with intractable epilepsy provide a unique opportunity to study the activity of individual human neurons during ...

Investigating the Deployment of Visual Attention Before Accurate and Averaging Saccades via Eye Tracking and Assessment of Visual Sensitivity

Utreda utplaceringen av visuell uppmärksamhet innan korrekt och genomsnitt Saccades via Eye Tracking och bedömning av visuella känslighet

This experimental protocol was designed to investigate whether visual attention is obligatorily deployed at the endpoint of saccades. To this end, we ...

Defining the Role Of Language in Infants' Object Categorization with Eye-tracking Paradigms

Definiera språkens roll i spädbarns objekt kategorisering med Eye-tracking paradigm

Assessing infant category learning is a challenging but vital aspect of studying infant cognition. By employing a familiarization-test paradigm, we ...