Method Article
המאמר הנוכחי ביקורות מתודולוגיה עקיבה במחקרים על השפה והבנת הנקרא. כדי לקבל מידע אמין, השלבים החשובים של הפרוטוקול חייב להיות במעקב. בין אלה הן הסידור הנכון של העין המטייל (למשל, הבטחת איכות טובה של תמונות העין והראש) לבין כיול מדויק.
העבודה הנוכחית היא תיאור הערכה של מתודולוגיה שנועד לכמת היבטים שונים של האינטראקציה בין עיבוד שפה ותפיסת העולם החזותי. ההקלטה של דפוסי מבט עין סיפק הוכחה טובה התרומה של הקשר חזותי והן הידע הלשוני/העולם כדי הנקרא בשפה. מחקר ראשוני העריכו אובייקט-ההקשר אפקטים כדי לבדוק את התיאוריות של מודולריות בעיבוד שפה. במבוא, נתאר כמה חקירות הבאים לקחת את התפקיד של הקשר חזותי רחב יותר בשפה עיבוד כתחום מחקר בפני עצמו, לשאול שאלות כאלה איך שלנו התפיסה החזותית של אירועים ושל הרמקולים תורמת הבנת הנקרא הודיע על ידי הניסיון של comprehenders. בין ההיבטים שנבדקו של הקשר חזותי הם פעולות, אירועים, של רמקול מבט, הבעות פנים רגשיות, וכן תצורות מרחביות. בעקבות סקירה של השיטה עקיבה ויישומים שונים שלה, אנחנו ברשימה את השלבים החשובים של המתודולוגיה בפרוטוקול, הממחישות כיצד להשתמש בהם בהצלחה ללמוד שפה חזותית-ממוקם בהבנת הנקרא. מקטע הסופי מציג שלושה סטים של התוצאות נציג, ממחיש את יתרונותיה וחסרונותיה של העין מעקב על חקירת יחסי הגומלין בין התפיסה של ההבנה עולם ושפה חזותית.
מחקר psycholinguistic הדגישה את החשיבות של תנועות עיניים ניתוחים להבנת התהליכים ערבו בהבנת השפה. הליבה של מסיקה תהליכי הבנת הנקרא מהרשומה המבט הוא השערה המקשרת קוגניציה תנועות העין5. ישנם שלושה סוגים עיקריים של תנועות עיניים: saccades vestibulo-העינים תנועות, תנועות חלקות רדיפה. Saccades הן תנועות בליסטי ומהירה לקרות בעיקר באופן לא מודע, אמינה קושרו עם משמרות תשומת לב6. הרגעים של המבט היחסית יציבות בין saccades, המכונה הקיבועים, נחשבים האינדקס הנוכחי תשומת לב. מדידת מיקומה של הקיבועים ומשך שלהם ביחס תהליכים קוגניטיביים המכונה שיטת' עקיבה'. יישומי מוקדם של שיטה זו שימש לבחינת הבנת הנקרא בהקשרים לשונית בלבד (ראה ריינר7 לסקירה). בגישה הזאת, משך הזמן של בדיקת אזור מילה או משפט משויכת עיבוד קושי. העין מעקב, עם זאת, היה גם להחיל כדי לבחון את השפה המדוברת הבנה במהלך הבדיקה של אובייקטים בעולם (או במחשב להציג2). בגירסה עקיבה זו 'העולם החזותי' ', הבדיקה של אובייקטים מונחה על ידי השפה. מתי comprehenders שומעת הזברה, למשל, את הבדיקה של זברה על המסך נלקח כדי לשקף כי הם חושבים על החיה. ב מה שמכונה הפרדיגמה העולם הויזואלי, מבט עין של comprehender נלקח כדי לשקף את השפה המדוברת להבנה והפעלה של ידע הקשורים (למשל, המאזינים לעיין גם הזברה כשהם שומעים מרעה, המציין פעולה המבוצעת על ידי הזברה)2. בדיקות כאלה מראים קשר שיטתי בין תנועות העין2ויחסי שפה-העולם. דרך נפוצה לכמת קישור זה היא על ידי חישוב היחס של מבטים לאזורים שונים שנקבע מראש על גבי מסך. זה מאפשר לחוקרים ישירות משווים (בין תנאים, על ידי המשתתפים ופריטים) כמות מתשומת אובייקטים שונים בכל זמן מסוים, כיצד לשנות ערכים אלה ברזולוציה של אלפיות השנייה.
במחקר פסיכובלשנות יש לנצל את העין מעקב עולמות חזותיים להתגרות בנפרד וההשערות תיאורטי מתחרות לגבי הארכיטקטורה של המוח1. עין הקיבועים באובייקטים מתוארים, יתר על כן, חשפו כי comprehenders יכול – בהנחה הקשר לשוני מספיק מגבילות — לבצע פרשנות סמנטי מצטבר8 , אפילו לפתח ציפיות בנוגע הקרובה תווים 9. נתונים כגון מבט עין יש גם לשפוך אור על מגוון נוסף הנקרא תהליכים, כגון עמימות לקסיקלית רזולוציה10,11, כינוי גוף רזולוציה12, את פירושונים בתפקיד נושאיות מבניים הקצאה לפי פירושו של מידע הקשר חזותי13,14,16, וכן תהליכי פרגמטי15, בקרב רבים אחרים4. בבירור, תנועות עיניים לאובייקטים במהלך ההבנה שפה יכול להיות אינפורמטיבי של התהליכים ימצא...
השיטה עקיבה אינה פולשנית, ניתן להשתמש עם תינוקות, משתמשים בשפה צעירים, ומעלה. יתרון מפתח זה, בניגוד punctate התגובות הגששים או בתגובה ללחיצות במשימות אימות, הוא מספק תובנות לאורך זמן ברזולוציה של מילי שניות לתוך איך השפה מנחה ותשומת לב, איך הקשר חזותי (בצורה של חפצים, פעולות, אירועים, של רמקול מבט, הבעות פנים רגשיות, וכן ואובייקטים מרחביים תצורות) תורם עיבוד שפה. ההמשכיות של המדד במהלך המשפט הנשמע משלים היטב עם משפט שלאחר וניסוי שלאחר אמצעים אחרים כגון אימות תמונה/וידאו-משפט עבירה, בהבנת הנקרא, משימות האחזור זיכרון. תגובות עבירה במשימות אלה ניתן להעשיר את הפרשנות של הרשומה מבט עין על-ידי מתן תובנה התוצאה של תהליך הבנת הנקרא, זיכרון, למידה2. שילוב של העין מעקב אלה לפעילויות אחרות חשף במידה אילו היבטים שונים של הקשר חזותי לווסת תשומת לב והבנה (מיידית, כמו גם מושהית) על פני תוחלת החיים.
המצגת של השפה (מדוברת או בכתב) ואת סצינות יכול להיות בו זמנית או רציפים. למשל, Knoeferle, משתפי פעולה17 הציגה את הסצנה ms 1000 לפני הקראת פסק הדין המדובר, נותרה נוכח בזמן בהבנת הנקרא. הם דיווחו ראיות שתורמים אוסף תמונות תיאורים של פעולה אירועים עד הרזולוציה של עמימות מבניים המקומי גרמני נושא-פועל-אובייקט (סקאבו) לעומת משפטים אובייקט-פועל-נושא (OVS). Knoeferle, קרוקר18 הציג קטע אוסף תמונות לפני משפט בכתב ונבדק השילוב מצטבר של אוסף תמונות אירועים במהלך המשפט הנשמע. הם נצפו תופעות חפיפה מצטבר, כלומר כי פעמים המשתתפים הקריאה של משפט המרכיבים היו יותר כאשר אלה תואמים (לעומת מתאימים) האירוע המתואר בזירה הקודמת. גרסה נוספת של המצגת גירוי, המשתתפים תחילה לקרוא משפט שיתאר יחסים מרחביים, ואז ראה קטע של סידור מרחבי מסוים מעורבים אובייקט לרישומי קו19. מחקר זה העריך הנבואה של השפה המרחבית חישובית מודלים בלשאול את המשתתפים כדי לדרג את ההתאמה של גזר הדין שגבה את הזירה, על תנועות העין מוקלט במהלך החקירה סצנה. דפוסי מבטו המשתתפים היו מווסת על ידי צורת האובייקט שעליו הם נתקלו — חלקית המאשרת את תחזיות מודל, אספקת נתונים עבור דגם עידון.
בעוד מחקרים רבים השתמשו אוסף תמונות תיאורים17,18,19,20,21,22,23, זה גם אפשרי לשלב בין העולם האמיתי אובייקטים, קטעי וידאו של אובייקטים אלה, או צילומים סטטיים עם השפה המדוברת1,21,24,25,26,46. Knoeferle ועמיתיו השתמשו הגדרה בעולם האמיתי של24 , אבשידזה ועמיתיו השתמשו תבנית מצגת מצולמים לבחינת אירועים פעולה, תופעות מתוח25. שונות לתוכן מדויק הסצנות (למשל, המתארים פעולות או לא)22,27,38 הינה אפשרית, גם יכול לחשוף את השפעות הקשר חזותי. מחקר הקשורות רודריגס, משתפי פעולה26 חקר השפעת מיגדריים חזותי מצולמים על ההבנה של לאחר מכן הציג משפטים המדוברת. המשתתפים צפו קטעי וידאו הצגת הידיים זכר או נקבה ביצוע פעולת הקשורות למין קיבוצניק. לאחר מכן, הם שמעו משפט גם על אירוע פעולה קיבוצניק זכר או נקבה תוך בו זמנית פיקוח תצוגה מציג שתי תמונות בצד אחד של אדם והשני של אישה. זה חזותי עשיר בסביבה לשונית מותר המחברים להתגרות לגזרים את ההשפעות של בתיווך שפה סטריאוטיפי ידע הבנה מן ההשפעות של המקלות מגדר הציג באופן חזותי (יד).
יישום נוסף של הפרדיגמה הזאת יש לפלח שינויים התפתחותיים עיבוד שפה. תנועות עיניים לאובייקטים במהלך השפה המדוברת הבנה חשף את ההשפעות של מתוארים אירועים 4 - 5 - בני27,28 מבוגרים בוגרים29 בזמן אמת, אבל קצת מתעכבת לעומת מבוגרים צעירים. Kröger, משתפי פעולה22 בחן את ההשפעות של רמזים פרוזודיות ומקרה סימון במסגרת ניסוי, והשוו אותם לאורך ניסויים אצל מבוגרים וילדים. המשתתפים בדק זירת פעולה רב-משמעית-אירוע בעת האזנה משפט הקשורים גרמני חד משמעית בתיק המסומן. תנועות עיניים חשף תבניות פרוזודיות ברורים עזר המבוגרים וגם את 4 או 5-בני כאשר יחודיים מי-זה-מה-כדי-מי. גזר דין-ראשוני בתיק המסומן, עם זאת, השפיע על מבוגרים אבל לא תנועות עיניים לילדים. הדבר מצביע על 5 בני של ההבנה של סימון במקרה זה, לא מספיק חזקים כדי לאפשר הקצאת תפקיד נושאיות (ראה את המחקר על ידי והמנהל, משתפי פעולה30), לפחות לא כאשר אירועים פעולה? האם לא לחדד יחסי תפקיד נושאיות. תוצאות אלו מעניינים, בהתחשב בכך שהם הם לעומת התוצאות הקודמות של השפעות פרוזודיות על הקצאת תפקיד נושאיות31. Kröger, משתפי פעולה22 הציע הקשר חזותי (פחות או יותר תומכת) אחראי על הממצאים מנוגדים. כך פרשנויות אלו מחזיקים, הם מדגישים את התפקיד של ההקשר בהבנת השפה ברחבי תוחלת החיים.
השיטה עקיבה משלבת היטב עם האמצעים של התמונה (או הסרטונים) משפט אימות משימות18,20,26, תמונה תמונה אימות משימות32, קורפוס מחקרים24, דירוג משימות19, או האחזור פוסט נסיוני משימות25,33. אבשידזה, משתפי פעולה34 , Kreysa, משתפי פעולה33 חקר הגומלין של רמקול המבט, פעולה אמיתיים סרטונים34 / רמקול המבט, פעולה תיאורים33, בהתאמה, כפי כשמתרחשים תוכן המשפט הקרובה. על ידי שילוב המעקב של מבט עין בסצינה במהלך שפה הבנה עם פעילות זיכרון שלאחר הניסוי, הם השיגו הבנה טובה יותר של הדרך שבה במודעותם של המאזינים של המבט של רמקול והפעולות מתוארים אינטראקציה ומשפיעים על שניהם עיבוד שפה מיידית, זיכרון האחזור. התוצאות חשף את התרומה ברורים של פעולות מול רמקול מבטו כדי הנקרא בזמן אמת מול תהליכי זיכרון שלאחר הניסוי האחזור.
בעוד השיטה עקיבה יכול להיות מועסק עם גמישות רבה, בתקנים מסוימים הם המפתח. להלן כללי התנהגות מסכמת הליך כללית ניתן להתאים לסוגים שונים של שאלות המחקר על פי הצרכים הספציפיים החוקרים. פרוטוקול זה הוא הליך מתוקננת המועסקים במעבדה פסיכובלשנות בשעה זו אוניברסיטת הומבולדט בברלין, כמו גם את השפה ואת קוגניציה מעבדה-קוגניטיבית אינטראקציה טכנולוגיה מצוינות אשכול (CITEC)-לשעבר בילפלד האוניברסיטה. הפרוטוקול מתאר שולחני התקנה מרחוק. האחרון הוא מומלץ לשימוש מחקרים עם ילדים או מבוגרים. כל הניסויים שצוין בתיבה על התוצאות נציג להשתמש בהתקן המעקב העין אשר קצב הדגימה של 1,000 הרץ משמש יחד עם מייצב ראש, מחשב לבדיקת המשתתפים (צג מחשב), מחשב עבור ניטור הניסוי ו תנועות עיניים של המשתתפים (מחשב מארח). ההבדל העיקרי של המכשיר הזה לקודמו הוא שהוא מאפשר מעקב עין דו-עינית. הפרוטוקול נועד להיות מספיק כלליות לשימוש עם התקני עקיבה אחרים לכלול מייצב ראש, או לעשות שימוש מחשב כפול התקנה (מארח + תצוגה). עם זאת, חשוב לזכור כי כיוונונים אחרים סביר להניח יש שיטות שונות לטיפול בבעיות כגון כיול כשלים או אובדן המסלול, שבו במקרה הנסיין צריך להפנות למשתמש ידנית של המכשיר הספציפי שלהם.
פרוטוקול זה עוקב אחר ההנחיות אתיקה של המוסד שבו הנתונים נאספו, קרי, קוגניטיבית אינטראקציה עם טכנולוגיית מצוינות אשכול (CITEC) של בילפלד ואוניברסיטת הומבולדט זו ברלין. הניסויים שנערכו באוניברסיטת בילפלד אושרו בנפרד על-ידי ועדת האתיקה של האוניברסיטה בילפלד. המעבדה פסיכובלשנות בשעה זו אוניברסיטת הומבולדט בברלין יש פרוטוקול אתיקה מעבדה שאושרה על-ידי ועדת האתיקה של דויטשה בווריה לדנציג Sprachwissenschaft, החברה בלשנות הגרמנית (DGfS).
1. שולחן עבודה
הערה: להלן השלבים המפתח בניסוי עקיבה.
2. ההתקנה מרחוק: התאמת ההגדרה ללימודים עם מבוגרים וילדים
הערה: סעיף זה מתאר רק את ההבדלים בין התקנה מרחוק, סידור שולחן העבודה כפי שמתואר בשלב 1. נקודות לא נאמר במפורש כאן צריך להיות ההנחה תהיה זהה ההליך המתואר בשלב 1.
3. התאמת ההגדרה עבור קריאת מחקרים
הערה: כאשר חוקרים השפעות הקשר חזותי על הקריאה, יש צורך לב במיוחד לתהליכים כיול וכיול מחדש. לעומת העולם הויזואלי מחקרים, העין מעקב במהלך הקריאה דורשת רמה גבוהה יותר של דיוק המכשיר, נתן את הדיוק הנחוצה כדי לעקוב אחר דפוסי הקריאה מילה במילה ו---למכתב.
מחקר על ידי מינסטר, משתפי פעולה37 חקר יחסי הגומלין של מבנה המשפט, מתואר פעולות, סבר פנים רגשית במהלך השפה והבנת הנקרא. מחקר זה הוא מתאים היטב כדי להמחיש את יתרונות ומגבלות של השיטה, כמו זה הראה שניהם חזקים מתואר אפקטים פעולה ואפקטים שולית של הפנים סימנים רגשיים על משפט הנשמע. המחברים יצר 5 סרטונים s של הבעת פנים של אישה ששינה את מעמדה מנוחתו לתוך שמח או עצובות. הם גם יצרו רגשית חיובית valenced הגרמני אובייקט-פועל-הפועל-נושא (OVAdvS) משפטים של הטופס ' [אובייקט/מטופלהתיק accusative] [פועל] [הפועל חיובי] [נושא/סוכןגוף שני במקרה].' דרך הפועל חיובית, המשפטים הוידאו "מאושר" ושה תואמים את הווידאו "עצוב", המתיר בציפייה עיקרון של הסוכן (מי חייכה אשר תוארה להתנהג בשמחה על ידי הפועל חיובי). בעקבות הרמקול וידאו, המשפט הופיע באחד שתי גרסאות של סצנה הסוכן-החולה-distractor אוסף תמונות. בגירסה אחת, הסוכן תוארה ביצוע הפעולה שהוזכרו על המטופל, ואילו הדמות distractor לבצע פעולה שונה. הגרסה השנייה של זירת מתואר אין פעולות בין התווים. תנועות עיניים בזירה חשף את ההשפעות של הפעולות ואת הבעת פנים של הדובר על משפט הנשמע.
תיאור פעולת משליכה תשומת לב ויזואלית המשתתפים, כלומר כי המשתתפים נראה יותר הסוכן מאשר distractor כאשר הפעולה שהוזכרו (לעומת לא היה) מתואר. המבטים האלו היו לסולמות (קרי, המתרחשת לפני הסוכן הוזכר), רומז כי תיאור פעילות מובהר הסוכן לפני גזר הדין. האפקט המוקדם של ייצוגי פעולה צמחו במהלך הפועל (קרי, הפועל מתווכת את הסוכן הקשורים פעולה). לעומת זאת, אם הדובר הקודם חייכה או נראה עצוב היה אין השפעה ברורה על הציפייה הסוכן (איור 2). התוצאה השנייה יכול לשקף את הקישור יותר קלוש בין החיוך של רמקול של הפועל sentential חיוביים הנוגעים הפעולה של הסוכן מתוארים (בהשוואה עם הפניה ישירה פועל פעולה מתווכים סוכן הקשורים פעולה). לחלופין, זה יכולה להיות ספציפית על המצגת גירוי של פעילות: אולי אפקטים רגש יש כבר יותר מבוטא פעילות אינטראקטיבית יותר חברתית או בכל אחד מציג את הפנים במהלך (ולא לפני) משפט הנשמע הדובר. עם זאת, מציג את הפנים המחייכות של רמקול במהלך הבנה עלול לגרום המשתתפים להתמקד על הפנים על חשבון תוכן למקום אחר, אולי השפעת המשתנים מניפולציה אחרת הנצפה מיסוך (מקור: נתונים שלא פורסמו).
וריאציה נוספת של הפרדיגמה, ביקש גוארה, Knoeferle32 אם יחסי העולם בשפה מרחבית-סמנטי יכול לווסת להבנתם של תוכן סמנטי מופשט במהלך הקריאה. גוארה, Knoeferle שאול את הרעיון תורת מטאפורה רעיונית38 מרחק המרחבי (למשל, קרבה) מקרקע את המשמעות של יחסים סמנטיים מופשט (למשל, דמיון). בקנה אחד עם השערה זו, קרא למשתתפים מתואמת שמות עצם מופשטים מהר יותר כאשר הם היו דומים (לעומת הנגדי) במובן ולפניו היה כבר קרבה שינוע וידאו (לעומת המרחק; קלפים מהלך vs ביחד קרוב יותר. רחוק יותר). בערכה השניה של מחקרים39, משפטים תיאר את האינטראקציה בין שני אנשים כמו אינטימית או עוינים, מה שהוביל הגילוי כי קטעי וידאו של שני הקלפים מתקרבים אחד לשני האיץ את הקריאה של אזורים המשפט שהוליך חברתית קרבה/אינטימיות. שימו לב כי המרחק המרחבי מושפעות משפט קריאה במהירות, באופן מצטבר אפילו כאשר המשפטים לא התייחס על האובייקטים וידאו. קטעי וידאו מאופנן לגמרי הקריאה פעמים כפונקציה של חפיפה בין מרחק המרחבי היבטים סמנטיים, כמו גם חברתיים משמעות המשפט. תופעות אלה הופיעו שניהם בזמנים הקריאה הראשונה לעבור (משך הבדיקה הראשונה של אזור גזר הדין שנקבע מראש) ואת הזמן הכולל שהושקע באותו אזור משפט (ראו איור 3 איור של תוצאות המחקרים על ידי גוארה ו Knoeferle)32. עם זאת, הבדיקות התגלה גם וריאציה משמעותי בין המשתתפים, מובילים למסקנה כי תופעות כאלה-כרטיס-המרחק עדין לא ייתכן חזקים כמו גם ההשפעות של יחסי הפועל-פעולה, לציין דוגמה אחת.
ערכה נוספת של מחקרים מדגימה איך וריאציה של מבנה המשפט יכול לעזור להעריך את הכלליות של השפעות הקשר חזותי. אבשידזה ועל משתפי הפעולה34 רודריגס, משתפי פעולה26 בחן את ההשפעות של הפעולות האחרונות על עיבוד עוקבות של משפטים המדוברת. שני מחקרים, המשתתפים בדק לראשונה סרט פעולה (לדוגמה, מלפפונים חומרי טעם של הנסיין, או הידיים הנשי אופה עוגה). לאחר מכן, הם האזינו משפט גרמני היה קשור גם הפעולה מהעת האחרונה, או פעולה אחרת עשוי להתבצע הבא (חומרי טעם עגבניות34; בניית דגם26). במהלך בהבנת הנקרא, המשתתפים בדק סצנה מציג שני אובייקטים (מלפפונים, עגבניות)34 או שתי תמונות של סוכן פרצופים (נקבה, פנים הסוכן זכר, בשם "סוזנה" ו- "תומאס", בהתאמה)26. במחקר על ידי אבשידזה, משתפי פעולה34, הרמקול נזכרת לראשונה הנסיין, ולאחר מכן את הפועל (למשל, חומרי טעם), העלאת ציפיות לגבי נושא (למשל, את המלפפונים או את העגבניות). במחקר על ידי רודריגס, משתפי פעולה26, הרמקול נזכרת לראשונה ערכת נושא (העוגה), ולאחר מכן את הפועל (אפייה), העלאת ציפיות על הסוכן של הפעולה (נקבה: סוזנה, או זכר: תומאס, מתואר באמצעות תמונות של נקבה, זכר פנים).
שני המחקרים, היה השאלה במחלוקת אם אנשים (חזותית) לחזות את הנושא/הסוכן של האירוע הפעולה האחרונה או את הנושא/סוכן אחר בהתבסס על נוספת הקשרית רמזים הניתנים במהלך בהבנת הנקרא. ב אבשידזה, משתפי פעולה34, מבטו של הנסיין לסמן האובייקט דירוג עתידית (העגבניות) תחילתה של הפועל (בתרגום מילולי מגרמנית: "הנסיין-הסוכן טעמים בקרוב..."). רודריגס, משתפי פעולה26, מגדר הידע של פעולות סטריאוטיפי הפך זמין כאשר הנושא ואת הפועל הוזכרו (למשל, התרגום המילולי של הגירויים הגרמני היה: 'הנושא העוגה אופה בקרוב...'). שתי ערכות של מחקרים, המשתתפים מעדיפים בדק את היעד/הסוכן של הפעולה האחרונה (מלפפונים34 או סוזנה26) מעל המטרה (העתיד/אחר-מגדר) חלופי (עגבניות34 או תומאס26) במהלך המשפט.
מה שנקרא "האחרונים-אירוע העדפה זו', לפיכך, מופיע להיות עמידים לרוחב כל וריאציה ניכר מבנה המשפט וחומרים ניסיוני. זה היה מווסת, עם זאת, על ידי אילוצי חזותי של זירת בו-זמניות26, כך הצגת תמונות סבירה של ערכות נושא הפועל תמונות בנוסף ל נותן מענה לזהותה המגדרית מהסוכנים מופחתת של ההסתמכות על האירועים בדק לאחרונה פעולה ו שימו לב מאופנן המבוססים על ידע סטריאוטיפ המגדר מועברת על ידי השפה. איור 4 מדגימה את עיקרי ממצאי הניסויים רודריגס, משתפי פעולה26.
בעוד גירסת הדפוס visual-העולם הניב תוצאות חזקות, מחקרים אחרים הדגישו את המורכבות (ואת המגבלות) של ההיפותזה המקשרים. Burigo, Knoeferle20 חשפו את המשתתפים — בעת האזנה מבעים כגון תיבת למות ist über דר נקניקיית ('בתיבת is מעל הנקניקיות') – בעיקר עקב האמירה ולממונה אוסף תמונות תיאורים של אובייקטים אלה. אבל על שיעור של ניסויים, מבטו המשתתפים decoupled ממה הוזכר. כששמע 'נקניק' ולא בדק את הנקניקייה לפחות פעם אחת, בדיקה הבאה המשתתפים מוחזרת אל תיבת על-21% של הניסויים ב- speeded אימות (ניסוי 1) וב -90% של משפטי בבית משפט לאחר אימות ( ניסוי 2). דפוס מבטו זה מרמז כי ההפניה (שמיעה ' נקניק') מודרך רק קצת (בדיקת הנקניקיות) אבל לא כל עין תנועות (בדיקת תיבת). עיצוב מסוג זה יכול לשמש כדי לקנטר תהליכים לקסיקלית הקשרים בנפרד מהשני (כולל המשפט ברמת הלימוד) תהליכים. עם זאת, החוקרים עליך להיות זהיר בעת ביצוע תביעות על רמות שונות של עיבוד לשוני מבוסס על יחסי הבדלי הפרופורציות תנועות עיניים, נתן את העמימות ב קישור מבט עין כדי קוגניטיבי ותהליכי הבנה.
איור 1: סקירה של הסביבה אוסף נתונים. הגרף מציג רכיבי חומרה ותוכנה שונים המשמשים לאיסוף נתונים וכיצד preprocessing מתייחסים אחד לשני. אנא לחץ כאן כדי להציג גירסה גדולה יותר של הדמות הזאת.
איור 2: תוצאות נציג של מינסטר, משתפי פעולה37. לוחות אלה מראים מאת, נושא אכזרי היומן-המבט ההסתברות יחסי לכל תנאי באזור פועל (עבור הפעולה מתוארים) באזור פועל-הפועל בשילוב (עבור האפקט של ראש הממשלה רגשית). התוצאות מציגות שיעור גבוה יותר באופן ניכר של מבטים לעבר תמונת היעד בעת הפעולה שהוזכרו המשפט תוארה מאשר כאשר היא לא תוארה. התוצאות עבור האפקט של פנים הרגשיים הראשוניים היו פחות חד משמעי: הם מציעים רק עלייה קלה יחס אכזרי-יומן של מבטים אל המטרה כשהיה ראש פנים של חיובי הרגשי הערכי (חיוך) מאשר כאשר הייתה של ערכיות שלילית (פרצוף עצוב). קווי השגיאה מייצגים שגיאת התקן של הממוצע. דמות זו שונתה מ מינסטר. et al. 37. אנא לחץ כאן כדי להציג גירסה גדולה יותר של הדמות הזאת.
איור 3: תוצאות נציג של גוארה, Knoeferle32- לוח זה מציג טיימס מתכוון לעבור קודם הקריאה (באלפיות שניה) של התואר דמיון (דיס). התוצאות מציגות זמני הקריאה קצרים יותר עבור משפטים דמיון לאחר לראות שני קלפים לשחק, התקרבו לעומת מפוסקות. קווי השגיאה מייצגים שגיאת התקן של הממוצע. דמות זו שונתה גוארה, Knoeferle32. אנא לחץ כאן כדי להציג גירסה גדולה יותר של הדמות הזאת.
איור 4: תוצאות נציג של רודריגס, משתפי פעולה26. לוח זה מראה המבט יומן רעה מאת, נושא יחס ההסתברות לכל תנאי באזור פועל. נראה הפרופורציות של מעל הצג 0 העדפה תמונת הסוכן היעד ולהראות הפרופורציות מתחת ל-0 העדפה עבור התמונה סוכן מתחרה. התוצאות מציגות כי המשתתפים היו בסבירות גבוהה יותר לפקח על תמונת הסוכן היעד כאשר את האובייקט ואת הפועל שצוין במשפט מתאימים לאירועים מצולמים הקודם מאשר כאשר הם לא. בנוסף, היו נראה יותר כלפי התמונה הסוכן היעד בעת הפעולה שתואר על ידי המשפט תאמו מגדר סטריאוטיפים. קווי השגיאה מייצגים שגיאת התקן של הממוצע. דמות זו שונתה מ רודריגס. et al. 26. אנא לחץ כאן כדי להציג גירסה גדולה יותר של הדמות הזאת.
לסיכום, שנסקרה וריאנטים של העין מעקב בהקשרים חזותי חשפו הרבה דרכים שבה סצינה ויזואלית יכול להשפיע השפה והבנת הנקרא. שיטה זו מספקת יתרונות חיוני לעומת שיטות כגון מדידת זמני תגובה. למשל, תנועות עיניים מתמשך לספק לנו חלון לתוך תהליכי הבנת הנקרא בשפה, איך אלה אינטראקציה עם תפיסת העולם החזותי לאורך זמן. יתר על כן, המשתתפים אינם בהכרח נדרשים לבצע משימה מפורשת במהלך ההבנה שפה (כגון לשפוט את grammaticality של משפט באמצעות מכבש כפתור). זה מאפשר לחוקרים להשתמש בשיטה עם אוכלוסיות כי ייתכן המאבק עם עבירה התנהגותית תגובות מלבד מבט עין, כמו תינוקות, ילדים, ו, במקרים מסוימים, מבוגרים. העין מעקב בתוקף מבחינה אקולוגית בכך שהיא משקפת תגובות תשומת לב המשתתפים – שלא כמו חקירת תקשורת רלוונטיות הדברים בעולם הסובב אותם במהלך פחות או יותר קשוב מקשיב מבעים התגלגלות החזותי של בני האדם.
אחד של גבולות (או אולי מאפיינים) של הפרדיגמה העולם הויזואלי הוא כי יכול להיות מתואר לא כל האירועים אבר המין הגברי, חד משמעית. בטון אובייקטים ואירועים ניתן, כמובן, להיות מתואר. . אלא כמה מושגים מופשטים הם הטובים ביותר מתואר הוא פחות ברור. זה יכול להגביל, או להגדיר תובנות האינטראקציה בין עיבוד שפה ותפיסת העולם החזותי באמצעות הפרדיגמה של העולם הויזואלי עקיבה. אתגרים נוספים מתייחסים וההשערות המקשרים בין נצפתה התנהגות ותהליכים בהבנת הנקרא. עין הקיבועים הם תגובה התנהגותית יחיד סביר המשקפת תהליכי משנה רבים במהלך ההבנה שפה (למשל, גישה לקסיקלי, תהליכים הקשרים, הציפיות בתיווך שפה, השפעות הקשר חזותי, בין היתר). בהתחשב תובנה זו, החוקרים צריך להיזהר שלא נגמר - או פרשו את דפוס מבטו שנצפו. כדי לטפל בבעיה זו, מחקר קודם הדגישה את התפקיד של הבנת הנקרא תת כדי להבהיר את הפרשנות של המבט שיא40.
דרך אחת לשפר את interpretability של תנועות עיניים היא לשלב אותן עם אמצעים אחרים כגון פוטנציאל הקשור לאירוע מוחי (ארפס). על ידי חוקרים אותה תופעה עם שתי שיטות כי הם המקבילה שלהם צפיפות טמפורלית ומשלימים ב ההשערות המקשרים שלהם, חוקרים יכולים לשלול הסברים חלופיים של התוצאות שלהם ולהעשיר את הפירוש של כל אחד בודדים מידה41. גישה זו יש כנראה תפס על פני ניסויים43, אבל, יותר לאחרונה, גם במסגרת ניסוי יחיד (גם אם בהקשרים בקפדנות לשונית)44. למחקר עתידי יכול להפיק תועלת רבה מן כזה שילוב מתודולוגיות והמשיך בשילוב עם משימות פוסט-משפט פוסט נסיוני.
השיטה עקיבה יכול לשכפל את תוצאות הוקמה, כמו גם לבדוק היפותזות חדשות, על האינטראקציה של תשומת לב בסצנות עם שפה הבנה. ההליך שפורטו בפרוטוקול בתחומיו בקפידה מאז שגיאות הנסיין קטן יכול להשפיע על איכות הנתונים. קריאה מחקרים, לדוגמה, ניתוח רלוונטית האזורים הם לעיתים קרובות מילים בודדות או אפילו אותיות, כלומר כיול קטן אפילו שגיאות עלול לעוות את התוצאות (ראה את המאמר על ידי רייני ועמיתיו42). שלבים 1.4 ו- 1.5 של הפרוטוקול, הכיול של העין ומכשיר את הסחף הסימון/הסחף נכון, יש חשיבות מיוחדת מאז הם משפיעים ישירות על דיוק הקלטה. יכול לגרום לכשל לכיול כראוי את הגשש העין ברכיב המעקב ולא מדויק מעקב אחר תנועות עיניים לאזורי טרום הוקמה עניין. כשלון מעקב שכזה יוביל חסרים נקודות נתונים, אובדן עוצמה סטטיסטית, אשר יכול להיות בעייתי כאשר חוקרים קשרים עם העולם-כדי-שפה הם עדינים מאוד, תשואות אפקט סטטיסטי קטן מידות (ראה את התיאור של ניסויים על ידי גוארה, Knoeferle32 ו מינסטר ועמיתיו37 בין נציג תוצאות).
בהתחשב בצורך להגדיל את כוח, רגישות של הציוד, זה חשוב כי ניסויים יודעים איך להתמודד עם בעיות שמתרחשות באופן שגרתי במהלך מפגש ניסיוני. לדוגמה, המיקום התלמיד ואת התנועה של המשתתפים משקפיים יכולים לגרום כיול לקשיים עקב השתקפויות האור על העדשות המשקפיים של המשתתף. אחת הדרכים לפתור בעיה זו היא מראה את התמונה של העין של המשתתף על צג המחשב ולעודד אותם כדי להזיז את הראש שלהם עד השתקפות האור על המשקפיים כבר אינו נראה לעין על המסך שלהם, כלומר, כי זה כבר לא נתפס על ידי המצלמה. גורם נוסף של כיול כישלון יכול להיות תלמידו הכיווץ, אשר עשוי להיות תוצאה של חשיפת יתר אור. במקרה כזה, עמעום האור במעבדה להגדיל נורמאליות ולעזור, לפיכך, הגשש העין באיתור במדויק את התלמיד.
כמו מחשבה אחרונה, אנחנו רוצים להתייחס את הפוטנציאל שיש הפרדיגמה visual-העולם לחקר רכישת שפה שנייה. הפרדיגמה בהצלחה שימש כבר במחקר psycholinguistic לחקור תופעות כמו האינטראקציה לקסיקלי, פונולוגית לשפות46,47,48. בנוסף, היה הדגישה הקשר ההדוק בין תשומת לב ולימוד השפה לעתים קרובות הספרות בלשנות מוחל על רכישת שפה שנייה-49,-50,-51. מחקר עתידי על לימוד שפה שנייה כנראה תמשיך להפיק תועלת מן המיקום יתרון של העין מעקב כשיטה מספק אינדקס של תשומת לב ברזולוציה של אלפיות השנייה.
המחברים אין לחשוף.
מחקר זה מומן על ידי זוקו (יוזמה מצוינות, זו אוניברסיטת הומבולדט בברלין), 277 אשכול מצוינות 'קוגניטיבית אינטראקציה עם טכנולוגיית' (מועצת המחקר הגרמני, DFG), ולא על-ידי תוכנית המסגרת השביעית של האיחוד האירופי למחקר, פיתוח טכנולוגי, הפגנה תחת גרנט הסכם n ° 316748 (LanPercept). המחברים להכיר גם תמיכה מן הכספים הבזליים מרכזי מצוינות, פרוייקט FB0003 מ את אסוציאטיבי מחקר התוכנית של CONICYT (הממשלה של צ'ילה) ומ -פרויקט "FoTeRo" במרכז המוקד XPrag (DFG). פיא Knoeferle בתנאי טיוטה ראשונה של המאמר הודיע על ידי פרוטוקול המעבדה הלין Kreysa מופעים באוניברסיטת בילפלד, זה ימשיך לשמש בשעה זו אוניברסיטת הומבולדט בברלין. כל המחברים תרמו התוכן על-ידי מתן קלט על שיטות, תוצאות בצורה אחת או אחרת. קמילו רודריגס Ronderos ו- Knoeferle. פיא תיאם את קלט מן המחברים ומתוקנים, בעוד שתי חזרות, באופן משמעותי את הטיוטה הראשונית. ארנסטו גוארה המיוצר דמויות 2 - 4 המבוססת על קלט Katja מינסטר, אלבה רודריגס, ארנסטו Guerra. הלן Kreysa מסופקים איור 1 ו- Knoeferle. פיא עדכון זה. חלקי התוצאות המדווחות פורסמו ב הליכים של הכנס השנתי של האגודה מדעים קוגניטיביים.
Name | Company | Catalog Number | Comments |
Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |
Request permission to reuse the text or figures of this JoVE article
Request PermissionThis article has been published
Video Coming Soon
Copyright © 2025 MyJoVE Corporation. All rights reserved