מתודולוגיה ללכידת תשומת לב ויזואלית משותפת באמצעות עוקבים אחר העין הניידת

Summary

שימוש בחיישנים רב-מודאליים הוא דרך מבטיחה להבין את התפקיד של אינטראקציות חברתיות בהגדרות חינוכיות. נייר זה מתאר מתודולוגיה עבור לכידת תשומת לב חזותית משותפת מתוך דיאדת ממוקם באמצעות מעוקבים העין ניידים.

Abstract

עם הופעתו של פיתוחים טכנולוגיים חדשים, ניתן ללמוד אינטראקציות חברתיות במיקרורמה עם דיוק חסר תקדים. חיישנים בתדר גבוה, כגון עוקבים אחר העיניים, להקות הפעילות האלקטרועורי, להקות EEG, וחיישני תנועה מספקים תצפיות ברמת מילי-שניה. רמת דיוק זו מאפשרת לחוקרים לאסוף מערכות נתונים גדולות על אינטראקציות חברתיות. במאמר זה, אני דן כיצד מספר עוקבים העין יכולים ללכוד מבנה בסיסי באינטראקציות חברתיות, תשומת לב חזותית משותפת (JVA). JVA נחקרה על ידי פסיכולוגים התפתחותיים כדי להבין כיצד ילדים רוכשים שפה, מדענים לומדים להבין כיצד קבוצות קטנות של לומדים לעבוד יחד, מדענים חברתיים להבין אינטראקציות בקבוצות קטנות. נייר זה מתאר מתודולוגיה עבור לכידת JVA בהגדרות ממוקם באמצעות מעוקבים העין ניידים. היא מציגה כמה תוצאות אמפירית ודנה בהשלכות של לכידת מיקרו-תצפיות כדי להבין אינטראקציות חברתיות.

Introduction

JVA כבר נחקרו בהרחבה במהלך המאה האחרונה, במיוחד על ידי פסיכולוגים התפתחותיים ללמוד רכישת שפה. זה הוקם במהירות כי תשומת לב משותפת היא יותר מסתם דרך ללמוד מילים אלא מבשר מראש לתיאוריות של הילדים של המוח¹. לפיכך, היא ממלאת תפקיד משמעותי בתהליכים חברתיים רבים, כגון תקשורת עם אחרים, שיתוף פעולה ופיתוח אמפתיה. ילדים אוטיסטים, למשל, חוסר יכולת לתאם את תשומת הלב החזותית שלהם עם המטפלים שלהם, אשר קשורה לליקויים חברתיים משמעותיים². בני האדם זקוקים לתשומת לב משותפת כדי להפוך לחברים פונקציונליים של החברה, לתאם את פעולותיהם וללמוד מאחרים. מילדים הרוכשים את המילים הראשונות שלהם, בני נוער לומדים ממורי בית ספר, סטודנטים המשתפים פעולה בפרויקטים, ולקבוצות של מבוגרים העובדים למען מטרות משותפות, תשומת לב משותפת היא מנגנון בסיסי להקמת הקרקע המשותפת בין היחידים³. במאמר זה, אני מתמקד במחקר של JVA במחקר חינוכי. הבנת אופן הטיפול המשותף במשך הזמן היא בעלת חשיבות עיקרית לחקר תהליכי למידה משותפים. ככזה, הוא משחק תפקיד דומיננטי בהגדרות הסוציוביסטית.

ההגדרה המדויקת לתשומת לב משותפת עדיין נדונה^בארבע. נייר זה מודאג עם מבנה משנה של תשומת לב משותפת (JA), כלומר JVA. JVA קורה כאשר שני נושאים מסתכלים באותו מקום בו זמנית. יצוין כי JVA אינו מספק כל מידע על מבנים חשובים אחרים של עניין במחקר של JA, כגון ניטור משותף, הדדית, תשומת לב משותפת, או יותר באופן כללי, מודעות של הכרה של חבר אחר בקבוצה. נייר זה מבצע הפעלה ומפשט את JVA על ידי שילוב נתוני מעקב אחר העין משני משתתפים וניתוח התדר שבו הם מיישר את הביט שלהם. לדיון מקיף יותר, הקורא המעוניין יכול ללמוד עוד על חקר המבנה של ה-JA בסיפוסואט אל^.4.

במהלך העשור האחרון, ההתקדמות הטכנולוגית הפכה באופן קיצוני למחקר על JVA. משמרת הפרדיגמה העיקרית הייתה להשתמש במספר עוקבים כדי להשיג מדדים כמותיים של המערכים האטתיים, בניגוד לניתוח הקלטות וידאו ובקרה במעבדה או בסביבה אקולוגית. התפתחות זו אפשרה לחוקרים לאסוף מידע מדויק ומפורט על תיאום חזותי של לסביות. בנוסף, עוקבים העין הופכים סבירים יותר: עד לאחרונה, השימוש שלהם שמורה הגדרות אקדמיות או תאגידים גדולים. כעת ניתן לרכוש מעוקבים העין זול שיוצרים מערכות נתונים אמין. לבסוף, את ההכללה הפרוגרסיבית של יכולות מעקב המבט לתוך התקנים קיימים כמו מחשבים נישאים high-end ו-אוזניות מציאות וירטואלית ורבודה מציע כי מעקב אחר העין בקרוב יהיה בכל מקום.

בגלל הפופולריזציה של מכשירי מעקב אחר עיניים, חשוב להבין מה הם יכולים ולא יכול לספר לנו על אינטראקציות חברתיות. המתודולוגיה המוצגת במאמר זה מסמנת צעד ראשון בכיוון זה. אני מטפל בשני אתגרים בלכידת JVA ממספר עוקבים: סנכרון הנתונים ב-1) הסולם הזמני, ו -2 בקנה מידה מרחבי. באופן ספציפי יותר, פרוטוקול זה עושה שימוש fiducial סמנים ממוקמים בסביבות העולם האמיתי כדי ליידע את האלגוריתמים לראיית מחשב שבו המשתתפים מורידים את המבט. סוג חדש זה של מתודולוגיה מפחית את הדרך לניתוח קפדני של התנהגות אנושית בקבוצות קטנות.

פרוטוקול מחקר זה תואם את ההנחיות של ועדת האתיקה של המחקר האנושי באוניברסיטת הרווארד.

Protocol

1. הקרנת משתתפת

1. ודא כי המשתתפים עם חזון רגיל או מתוקן לנורמלי מגויסים. בגלל שהמשתתפים יתבקש ללבוש מכשיר מעקב נייד, הם יכולים להרכיב עדשות מגע אבל לא משקפיים רגילים.

2. הכנה לניסוי

1. מכשירי מעקב אחר עיניים
   1. השתמש בכל עין מכשיר נייד מסוגל ללכוד את תנועת העין בסביבות העולם האמיתי.
      הערה: העין עוקבים הנייד המשמש כאן היו שתי המשקפיים Tobii Pro 2 (ראה טבלת חומרים). בנוסף מצלמות מיוחדות שיכולות לעקוב אחר תנועות עיניים, המשקפיים מצוידים גם מצלמה HD סצינה מיקרופון כך המבט יכול להיות דמיינו בהקשר של השדה החזותי של המשתמש. משקפיים אלה ללכוד את נתוני המבט 50 פעמים בשנייה. חוקרים אחרים השתמשו ASL Mobile העין⁵, smi⁶, או התלמיד-מעבדות⁷, כולם מספקים זרמי וידאו ממצלמת הסצינה ואת קואורדינטות מעקב העין בשיעורי דגימה שונים (30-120 Hz). ההליך שלהלן עשוי להשתנות מעט עם התקנים אחרים למעקב אחר עיניים.
2. Fiducial סמנים
   1. שני השלבים הבאים (כלומר, יישור הזמני והמרחבי) דורשים שימוש fiducial סמנים. קיימות מספר ספריות לראיית מחשבים המספקות לחוקרים סמנים ואלגוריתמים אלה כדי לאתר אותם בתמונה או בהזנת וידאו. הפרוטוקול שמתואר משתמש בספריה Chilitag⁸.
3. יישור זמני
   1. מכיוון שנתוני מעקב העין נרשמים בשתי יחידות נפרדות, ודא שהנתונים מסונכרנים כראוי (איור 1). ניתן להשתמש בשתי שיטות עיקריות. כתב יד זה מכסה רק את השיטה הראשונה, מכיוון שסנכרון השרת פועל באופן שונה עם כל מותג של מעקב העין הנייד.
      1. הצג בקצרה סמן fiducial על מסך מחשב כדי לסמן את ההתחלה ואת סוף ההפעלה. הדבר דומה לזיבה יד ויזואלית (איור 2).
      2. לחלופין, השתמש בשרת כדי לסנכרן את השעונים של שתי יחידות איסוף הנתונים. שיטה זו מדויקת מעט יותר ומומלצת יותר אם יש צורך בדיוק מיותר בזמן הרקה.
4. יישור מרחבי
   1. כדי לגלות אם שני משתתפים מסתכלים באותו מקום באותו הזמן, ממפים את הביט שלהם למישור משותף. מטוס זה יכול להיות תמונה של ההגדרה הניסיונית (לראות את הצד השמאלי של איור 3). תכנן את התמונה בקפידה לפני הניסוי.
   2. גודל הסמנים הfiducial: הגודל הכללי של הסמנים הfiducial תלוי באלגוריתם המשמש לזיהוי הווידאו מעקב אחר העין. למשטחים הקרובים למשתתפים יכולים להיות סמנים fiducial קטנים יותר, בעוד שמשטחים רחוקים מהם צריכים להיות גדולים יותר, כך שהם ייראו דומים מנקודת המבט של המשתתפים. נסה במידות שונות מראש כדי לוודא שניתן לזהות אותן מווידאו המעקב אחר העין.
   3. מספר סמני fiducial: כדי להפוך את התהליך של נקודות מבט של מיפוי למישור משותף מוצלח, ודא שמספר סמני fiducial גלויים מנקודת המבט של המשתתפים בכל זמן נתון.
   4. מיקום סמני fiducial: מסגרת תחומי עניין רלוונטיים עם רצועות של fiducial סמנים (למשל, לראות את מסך המחשב הנישא באיור 3).
5. לבסוף, הפעל טייסים כדי לבדוק את פרוצדורת הסנכרון וקבע את המיקום האופטימלי, הגודל והמספר של סמני fiducial. ניתן לעבד סרטוני מעקב אחר עיניים באמצעות אלגוריתם לראיית מחשב כדי לראות אם הסמנים הfiducial מזוהים באופן אמין.

3. הרצת הניסוי

1. וראות
   1. להנחות את המשתתפים לשים את המשקפיים מעקב עין כפי שהם היו זוג נורמלי של משקפיים. בהתבסס על תכונות הפנים הנפרדות של המשתתפים, ייתכן שיהיה צורך להשתמש בפיסות אף של גבהים שונים כדי לשמר את איכות הנתונים.
   2. לאחר שהדליק את העין, המשתתפים מקליטים את יחידת ההקלטה לעצמם כדי לאפשר תנועת גוף טבעית.
2. כיול
   1. הורה למשתתפים לבדוק את מרכז סמן הכיול שסופק על-ידי Tobii בזמן שפונקציית הכיול של התוכנה מופעלת. לאחר השלמת הכיול, ניתן להפעיל את ההקלטה מתוך התוכנה.
   2. הורה למשתתפים לא להעביר את מכשיר העיניים הנייד לאחר הכיול. אם כן, סביר להניח שהנתונים לא יהיו מדויקים ויהיה צורך לבצע שוב את תהליך הכיול.
3. ניטור נתונים
   1. נטר את תהליך איסוף הנתונים במהלך המחקר וודא שנתוני מעקב העיניים נאספים כראוי. רוב העוקבים הניידים יכולים לספק זרם חי על מכשיר נפרד (למשל, טבליה) למטרה זו.
4. יצוא נתונים
   1. לאחר שהפעלת ההקלטה תושלם, הורה למשתתף להסיר את משקפי המעקב והיחידה לאיסוף הנתונים. . כבה את היחידה
   2. חילוץ נתונים באמצעות תוכנה אחרת, מעבדת הפרו של Tobii, על-ידי הסרת כרטיס ה-SD מיחידת איסוף הנתונים לייבא את נתוני ההפעלה. Tobii Pro מעבדה ניתן להשתמש כדי להפעיל שוב את הווידאו, ליצור פריטים חזותיים, ולייצא את נתוני מעקב אחר העיניים כקבצי מופרדים בפסיקים (. csv) או מופרדים באמצעות טאבים (. tsv).

4. עיבוד מקדים של נתוני מעקב אחר העין הכפולה

1. שפיות בדיקת נתונים מעקב אחר העין
   1. בדוק את נתוני מעקב העין באופן חזותי לאחר איסוף הנתונים. זה לא נדיר שמשתתפים מסוימים חסרים נתונים. לדוגמה, כמה פיזיולוגיה עין מסוימת יכולים להוות בעיות באלגוריתמים למעקב אחר עיניים, המשקפיים עשויות לנוע במהלך הניסוי, תוכנת איסוף הנתונים עשויה לקרוס, וכו '.
   2. השתמש בסטטיסטיקה תיאורית כדי לבדוק את מידת הנתונים שאבדו במהלך כל הפעלה והכללת הפעלות בעלי כמויות משמעותיות של נתונים חסרים או רועשים.
2. יישור זמני
   1. חתוך את הנתונים מכל אחד מעוקב העין הנייד כדי לכלול רק אינטראקציות בין המשתתפים. ניתן להשיג זאת באמצעות השיטה המתוארת לעיל (כלומר, הצגת שני סמנים fiducial מיוחדים למשתתפים בתחילת ובסוף ההפעלה). לאחר מכן ניתן לזהות סמנים fiducial אלה מהווידאו מעקב אחר העין כדי לקצץ את ערכות הנתונים.
3. יישור מרחבי
   הערה: כדי לגלות אם שני משתתפים מסתכלים באותו מקום בו זמנית, יש צורך למפות מחדש את מבט המשתתפים על מישור משותף (כלומר, תמונה של ההגדרה הניסיונית). שיטה חישובית להשגת מטרה זו היא הומוגרפיה (כלומר, שינוי פרספקטיבה של מישור). מנקודת מבט טכנית, שתי תמונות של אותו משטח מישורי בחלל קשורות על ידי מטריצה הומוגרפיה. בהתבסס על קבוצה משותפת של נקודות, ניתן להשתמש במטריצה זו כדי להסיק את המיקום של נקודות נוספות בין שני מישורים. באיור 3, לדוגמה, אם אלגוריתם לראיית מחשב יודע היכן הסמנים הfiducial נמצאים בדף המידע, הוא יכול למפות מחדש את מבטו של המשתתף אל המישור המשותף בצד שמאל. הקווים הלבנים מחברים את שתי סדרות הנקודות המשותפות להזנת הווידאו של כל משתתף והסצינה, המשמשים לבניית ההומוגרפיה כדי למפות מחדש את הנקודות הירוקות והכחולות בצד שמאל.
   1. השתמש בגרסה פיתון של OpenCV, למשל, כדי לחשב את מטריצת הומוגרפיה מן סמנים fiducial ולאחר מכן למפות מחדש את הנתונים מעקב אחר העין לזירת ההגדרה הניסיונית (או כל ספריה מתאימה אחרת בשפה של בחירה). Opencv מספק שתי פונקציות שימושיות: findhomography () כדי לקבל את מטריצת הומוגרפיה, ו perspec, המרה() כדי להפוך את הנקודה מנקודת מבט אחת לשנייה.
   2. כדי להשתמש בפקודה Findhomography (), הפעל עם שני ארגומנטים: הקואורדינטות X, Y של נקודות המקור (כלומר, הסמנים הfiducial שזוהו מסרטון הווידאו של המשתתפים, המוצגים מימין באיור 3) ונקודות היעד המתאימות (כלומר, אותם סמנים fiducials שאותרו בתמונת הסצנה, המוצגים משמאל באיור 3)
   3. האכילו את מטריצת ההומוגרפיה הנוצרת בפונקציה Perspec, יחד עם נקודה חדשה שצריכה להיות ממופה מתמונת המקור לתמונת היעד (לדוגמה, נתוני מעקב העיניים המוצגים כנקודה כחולה/ירוקה בצד ימין של איור 3). הפונקציה Perspec, transform , מחזירה את הקואורדינטות החדשות של אותה נקודה בתמונת הסצנה (כלומר, הנקודות הכחולות/ירוקות המוצגות בצד שמאל של איור 3).
      הערה: לקבלת מידע נוסף, התיעוד הרשמי של OpenCV מספק קוד לדוגמה ודוגמאות ליישום הומוגרפיה: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
4. שפיות בודקת את ההומוגרפיה
   1. השלם מקטע 4.3 עבור ההפעלה כולה, ולבצע הומוגרפיה על כל מסגרת של הווידאו מעקב העין הנייד כדי לבדוק את האיכות של הומוגרפיה. אמנם אין דרכים אוטומטיות להעריך את הדיוק של נתוני מעקב העין שהתקבל, קטעי וידאו כמו זה המוצג באיור 4 יש להשתמש כדי שפיות ידנית לבדוק כל הפעלה.
   2. אם האיכות נמוכה מהצפוי, שקול פרמטרים נוספים כדי לשפר את התוצאות של ההומוגרפיה:
      1. מספר הסמנים fiducial זוהה: רק לבצע את ההומוגרפיה אם ניתן לזהות מספיק fiducial סמנים מזרם הווידאו. מספר זה יכול להיקבע על ידי בחינת הווידאו המיוצר לעיל.
      2. מיקום של סמנים fiducial: אם סמנים שונים נמצאים בעומקים ובכיוונים שונים, האיכות של הומוגרפיה עולה בדרך כלל כאשר הסמנים הקרובים ביותר קואורדינטות המבט נבחרו, בהתחשב בכך שיש מספיק סמנים כדי לבנות חזקה . הומוגרפיה
      3. התמצאות של סמני fiducial: שילוב fiducial סמנים בעלי אוריינטציה שונה (לדוגמה, אופקי ואנכי) יפיקו הומוגרפיות לא מדויקות. מומלץ לזהות תחילה באיזה מישור או תחומי עניין (א) המשתתף מסתכל (למשל, מסך המחשב, גיליון לרמות, הטבלה, ראה איור 3) ולאחר מכן להשתמש בסמנים fiducial על מישור זה עבור הומוגרפיה.
      4. איכות זרם הווידאו: תנועות ראש פתאומיות יכול לטשטש מסגרות וידאו ולהפוך את הנתונים לבלתי שמיש, משום fiducial סמנים לא ניתן לזהות באופן אמין (איור 4). המתודולוגיה של נייר זה אינה מתאימה לניסויים הכרוכים בהרבה תנועות ראש פתאומיות.

5. ניתוח נתוני מעקב אחר עיניים כפולות

1. נתונים חסרים
   1. כדי לוודא שהנתונים מחוברים כראוי לתמונת הייחוס, הציגו גרפים חזותיים (כגון, איור 5, איור 6) וסטטיסטיקה תיאורית כדי לבדוק את מידת הנתונים החסרים.
2. גרפים בין מופע חוזר
   1. השתמש בגרפים של מופע חוזר⁹ כדי לייצג סינכרון חזותי בין שני משתתפים (איור 6), כאשר ציר ה-X מייצג את הזמן עבור המשתתף הראשון, וציר ה-Y מייצג את הזמן עבור המשתתף השני. ריבועים שחורים מצביעים על כך שהמשתתפים מסתכלים באותו אזור, קו אלכסוני שחור מתאר שני נושאים הנראים באותו הדבר בדיוק באותו זמן, וריבועים שחורים מחוץ לקו האלכסוני מתאר כאשר שני נושאים להסתכל על אותו הדבר עם השהיה זמן. לבסוף, הבחנה בין נתונים חסרים (ריבוע לבן) לבין נתונים קיימים ללא JVA (ריבועים אפורים) מסייעת בזיהוי הפעלות בעייתיות. זה מספק לחוקרים בדיקת שפיות חזותית.
3. מיחשוב JVA
   1. לאחר סינון נתונים חסרים, חשב מדד עבור JVA על-ידי ספירת מספר הפעמים בהן מביט המשתתפים באותו רדיוס בסצינה (מוגדר להלן) בחלון זמן של 2/+ 2. חלק מספר זה לפי מספר נקודות הנתונים החוקיות שניתן להשתמש בהן לחישוב JVA. התוצאה של החטיבה מייצגת את אחוזי הזמן ששני נושאים התבוננות במשותף באותו מקום. זה השלב האחרון הוא הכרחי כדי למנוע מנפח את הציונים של קבוצות עם יותר נתונים לאחר ההומוגרפיה.
      הערה: יש להגדיר שני פרמטרים לפני JVA יכול להיות מחושב, את המרחק המינימלי בין שני נקודות מבט, ואת חלון הזמן ביניהם (איור 7): 1) חלון זמן: מחקר היסוד מוקדם¹⁰ השתמשו עין מעקב אחד כדי למדוד jva בין מאזין ורמקול. החוקרים שאלו קבוצה ראשונה של משתתפים ("רמקולים") כדי לדבר על תוכנית טלוויזיה שהדמויות שלהם הוצגו לפניהם. קבוצה שנייה של משתתפים ("מאזינים") צפו באותה תוכנית תוך כדי האזנה להקלטות אודיו של הדוברים. תנועות העיניים של הרמקולים והמאזינים הושוו, והתגלה כי תנועות העין של המאזין התאימו היטב לתנועת העין של הדובר בעיכוב של 2 ס. בעבודה הבאים¹¹ חוקרים ניתחו דיאלוגים חיים מצאו כי עיכוב של 3 הרגעים הטובים ביותר שנתפסו של jva. מכיוון שכל משימה היא ייחודית והיא עשויה להציג משימות זמן שונות, היא גם מוצעת לחקור כיצד פערים שונים משפיעים על התוצאות של ניסוי נתון. בסך הכל, מקובל לחפש jva בחלון הזמן ± 2/3 s בהתאם למשימה ניסיוני ולאחר מכן לחקור כיצד פערים זמן שונה עשוי לשנות את התוצאות. 2) מרחק בין מביט: אין מרחק מוגדר מדעית בין שני מביט להם לספור כמו JVA. מרחק זה תלוי בשאלות המחקר שהוגדרו על ידי החוקרים. שאלות המחקר צריכות להודיע על הגודל של יעדי הריבית. בדוגמה לראות באיור 7, רדיוס של 100 פיקסלים על התמונה הסצינה (עיגולים כחול/ירוק) נבחר לניתוח כי זה מספיק כדי ללכוד כאשר המשתתפים מסתכלים על הרובוט במבוך, כמו גם ברכיבים דומים ממשק משתמש על מסך המחשב, שהם שני תחומי העניין העיקריים עבור משימה ניסיונית זו.

תוצאות

המתודולוגיה שהוצגה לעיל שימש ללימוד סטודנטים שהיו בעקבות תוכנית הכשרה מקצועית בלוגיסטיקה (n = 54)¹². בניסוי זה, זוגות של סטודנטים במגע עם ממשק משתמש מוחשי (טואי) הדומה למחסן בקנה מידה קטן. הסמנים הfiducial שהונחו על הטוויטים אפשרו לצוות המחקר למפות מחדש את מביט התלמידים על מישור משות?...

Discussion

המתודולוגיה המתוארת במאמר זה מספקת דרך קפדנית ללכוד JVA בתוך dyads ממוקם. עם הופעתה של טכנולוגיית חישה במחיר סביר ואלגוריתמים משופרים לראיית המחשב, כעת ניתן ללמוד אינטראקציות שיתופיות עם דיוק שהיה לא זמין בעבר. מתודולוגיה זו ממנפת סמנים fiducial המופץ בסביבה ומשתמשת הומוגרפיות כדרך למיפוי מחדש ?...

Materials

Name	Company	Catalog Number	Comments
Tobii Glasses 2	Tobii	N/A	https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers	Chili lab – EPFL, Switzerland	N/A	https://github.com/chili-epfl/chilitags