מיפוי תלת מימדי של סיבוב אובייקטים וירטואליים אינטראקטיביים עם נתוני מעקב עיניים

Summary

פיתחנו שיטה פשוטה, ניתנת להתאמה אישית ויעילה לרישום נתונים תהליכיים כמותיים ממשימות מרחביות אינטראקטיביות ולמיפוי נתוני סיבוב אלה עם נתוני מעקב עיניים.

Abstract

אנו מציגים שיטה להקלטה בזמן אמת של אינטראקציה אנושית עם אובייקטים וירטואליים תלת מימדיים (3D). הגישה מורכבת משיוך נתוני סיבוב של האובייקט המניפולטיבי עם מדדים התנהגותיים, כגון מעקב עיניים, כדי להסיק מסקנות טובות יותר על התהליכים הקוגניטיביים הבסיסיים.

המשימה מורכבת מהצגת שני מודלים זהים של אותו אובייקט תלת-ממדי (מולקולה), המוצגים על מסך מחשב: אובייקט מסתובב ואינטראקטיבי (iObj) ואובייקט מטרה סטטי (tObj). המשתתפים חייבים לסובב iObj באמצעות העכבר עד שהם מחשיבים את הכיוון שלו זהה לזה של tObj. המחשב עוקב אחר כל נתוני האינטראקציה בזמן אמת. נתוני המבט של המשתתף נרשמים גם באמצעות מעקב עיניים. תדר המדידה הוא 10 הרץ במחשב ו- 60 הרץ במעקב העיניים.

נתוני ההתמצאות של iObj ביחס ל- tObj נרשמים בקווטרניונים סיבוביים. נתוני המבט מסונכרנים לכיוון של iObj ומופנים באמצעות אותה מערכת. שיטה זו מאפשרת לנו לקבל את ההדמיות הבאות של תהליך האינטראקציה האנושית עם iObj ו- tObj: (1) פער זוויתי המסונכרן עם נתונים אחרים תלויי זמן; (2) מסלול סיבוב תלת-ממדי בתוך מה שהחלטנו לכנות "כדור סיבובים"; (3) מפת חום של קיבוע תלת-ממדי. כל שלבי הפרוטוקול השתמשו בתוכנה חופשית, כגון גנו אוקטבה ו-Jmol, וכל הסקריפטים זמינים כחומר משלים.

בעזרת גישה זו, אנו יכולים לערוך מחקרים כמותיים מפורטים של תהליך פתרון המשימות הכולל רוטציות מנטליות או פיזיות, ולא רק את התוצאה שהושגה. ניתן למדוד בדיוק עד כמה כל חלק במודלים התלת-ממדיים חשוב למשתתף בפתרון משימות, ובכך לקשר את המודלים למשתנים רלוונטיים כגון מאפייני האובייקטים, יכולות קוגניטיביות של הפרט ומאפייני ממשק אדם-מכונה.

Introduction

סיבוב מנטלי (MR) הוא יכולת קוגנטיבית המאפשרת לאנשים לבצע מניפולציות מנטליות ולסובב אובייקטים, מה שמקל על הבנה טובה יותר של התכונות והיחסים המרחביים שלהם. זוהי אחת היכולות החזותיות-מרחביות, קבוצה קוגניטיבית בסיסית שנחקרה כבר בשנת 1890¹. יכולות חזותיות-מרחביות הן מרכיב חשוב ברפרטואר הקוגניטיבי של הפרט המושפע הן מגורמים תורשתיים והן מגורמים סביבתיים 2,3,4,5. העניין ביכולות חזותיות-מרחביות גדל במהלך המאה העשרים בשל עדויות מצטברות לחשיבותן במקצועות מפתח כגון הזדקנות⁶ והתפתחות⁷, ביצועים במדע, טכנולוגיה, הנדסה ומתמטיקה (STEM)^8,9, יצירתיות¹⁰ ותכונות אבולוציוניות¹¹.

הרעיון העכשווי של MR נובע מהעבודה החלוצית שפרסמו שפרד ומצלר (SM) בשנת 1971¹². הם פיתחו שיטה כרונומטרית באמצעות סדרה של משימות "זהות או שונות", המציגות שתי הקרנות של אובייקטים תלת-ממדיים מופשטים המוצגים זה לצד זה. המשתתפים היו צריכים לסובב מנטלית את האובייקטים על ציר כלשהו ולהחליט אם הקרנות אלה מציגות את אותו אובייקט מסובב באופן שונה או אובייקטים נפרדים. המחקר גילה מתאם ליניארי חיובי בין זמן התגובה (RT) לבין הפער הזוויתי (AD) בין ייצוגים של אותו אובייקט. מתאם זה ידוע בשם אפקט פער הזווית (ADE). ADE נחשב לביטוי התנהגותי של MR והפך נפוץ במספר מחקרים משפיעים הבאים בתחום 13,14,15,16,17,18,19,20,21,22,23,24,25. העצמים התלת-ממדיים ששימשו במחקר SM הורכבו מ-10 קוביות רציפות שנוצרו על ידי חלוץ הגרפים הממוחשבים מייקל נול במעבדות בל²⁶. הם מכונים דמויות SM והם נמצאים בשימוש נרחב במחקרי MR.

שתי התפתחויות היו בעלות חשיבות רבה בעבודתם המכוננת של שפרד ומצלר; ראשית, בהתחשב בתרומות בתחום הערכות MR. בשנת 1978 פיתחו ונדרברג וקוזה²⁷ מבחן פסיכומטרי בן 20 פריטים בעיפרון ונייר המבוסס על דמויות SM "זהות או שונות" שנודע בשם מבחן הסיבוב המנטלי (VKMRT). כל פריט בדיקה מציג גירוי מטרה. על המשתתפים לבחור מבין ארבעה גירויים, אילו מהם מייצגים את אותו אובייקט המתואר בגירוי המטרה, ואילו לא. VKMRT שימש לחקר המתאם בין יכולת MR לבין גורמים שונים אחרים, כגון הבדלים הקשורים למין ^{6,21,24,28,29,30}, הזדקנות והתפתחות ^6,31,32, ביצועים אקדמיים^8,33, ומיומנויות במוסיקה ובספורט³⁴. בשנת 1995, פיטרס ואחרים פרסמו מחקר עם נתונים משורטטים מחדש עבור VKMRT^35,36. באופן דומה, בעקבות תכנון המשימה "זהה או שונה", מגוון ספריות אחרות של גירויים שנוצרו על ידי מחשב שימשו לחקר תהליכי MR ולהערכת יכולות MR (גרסאות תלת-ממדיות של גירויי SM המקוריים 19,22,23,37,38, גוף האדם המחקה דמויות SM 25,39,40, מצולעים שטוחים לסיבוב דו-ממדי^{41, 42}, אנטומיה ואיברים⁴³, צורות אורגניות⁴⁴, מולקולות^45,46, בין היתר²¹). מבחן ההדמיה המרחבית של Purdue (PSVT) שהוצע על ידי גואי בשנת 1976⁴⁷ רלוונטי גם הוא. זה כרוך בסוללה של בדיקות, כולל MR (PSVT:R). תוך שימוש בגירויים שונים מאלה של VKMRT, PSVT:R דורש מהמשתתפים לזהות פעולת סיבוב בגירוי מודל וליישם אותה מנטלית על גירוי אחר. PSVT:R נמצא גם בשימוש נרחב, במיוחד במחקרים שחקרו את התפקיד של MR בהשגת STEM 48,49,50.

ההתקדמות השנייה בעלת חשיבות רבה בעבודתם המכוננת של שפרד ומצלר כוללת את התרומות להבנת תהליך ה- MR, בפרט, עם השימוש במכשירי מעקב עיניים. בשנת 1976, Just and Carpenter¹⁴ השתמשו בציוד מעקב עיניים אנלוגי מבוסס וידאו כדי לערוך מחקר המבוסס על ניסוי ADE של שפרד ומצלר. מהתוצאות שלהם על תנועות עיניים סקאדיות ו- RTs, הם הציעו מודל של תהליכי MR המורכב משלושה שלבים: 1) שלב החיפוש, שבו חלקים דומים של הדמויות מזוהים; 2) שלב הטרנספורמציה וההשוואה, שבו אחד החלקים המזוהים מסובב מנטלית; 3) שלב האישור, שבו מחליטים אם הנתונים זהים או לא. השלבים חוזרים על עצמם באופן רקורסיבי עד לקבלת החלטה. כל צעד מתאים לדפוסי תנועת עיניים סקאדיים וקיבועים ספציפיים ביחס הדוק ל- ADEs שנצפו. לפיכך, על ידי התאמה בין פעילות העיניים לנתונים כרונומטריים, ג'אסט וקרפנטר סיפקו חתימה קוגניטיבית לחקר תהליכי MR. עד כה, מודל זה, אם כי עם התאמות, אומץ במספר מחקרים 15,42,46,51,52,53.

בעקבות מסלול זה, מספר מחקרים עוקבים אחר התנהגות 18,19,22,23,25,34,40,54,55 ופעילות מוחית 20,22,56,57 נערכו תפקודים במהלך סיבוב גירויים. ממצאיהם מצביעים על שיתוף פעולה בין MR לבין תהליכים מוטוריים. יתר על כן, יש עניין גובר בחקירת אסטרטגיות לפתרון בעיות הקשורות ל- MR ביחס להבדלים אינדיבידואליים 15,41,46,51,58.

בסך הכל, ניתן לחשוב כי תכנון מחקרים המכוונים להבנת תהליכי MR מבוסס על הצגת משימה עם גירויים חזותיים המבקשת מהמשתתפים לבצע פעולת MR הכרוכה בתגובה מוטורית. אם תגובה זו מאפשרת סיבוב של הגירויים, זה נקרא לעתים קרובות סיבוב פיזי (PR). בהתאם למטרות הספציפיות של כל מחקר, אסטרטגיות ומכשירים שונים שימשו לרכישת נתונים וניתוח של MR ויחסי ציבור. בשלב הצגת גירוי המשימה, ניתן לשנות את סוגי הגירויים (כלומר, דוגמאות שהובאו בעבר); ההקרנה (תמונות שנוצרו על ידי מחשב בתצוגות מסורתיות 22,23,25,29,40,41,59, כמו גם בסטריאוסקופים¹⁹ וסביבות וירטואליות ⁶⁰ ומציאות מעורבת⁴³); והאינטראקטיביות של הגירויים (תמונות סטטיות ^12,27,36, אנימציות⁶¹, ואובייקטים וירטואליים אינטראקטיביים 19,22,23,43,53,59).

MR מוסק בדרך כלל ממדדי RTs (ADE), כמו גם פעילות עינית ומוחית 25,46,62. פעילות העין נמדדת באמצעות נתוני מעקב עיניים המורכבים מתנועות סקאדיות וקיבוע 14,15,42,51,52,54,58,60, וכן אישונים⁴⁰. נתוני RT נובעים בדרך כלל מנתוני תגובת מנוע שנרשמו בעת הפעלת מכשירים שונים כגון מנופים¹³, כפתורים ומתגים ^14,53, דוושות⁵³, ידיות סיבוביות¹⁹, ג'ויסטיקים³⁷, מקלדת⁶¹ ועכבר 29,58,60, גלגלי הנעה⁵³, חיישנים אינרציאליים^22,23, מסכי מגע^52,59ומיקרופונים²²., כדי למדוד יחסי ציבור, בנוסף ל- RTs, תכנון המחקר יכלול גם הקלטת סיבובים ידניים של גירויים אינטראקטיביים בזמן שהמשתתפים מבצעים את משימת MR 22,23,52,53.

בשנת 1998, Wohlschläger ו-Wohlschläger¹⁹ השתמשו במשימות "זהות או שונות" עם גירויי SM וירטואליים אינטראקטיביים עם ידית, עם סיבובים מוגבלים לציר אחד לכל משימה. הם מדדו RT ואת התיעוד המצטבר של סיבובים פיזיים שבוצעו במהלך המשימות. הם השוו מצבים עם ובלי סיבוב בפועל של הגירויים האינטראקטיביים, והגיעו למסקנה כי MR ויחסי ציבור חולקים תהליך משותף הן לסיבובים דמיוניים והן לביצוע בפועל.

בשנת 2014 נערכו שני מחקרים שעסקו באותו סוג של משימות עם גירויים אינטראקטיביים וירטואליים^22,23. עם זאת, האובייקטים עברו מניפולציה באמצעות חיישנים אינרציאליים שלכדו תנועה בחלל תלת ממדי. בשני המקרים, בנוסף ל- RTs, נרשמו מסלולי סיבוב - התפתחות הבדלי סיבוב בין התייחסות לגירויים אינטראקטיביים במהלך המשימות. ממסלולים אלה ניתן היה לחלץ הן מידע מצטבר (כלומר, מספר הסיבובים הכולל, ביחידות קווטרניוניות) והן מידע מפורט על אסטרטגיות פתרון. Adams et ^al.23 חקרו את ההשפעה השיתופית בין MR ויחסי ציבור. בנוסף RTs, הם השתמשו אינטגרל של מסלולי סיבוב כפרמטר של דיוק ואובייקטיביות של רזולוציה. פרופילי עקומות פורשו על פי מודל^{תלת שלבי 63} (תכנון, סיבוב גדול, התאמה עדינה). התוצאות מצביעות על כך של-MR ול-PR אין בהכרח גורם משותף אחד. Gardony et ^al.22 אספו נתונים על RT, דיוק וסיבוב בזמן אמת. בנוסף לאישור הקשר בין MR ויחסי ציבור, ניתוח מסלולי הסיבוב גילה כי המשתתפים תמרנו את הנתונים עד שיכלו לזהות אם הם שונים או לא. אם הם היו זהים, המשתתפים היו מסובבים אותם עד שהם נראו אותו דבר.

בהמשך לאסטרטגיה זו, בשנת 2018, Wetzel ו- Bertel⁵² השתמשו גם בדמויות SM אינטראקטיביות במשימות "זהות או שונות" באמצעות טאבלטים עם מסך מגע כממשק. בנוסף, הם השתמשו במכשיר מעקב עיניים כדי להשיג נתונים מצטברים על זמן קיבוע ומשרעת סקאדית כפרמטרים של העומס הקוגניטיבי המעורב בפתרון משימות MR. המחברים אישרו את המחקרים הקודמים שנדונו לעיל בנוגע ליחסים בין MR ויחסי ציבור ותהליכי פתרון המשימות. עם זאת, במחקר זה, הם לא השתמשו במיפוי קיבוע ונתוני סקאדות עבור הגירויים.

גישות מתודולוגיות למיפוי נתוני מעקב עיניים על פני אובייקטים תלת-ממדיים וירטואליים הוצעו ושופרו ללא הרף, בדרך כלל על ידי חוקרים המעוניינים לחקור את הגורמים הקשורים לתשומת לב חזותית בסביבות וירטואליות⁶⁴. למרות שהן זולות ומשתמשות במכשירי מעקב עיניים דומים, ככל הנראה, שיטות אלה לא שולבו ביעילות ברפרטואר הניסויי המשמש במחקרי סיבוב מנטלי עם אובייקטים תלת-ממדיים אינטראקטיביים כמו אלה שהוזכרו קודם לכן. לעומת זאת, לא מצאנו מחקרים בספרות המדווחים על מיפוי בזמן אמת של נתוני קיבוע ותנועת סקאדה על עצמים תלת-ממדיים אינטראקטיביים. נראה שאין שיטה נוחה לשלב נתוני פעילות עיניים עם מסלולי סיבוב בקלות. במחקר זה אנו שואפים לתרום להשלמת פער זה. ההליך מוצג בפירוט, החל מרכישת נתונים ועד ליצירת פלט גרפי.

במאמר זה אנו מתארים בפירוט שיטה לחקר תהליכי סיבוב מנטליים עם אובייקטים תלת-ממדיים וירטואליים אינטראקטיביים. ההתקדמות הבאה מודגשת. ראשית, הוא משלב מוטוריקה התנהגותית כמותית (סיבוב אובייקטים ידני באמצעות ממשק מחשב) ואיסוף נתונים עיני (מעקב עיניים) במהלך מפגשי אינטראקציה עם מודלים וירטואליים תלת-ממדיים. שנית, הוא דורש רק ציוד מחשב קונבנציונלי והתקני מעקב עיניים לתכנון משימות חזותיות, רכישת נתונים, הקלטה ועיבוד. שלישית, הוא מייצר בקלות פלט גרפי כדי להקל על ניתוח נתונים - פער זוויתי, סיבוב פיזי, מסלולי סיבוב קווטרניוניים, ומיפוי פגעים של נתוני מעקב עיניים על אובייקטים וירטואליים תלת ממדיים. לבסוף, השיטה דורשת רק תוכנה חופשית. כל הקוד והסקריפטים שפותחו זמינים ללא תשלום (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Access restricted. Please log in or start a trial to view this content.

Protocol

1. הכנת כלים לאיסוף נתונים

1. הגדר את איסוף הנתונים המקוון (אופציונלי).
   הערה: שלב זה מתאר כיצד להגדיר שכפול הניתן להתאמה אישית של קוד הפרויקט ודף האינטרנט הפועל (עיין במאמר קובץ משלים 1). שלב זה הותאם מהערכות הלימוד הזמינות ב- https://pages.github.com/ וב- https://github.com/jamiewilson/form-to-google-sheets. אם משתמשים מעוניינים רק בשיטת עיבוד הנתונים ולא בהקלטת הנתונים, הם יכולים להשתמש בדף האינטרנט https://rodrigocnstest.github.io/iRT_JoVE.html, יחד עםטבלה משלימה S1 ואת קבצי המאגר ב- https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, ודלג על שלבים 1.1, 1.2 ושלבי המשנה שלו.
   1. היכנס ב- GitHub (https://github.com/).
   2. צור שכפול ציבורי של מאגר דפי GitHub המקורי.
      1. לחץ על ייבוא מאגר https://github.com בזמן שאתה מחובר לחשבון.
      2. בשדה כתובת URL לשכפול של המאגר הישן שלך , הדבק את https://github.com/rodrigocns/rodrigocns_JoVE כתובת ה- URL בשדה שם המאגר , הקלד username.github.io, כאשר username הוא שם המשתמש המשמש בחשבון וודא שהאפשרות Public מופעלת. לאחר מכן, לחץ על הכפתור הירוק התחל לייבא.
         הערה: המאגר מכיל כעת את רוב הקבצים הדרושים לשארית הגדרה זו, וכל השינויים שיבוצעו במאגר יעודכנו באתר האינטרנט לאחר מספר דקות. לדוגמה, משתמש בשם rodrigocnstest ייגש לדף שלו ב-https://rodrigocnstest.github.io ולמאגר GitHub שלו ב-https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. הגדר גיליון אלקטרוני בענן לאחסון נתוני הניסוי באופן מקוון.
      1. הירשמו לחשבון Google או התחברו אליו.
      2. בזמן שאתה מחובר לחשבון, עבור אל הקובץ הנקי של הגיליונות האלקטרוניים של iRT הזמין בכתובת https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=sharing.
      3. בתוך גיליון אלקטרוני זה, לחץ על קובץ | צור עותק. יופיע חלון אישור קטן.
      4. בתוך החלון הקטן, תן שם לקובץ ולחץ על כפתור צור עותק .
   4. הגדירו סקריפט של Google Apps כדי להפוך את אחסון הנתונים בתוך הגיליון האלקטרוני שיצרתם לאוטומטי.
      1. בתוך קובץ הגיליון האלקטרוני, לחץ על האפשרות הרחבה | קובץ Script של יישומים.
         הערה: יש ליצור קובץ script זה או לגשת אליו מתוך הגיליון האלקטרוני כך שהוא ישויך אליו. ייתכן שניסיון ליצור קובץ Script חיצוני לא יפעל.
      2. לחץ על הפעל כפתור להפעלת הסקריפט בפעם הראשונה.
      3. לחץ על כפתור סקירת הרשאות . יופיע חלון חדש. לחץ על אותו חשבון המשמש בעת יצירת הגיליון האלקטרוני.
         הערה: אם זו הפעם הראשונה שמבצעת שלב זה, עשויה להופיע התראת בטיחות המזהירה את המשתמש לגבי האפליקציה המבקשת גישה למידע מהחשבון. זה בטוח מכיוון שהאפליקציה מנסה להגיע לתוכן הגיליון האלקטרוני ומבקשת רשות למלא אותו בנתונים. אם לא מופיעות אזהרות, ניתן לדלג על שלב 1.1.4.4.
      4. לחץ על מתקדם | עבור אל מ-iRT ל-sheets (לא בטוח) | לחצן 'אפשר '.
         הערה: לאחר הביצוע, הודעה המציינת שהביצוע הושלם אמורה להופיע ביומן הביצוע.
      5. בחלונית ההזזה השמאלית, לחץ על כפתור טריגרים (הסמל הרביעי מלמעלה למטה) | + הוסף כפתור טריגר .
      6. תחת בחר איזו פונקציה להפעיל, בחר doPost; תחת בחר מקור אירוע, בחר מתוך גיליון אלקטרוני; תחת בחר סוג אירוע, בחר בעת שליחת טופס. לאחר מכן, לחץ על שמור. אם מופיעים פריטים מוקפצים של הרשאות, בצע את השלבים 1.1.4.3-1.1.4.4. אם הדפדפן חוסם בסופו של דבר את החלון הקופץ, בטל את חסימתו.
      7. לחץ על הלחצן הנפתח פרוס | פריסה חדשה.
      8. רחף עם העכבר מעל סמל גלגל השיניים וודא שהאפשרות Web App נבחרה.
      9. כתוב תיאור בשדה תיאור חדש , כגון פריסה 1; בשדה למי יש גישה , בחר כל אחד ולאחר מכן לחץ על לחצן פריס .
         הערה: מטרת השדה תיאור חדש היא לארגן פריסות script של אחד. ניתן לקרוא לו כרצון הקורא, כגון פריסה ראשונה. השדה בצע כ אמור להופיע כבר כאני(דואר אלקטרוני), כאשר דואר אלקטרוני הוא הדואר האלקטרוני ששימש עד כה.
      10. בתוך החלון המוקפץ החדש, העתק את כתובת ה- URL של יישום האינטרנט של פריסת קובץ ה- Script.
          הערה: אם מסיבה כלשהי, בסופו של דבר אתה מאבד את כתובת ה- URL של יישום האינטרנט שהועתק, אחזר אותה על-ידי לחיצה על התפריט הנפתח פריסה | נהל פריסות. כתובת ה- URL של יישום האינטרנט אמורה להיות שם.
      11. עבור אל הדף בכתובת https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js שבו rodrigocnstest הוא שם המשתמש המשמש ב- GitHub. החלף את כתובת ה- URL הקיימת בשורה 5 עבור כתובת ה- URL המועתקת של יישום האינטרנט בשלב 1.1.4.10 ולחץ על הלחצן הירוק בצע שינויים....
          הערה: ערך כתובת ה- URL המועתק צריך להישאר בין מרכאות בודדות ' ' או כפולות " ". בדוק שוב שכתובת ה- URL שהועתקה היא הנכונה מיישום האינטרנט.
      12. לבסוף, לחץ על בצע שינויים כפתור אישור באמצע המסך.
   5. ודא שהתהליך הושלם כראוי ושהדף פועל.
      1. עבור אל המאגר בכתובת https://github.com/username/username.github.io/, כאשר username הוא שם המשתמש המשמש ב- GitHub, ובדוק אם הפריסה עודכנה לאחר השינויים שבוצעו בשלב 1.4.14.
      2. נווט אל דף האינטרנט בכתובת https://username.github.io/iRT_JoVE, שנה את שם המשתמש לשם המשתמש המשמש ב- GitHub ולאחר מכן לחץ על הבא.
      3. לחץ על Go, בצע אינטראקציה כלשהי על-ידי לחיצה וגרירה של האובייקט משמאל עם העכבר ולאחר מכן לחץ על הלחצן DONE! .
      4. חזור לקובץ הגיליון האלקטרוני שהוגדר בשלבים 1.1.3 ו- 1.1.4, ואמת את הנוכחות של שורת נתונים חדשה שנוספה עבור כל לחיצה על לחצן סיום .
2. הגדר רכישת נתונים לא מקוונת (אופציונלי).
   הערה: השיטה המיועדת להפעלה ולרכישה של נתוני משימת הסיבוב האינטראקטיבית (iRT) היא מקוונת באמצעות שירותי הענן שהוגדרו בשלבים המתוארים לעיל. אם תרצה בכך (מכיוון שהחיבור לאינטרנט עשוי להוות בעיה או שיש דרך חלופית להפעיל אותו), ניתן גם להפעיל את הבדיקה באופן מקומי עם או בלי חיבור לאינטרנט במקום שבו הבדיקה תבוצע. השלבים הבאים הם חלופה אופציונלית ומתארים כיצד להשיג זאת. אחרת, דלג לשלב 1.3.
   1. גש למאגר GitHub בקישור: https://github.com/rodrigocnstest/rodrigocnstest.github.io. לחץ על הכפתור הירוק < > קוד | הורד את ZIP ולאחר מכן, בטל את דחיסת הקבצים שהורדת.
      הערה: שינויים שיבוצעו בקבצים המאוחסנים באופן מקומי לא ישנו את הקבצים במאגר ולהיפך. יש להחיל את כל השינויים המיועדים לשתי הגירסאות על שני המיקומים, באמצעות העתקה ידנית של הקבצים המעודכנים או באמצעות שימוש בשולחן העבודה של git/GitHub.
   2. קבל את הגרסה העדכנית ביותר של Mozilla Firefox דרך הקישור: https://www.mozilla.org/en-US/firefox/new/.
   3. פתח את דפדפן Mozilla Firefox, הזן "about:config" בחריץ כתובת האתר, הזן "security.fileuri.strict_origin_policy" בשדה החיפוש ושנה את ערכו ל- false. הערה: כעת, Mozilla Firefox במערכת ההפעלה Windows אמור להיות מסוגל לגשת באופן מקומי לקבצי דפי האינטרנט שהורדו במחשב שלך. ניתן להגדיר דפדפנים ומערכות הפעלה אחרים לעבודה מקומית, כל אחד עם ההתקנה שלו המתוארת בקישור http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. הגדר את כלי עיבוד הנתונים.
   1. הורד והתקן את הגרסה העדכנית ביותר של GNU Octave בשעה https://octave.org/download.
4. הגדר את מכשיר המעקב אחר העיניים.
   1. ודא שתוכנת מערכת ההקלטה מותקנת במחשב הנייד.
   2. ודא כי חדר המחקר נקי ומאורגן היטב כדי למנוע הסחות דעת.
   3. השתמשו בתאורה מלאכותית בחדר כדי לשמור על תאורה עקבית לאורך כל היום.
   4. התקן את המחשב על שולחן וודא שהמשתתף יכול להזיז את העכבר בנוחות.
   5. ספקו כיסא נוח למבחן, רצוי כיסא קבוע, כדי למזער את התנועה במהלך המבחן.
   6. חבר כבל USB אחד כדי להפעיל את תאורת האינפרא-אדום וכבל USB נוסף בין המחשב הנייד למחשב לבין עוקב העיניים של המצלמה.
   7. מקם את מעקב העיניים מתחת למסך.

2. איסוף נתונים

1. אתחל את תוכנת איסוף הנתונים.
   1. הפעל את תוכנת המעקב אחר העיניים במחשב כדי לקבל נתונים מעוקב העיניים.
   2. בחר באפשרות לכידת מסך בחלון הראשי של התוכנה כדי ללכוד מבט במהלך הניסוי (ניתן גם להשתמש בתוכנה זו להדמיית מפת חום ונתוני ייצוא גולמיים).
   3. לחץ על פרוייקט חדש כדי ליצור פרוייקט חדש ותיקיית פרוייקט שבה יש לשמור את הנתונים.
   4. פתח את דף הבדיקה בשעה https://rodrigocnstest.github.io/iRT_JoVE.html אם אתה משתמש בדף המוצע כדוגמה או בדף שנוצר בשלב 1.1. לחלופין, פתח את קובץ iRT_JoVE.html באופן מקומי מהדפדפן שהוגדר בעבר בשלב 1.2.
   5. במידת הצורך, מלא את שדות השם והדואר האלקטרוני כדי לסייע בזיהוי נתונים, וסמן את התיבה כדי להוריד עותק גיבוי של הנתונים המיוצרים.
      הערה: אם אתה משתמש בשיטה לא מקוונת (שלב 1.2), מומלץ להוריד את עותקי הגיבוי.
   6. נסה להפעיל את הניסוי פעם אחת כדי לוודא שהדפדפן יטען את הרכיבים כראוי, ואין בעיות במשימות המוצגות או ברכישת הנתונים.
2. הפעל את הניסוי.
   1. הסבירו למשתתף את מטרת הניסוי, את הטכנולוגיה שבה נעשה שימוש ואת קריטריוני ההכללה/אי-הכללה. ודא שהמשתתף הבין הכל. בקש מהמשתתף למלא את טופס ההסכמה.
   2. בקשו מהמשתתף לשבת מול מערכת מעקב העיניים ולהרגיש בנוח ככל האפשר.
   3. הזיזו את הכיסא כדי להבטיח מרחק אופטימלי בין המשתתף למצלמה (האורך האידיאלי הוא 65 ס"מ מעוקב העיניים לעיני המשתתף).
   4. בקשו מהמשתתף להישאר דומם ככל האפשר במהלך הניסוי. כוונן את גובה המצלמה כדי ללכוד כראוי את האישונים של המשתתף (תוכנות מסוימות מדגישות את האישון כדי להראות את השתקפות הקרנית).
   5. לחץ על Enable Auto Gain כדי למטב את מעקב האישונים על ידי שינוי מרווח המצלמה עד למציאת האישונים (תוכנות מסוימות אינן כוללות אפשרות זו).
   6. בקשו מהמשתתפים להסתכל על סדרה של נקודות על המסך ולעקוב אחר תנועת הנקודה מבלי להזיז את ראשם.
   7. לחץ על כיול כדי להתחיל בכיול (זה יבטיח שעוקב העיניים יוכל לעקוב אחר המקום שבו המשתתף מסתכל על המסך).
      הערה: המסך יתרוקן וסמן כיול (נקודה) יעבור בין חמישה מיקומים על המסך.
   8. לאחר הכיול, אומדן נקודת מבט חזותית ישורטט על המסך כדי לבדוק את דיוק הכיול. בקשו מהמשתתף להסתכל על נקודה מסוימת בתצוגה כדי לראות אם המבט יוצג כראוי.
   9. אם הכיול אינו משביע רצון, כוונן את המצלמה ונסה שוב את הכיול עד שהמערכת עוקבת אחר המבט כראוי.
   10. לחץ על כפתור איסוף נתונים בצד ימין של תוכנת מעקב העיניים (התפריט הראשי) כדי להפעיל את מצב איסוף הנתונים. התצוגה בזמן אמת של המסך שצולם תוצג עם נתוני מבט המוצגים בחלון התצוגה הראשי.
   11. לחץ על כפתור הווידאו מבט בתפריט הראשי כדי להציג את פני המשתמש שנלכדו על ידי מעקב העיניים. לאחר מכן, לחץ על התחל רשומה כדי להתחיל את הניסוי.
       הערה: במהלך הניסוי, האישון של המשתתפים מודגש, ועינו מוצגת כנקודה הנעה על פני מסך המחשב הנייד. ודא שעוקב העיניים עוקב אחר האישון והעין לאורך המסך.
   12. אם הנקודה נעלמת או מהבהבת לעתים קרובות, עצרו את הניסוי ונסו לכייל שוב.
   13. פתחו את חלון ה-iRT שנפתח בעבר ואמרו למשתתף ללחוץ על הבא.
   14. תן את ההוראות הבאות למשתתף: "בחלק זה, תבצע שלוש משימות סיבוב. כאשר אתה לוחץ על GO! שני אובייקטים יופיעו משני צדי המסך. המטרה שלך היא לסובב את האובייקט מימין עד שהוא יתאים ככל האפשר לאובייקט משמאל. כדי לסובב את האובייקט, לחץ עליו וגרור את העכבר מעליו. כשתסיים כל אחת משלוש המשימות, לחץ על בוצע! לסיכום".
       הערה: עבור כל משימה, נתוני iRT מעבר לסימן 5 הדקות (327^השנייה בדיוק) עלולים ללכת לאיבוד. ככל שאנו מפתחים את השיטה עוד יותר, יש להרחיב גבול זה.
   15. בסוף הניסוי, ודא שעוקב העיניים כבוי מהכבל המאריך והחזיר את מכסה העדשה למצלמה.
3. חלץ את הנתונים.
   1. לאחר השלמת איסוף נתוני מעקב העיניים, לחץ על נתח נתונים כדי לגשת לנתונים שנאספו.
   2. ייצא קובץ .csv עם כל הנתונים שנרשמו עבור המשתמש.
      הערה: העמודה הראשונה של נתוני מעקב עיניים חייבת להיות תקופת UNIX של הנתונים, מכיוון שזו הדרך היחידה להתאים ערכות נתונים שונות כראוי בזמן. אם הקובץ אינו מכיל קובץ כזה, יש להמיר אותו מכל תקן זמן אחר שנעשה בו שימוש. הקובץ יכול להיות בפורמט ".csv" או ".xlsx".
   3. אם אתה משתמש בגרסה המקוונת של דף משימות הסיבוב האינטראקטיבי (שלב 1.1), פתח את קובץ Google Sheets המשמש לקבלת הנתונים המקוונים (שנוצר בשלב 1.1.3) והורד אותו על ידי לחיצה על קובץ | הורדה | Microsoft Excel (.xlsx).
      הערה: נתונים אלה ארוזים כדי להקל על העברת הנתונים (כל משימה מתאימה לשורה אחת מלאה בנתונים). כדי לעבד את הנתונים בפנים, יש "לפרק" תחילה כל שורה של נתונים ארוזים.

3. עיבוד וניתוח נתונים

1. בטל את האריזה, מזג ועבד את הנתונים.
   הערה: השלבים הבאים מתארים כיצד לעבד את הנתונים באמצעות קבצי ה-script שסופקו (עיין בקובץ משלים 2). סקריפטים של GNU Octave ינחו את המשתמש קלט לגבי הקבצים שלו. אם הקלט נשלח כריק, ערכי ברירת המחדל, המפנים לנתונים לדוגמה שסופקו אם אף נתוני משתמש לא החליפו אותם, ישמשו במקום זאת. לאחר שהסקריפט מסיים לפעול, ניתן לסגור אותו.
   1. הורד ובטל את דחיסת המאגר שבו נעשה שימוש (של המשתמש עצמו או של המקור ב- https://github.com/rodrigocns/rodrigocns_JoVE) אם הוא עדיין לא הורד.
   2. ודא שקבצי ה- Script 1.unpacking_sheets.m, 2.data_merge_and_process.m 3.3D- rotational trajectory.m ודגמי התיקיות נמצאים בתוך המאגר שהורדת בתיקיה Octave, והעבר את קבצי הנתונים שהורדו משלבים 2.3.2 ו- 2.3.3 לאותה תיקיה שבה נמצאים סקריפטים של אוקטבות.
      הערה: ייתכן שכל הקבצים הקיימים שכבר נמצאים בתיקיה עם שמות זהים לאלה של הקבצים החדשים שנכתבו יוחלפו. שנה את שם הקבצים או העבר אותם לתיקיה אחרת בהתאם.
   3. פתח את הסקריפט 1.unpacking_sheets.m עם GNU Octave Launcher. בכרטיסייה עורך , הפעל את הסקריפט על ידי לחיצה על הירוק שמור קובץ והפעל כפתור, כדי לפרק את הנתונים למבנה קריא יותר.
      הערה: אם אחד מקבצי הנתונים המבוקשים פתוח באופן מקומי, זכור לסגור אותם לפני הפעלת קובץ ה-script. כל קובצי הסקריפט מסוג .m בוצעו באמצעות GNU Octave Launcher.
   4. שתי הנחיות יופיעו, בזו אחר זו. הזן את שם הקובץ שהורדת בתוך הבקשה הראשונה ואת שם הקובץ הלא ארוז בתוך השדה השני. לחלופין, השאר את שני שדות הבקשה ריקים כדי להשתמש בשמות ברירת המחדל המיועדים לקבצים לדוגמה הכלולים. המתן מספר דקות (בהתאם לעוצמת הקול של הנתונים) עד שחלון קופץ יודיע למשתמש שהתהליך הושלם ושהקובץ החדש נכתב.
   5. פתח והפעל את קובץ ה- Script 2.data_merge_and_process.m כדי למזג את הנתונים משניהם, מעקב אחר העיניים ו- iRT.
      הערה: למרות שסקריפט זה מורכב, וכולל מאות שורות קוד, הוא מחולק לשלושה חלקים עיקריים: הגדרות, פונקציות וסקריפטים. כולם הם העירו ביסודיות והוסברו, להקל על שינויים עתידיים, במידת הצורך.
   6. יופיעו ארבע הנחיות. הזן את הערך sessionID, ערך taskID (שניהם מטבלת הנתונים iRT), שם קובץ נתוני iRT לא ארוזים (נכתב בשלב 3.1.5) ושם קובץ נתוני מעקב עיניים (מיוצא בשלב 2.3.2) או השאר את כולם ריקים כדי להשתמש בערכי ברירת המחדל.
      הערה: לאחר מספר דקות, חלון מוקפץ של עזרה יציין שהסקריפט השלים את החישוב ואת שמות הקבצים שבהם נעשה שימוש ונוצרו. בתהליך התסריט יופיעו שלוש חלקות לדוגמה של פער זוויתי: עלילה פשוטה, עלילה עם נתוני מבט צבעוני ועלילה עם נתוני קוטר אישון. שני הקבצים שנוצרו הם פלט מיזוג X Y.xlsx ופלט jmol קונסולת X Y.xlsx, כאשר X הוא הערך sessionID , ו - Y הוא הערך taskID , שניהם נכתבו בתחילת שלב 3.1.6.
2. רינדור תמונות מסלול סיבוב תלת-ממדי.
   1. פתח והפעל את קובץ ה- Script 3.3D מסלול הסיבוב.m.
   2. יופיעו שלוש הנחיות. הזן את הערך sessionID, ערך taskID ושם קובץ נתוני iRT לא ארוזים, או השאר אותם ריקים כדי להשתמש בערכי ברירת המחדל.
      הערה: יופיע גרף תלת-ממדי. הגרף המעובד הוא מסלול הסיבוב התלת-ממדי של ההפעלה והמשימה שצוינו.
3. הפעל שוב את ההנפשות.
   1. כדי להפעיל מחדש את אינטראקציית המשימות של המשתתף, תחילה, עבור אל דף האינטרנט של המשימה האינטראקטיבית, התחל את הבדיקה (המציגה את שני המודלים התלת-ממדיים), הזז את מצביע העכבר בפינה השמאלית העליונה של המסך עד שסמל העכבר ישתנה לטקסט, כמתואר בקובץ משלים 2, ולאחר מכן לחץ על הטקסט הבלתי נראה של איתור באגים , והפעל את מצב איתור הבאגים.
   2. מהכפתורים המופיעים בין הדגמים, לחץ על כפתור timerStop כדי להפריע למשימה ולחץ על כפתור הקונסולה כדי לפתוח את קונסולת JSmol של הדגם מימין. אם המשימה מהאינטראקציה של עניין לא היה הראשון, לחץ על הכפתורים הממוספרים בתוך אזור ניפוי הבאגים העליון כדי לשנות את המשימה המוצגת על המסך.
      הערה: JSmol היא תוכנת המידול המולקולרי המשמשת בדף האינטרנט.
   3. פתח את פלט הקובץ jmol console.xlsx והעתק את כל הדף של פקודות Jmol.
      הערה: כל עמוד מכיל פקודות עבור סצינה או הנפשה אחרת.
   4. בתוך מסוף JSmol, הדבק את רשימת הפקודות שהועתקו ולחץ על לחצן הפעל או הקש Enter במקלדת כדי לבצע אותו.
   5. אם תרצה, צור הנפשה .gif. כתוב את הפקודה לכידת "filename" SCRIPT "פלט" בתוך מסוף JSmol, כאשר filename הוא שם הקובץ .gif שיש ליצור ופלט הוא כל רשימת הפקודות שהועתקו בשלב 3.3.3, תוך שמירה על שתיהן בתוך המרכאות הכפולות.
      הערה: ככל שהפקודות מורכבות יותר, עם דגמים גדולים יותר או שינויים רבים יותר בזמן, וככל שהמפרט של המחשב שבו נעשה שימוש פחות חזק, כך ההנפשה תהיה איטית יותר. Jmol מתמקדת בהדמיה של תרכובות כימיות ותגובות, וסוג האנימציות המיוצרות במחקר שלנו מותח את גבולות יכולות העיבוד של Jmol. נקודות אלה יש לשקול ולקחת בחשבון בעת ביצוע כל מדידה כמותית עם אנימציה זו.

4. התאמה אישית של משימות

הערה: כל החלק הזה הוא אופציונלי ומומלץ רק למי שאוהב להתנסות או להבין כיצד לתכנת. להלן, תוכלו למצוא כמה מהאפשרויות הרבות הניתנות להתאמה אישית הזמינות, ואפשרויות נוספות יהיו זמינות ככל שנפתח את השיטות הלאה.

1. קביעת תצורה של משימות חדשות או קיימות.
   1. הגדר כמה משימות אינטראקטיביות יבוצעו על ידי המשתתף ותן שם לכל אחת מהן בקובץ object_configs.js בתוך המערך task_list החלפת שמות הפריטים הקיימים או הוספת פריטים נוספים. ודא שכל שם הוא ייחודי מכיוון שהם משמשים מאוחר יותר כמזהים.
   2. בחר קובצי קואורדינטות תלת-ממד תואמי JSmol כדי לבצע את המשימות האינטראקטיביות (http://wiki.jmol.org/index.php/File_formats). העתק קבצים אלה לתיקייה models.
      הערה: קבצי ה- Script הכלולים במאמר זה ממוטבים עבור מודלים אסימטריים המשתמשים בתבנית הקובץ xyz. בעת בחירת קובצי קואורדינטות, הימנע מסימטריה של סיבוב מכיוון שיש להם פתרונות מעורפלים⁶⁵.
   3. הגדר את הגדרות הרינדור של אובייקטים תלת-ממדיים בתוך הפונקציה prepMolecule(num).
      הערה: כל השינויים ממשימה אחת לאחרת המבוצעים על-ידי JSmol עוברים לכאן: שינוי תבנית הצבע, שינוי הגודל או אופן עיבוד הרכיבים הגרפיים, התמצאות, תרגום, הסתרת חלקים מהאובייקט, טעינת מודלים תלת-ממדיים חדשים וכו' (לדוגמאות נוספות, ראה https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). כל משימה בשם task_list מתאימה לאירוע. כל פקודה לביצוע JSmol עוקבת אחר המבנה: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); כאשר jsmol_obj מתייחס לשינוי האובייקט (jsmol_ref ו- jsmol_obj כברירת המחדל עבור היעד ואובייקטים אינטראקטיביים) ואחריו פקודה אחת או יותר המופרדות על ידי ";".
2. צור מודלים חדשים.
   1. השתמש בכל מודל .xyz שהורד באינטרנט או נבנה על ידי עורכים מולקולריים כגון Avogadro (https://avogadro.cc/).

Access restricted. Please log in or start a trial to view this content.

תוצאות

אבולוציה של פער זוויתי ומשתנים אחרים
כפי שמתואר בשלב 3.3.1 בקובץ משלים 2, שני קנבסים מוצגים למשתתף על מסך צג הווידאו, ומציגים עותקים של אותו אובייקט וירטואלי תלת-ממדי בכיוונים שונים. בבד הציור השמאלי, אובייקט היעד (tObj) נשאר סטטי ומשמש כמיקום היע?...

Access restricted. Please log in or start a trial to view this content.

Discussion

כאמור, מאמר זה נועד להציג הליך מפורט של מיפוי בזמן אמת של נתוני קיבוע ותנועת סקאדה על אובייקטים תלת-ממדיים אינטראקטיביים, הניתן להתאמה אישית בקלות ומשתמש רק בתוכנה הזמינה בחינם, ומספק הוראות שלב אחר שלב כדי לגרום לכל דבר לעבוד.

בעוד שמערך ניסיוני זה כלל מש?...

Access restricted. Please log in or start a trial to view this content.

Materials

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.