Method Article
אלגוריתמים של למידת מכונה אומנו להשתמש בדפוסי פעילות מוחית כדי "לפענח" גירויים המוצגים לבני אדם. כאן, אנו מדגימים שאותה טכניקה יכולה לפענח תוכן וידאו נטורליסטי ממוחם של שני כלבי בית. אנו מוצאים כי מפענחים המבוססים על הפעולות בסרטונים הצליחו בכלבים.
התקדמות אחרונה המשתמשת בלמידת מכונה והדמיית תהודה מגנטית תפקודית (fMRI) כדי לפענח גירויים חזותיים מקליפת המוח האנושית והלא אנושית הביאה לתובנות חדשות לגבי טבע התפיסה. עם זאת, גישה זו עדיין לא יושמה באופן משמעותי על בעלי חיים שאינם פרימטים, מה שמעלה שאלות לגבי טבעם של ייצוגים כאלה ברחבי ממלכת החיות. כאן, השתמשנו ב-fMRI ער בשני כלבי בית ושני בני אדם, שהתקבלו בזמן שכל אחד מהם צפה בסרטונים נטורליסטיים שנוצרו במיוחד ומתאימים לכלבים. לאחר מכן אימנו רשת עצבית (Ivis) לסווג את תוכן הווידאו מתוך סך של 90 דקות של פעילות מוחית מוקלטת מכל אחד מהם. בדקנו גם מסווג מבוסס אובייקטים, המנסה להבחין בין קטגוריות כמו כלב, אדם ומכונית, וגם מסווג מבוסס פעולה, בניסיון להבחין בין קטגוריות כמו אכילה, רחרוח ודיבור. בהשוואה לשני הנבדקים האנושיים, שעבורם שני סוגי המסווגים ביצעו הרבה מעל המקרה, רק מסווגים מבוססי פעולה הצליחו לפענח תוכן וידאו מהכלבים. תוצאות אלה מדגימות את היישום הידוע הראשון של למידת מכונה לפענוח סרטונים נטורליסטיים ממוחו של טורף, ומצביעות על כך שנקודת המבט של הכלב על העולם עשויה להיות שונה למדי משלנו.
מוחותיהם של בני אדם, כמו פרימטים אחרים, מדגימים את החלוקה של זרם הראייה למסלולים גביים וגחוניים עם פונקציות מובהקות וידועות - ה"מה" וה"איפה" של עצמים1. הדיכוטומיה הזו של מה/איפה הייתה היוריסטיקה שימושית במשך עשרות שנים, אך הבסיס האנטומי שלה ידוע כיום כמורכב הרבה יותר, כאשר חוקרים רבים מעדיפים פרצלציה המבוססת על זיהוי לעומת פעולה ("מה" לעומת "איך")2,3,4,5. נוסף על כך, בעוד שהבנתנו את ארגון מערכת הראייה של הפרימטים ממשיכה להיות מעודנת ומתווכחת, הרבה נותר לא ידוע על האופן שבו מוחותיהם של מינים אחרים של יונקים מייצגים מידע חזותי. בחלקה, לאקונה זו היא תוצאה של ההתמקדות ההיסטורית בקומץ מינים במדעי המוח החזותי. גישות חדשות להדמיית מוח, לעומת זאת, פותחות את האפשרות לחקור באופן לא פולשני את מערכות הראייה של מגוון רחב יותר של בעלי חיים, מה שעשוי להניב תובנות חדשות על ארגון מערכת העצבים של היונקים.
כלבים (Canis lupus familiaris) מהווים הזדמנות עשירה לחקור את הייצוג של גירויים חזותיים במין המרוחק אבולוציונית מפרימטים, מכיוון שהם עשויים להיות החיה היחידה שניתן לאמן להשתתף בשיתוף פעולה בסריקת MRI ללא צורך בהרגעה או מעצורים 6,7,8. בשל האבולוציה המשותפת שלהם עם בני האדם במהלך 15,000 השנים האחרונות, כלבים מאכלסים גם את הסביבה שלנו וחשופים לרבים מהגירויים שבני אדם נתקלים בהם על בסיס יומיומי, כולל מסכי וידאו, שהם הדרך המועדפת להציג גירויים בסורק MRI. למרות זאת, כלבים עשויים לעבד את הגירויים הסביבתיים הנפוצים הללו בדרכים שונות למדי מבני אדם, מה שמעלה את השאלה כיצד קליפת המוח הראייתית שלהם מאורגנת. להבדלים בסיסיים - כגון היעדר גומה, או היותו דיכרומט - עשויות להיות השלכות משמעותיות במורד הזרם לא רק על תפיסה חזותית ברמה נמוכה יותר אלא גם על ייצוג חזותי ברמה גבוהה יותר. מספר מחקרי fMRI בכלבים הוכיחו את קיומם של אזורי עיבוד פנים ואובייקטים שנראים כעוקבים אחר הארכיטקטורה הכללית של זרם הגב / הגחון שנראית אצל פרימטים, אם כי עדיין לא ברור אם לכלבים יש אזורי עיבוד פנים כשלעצמם או שאזורים אלה סלקטיביים למורפולוגיה של הראש (למשל, כלב לעומת אדם)9. 10,11,12,13. בלי קשר, מוחו של כלב, בהיותו קטן יותר מרוב הפרימטים, צפוי להיות פחות מודולרי14, כך שייתכן שיהיה יותר ערבוב של סוגי מידע בזרמים או אפילו מתן עדיפות לסוגים מסוימים של מידע, כמו פעולות. הוצע, למשל, שתנועה עשויה להיות מאפיין בולט יותר בתפיסה החזותית של הכלב מאשר מרקם או צבע15. בנוסף, מכיוון שלכלבים אין ידיים, אחד האמצעים העיקריים שבאמצעותם אנו מתקשרים עם העולם, העיבוד החזותי שלהם, במיוחד של חפצים, עשוי להיות שונה למדי מזה של פרימטים. בהתאם לכך, מצאנו לאחרונה ראיות לכך שאינטראקציה עם חפצים דרך הפה לעומת כפות הביא להפעלה גדולה יותר באזורים סלקטיביים של אובייקטים במוח הכלב16.
למרות שכלבים עשויים להיות רגילים למסכי וידאו בסביבה הביתית שלהם, זה לא אומר שהם רגילים להסתכל על תמונות בסביבה ניסיונית באותו אופן שבו אדם היה מסתכל. השימוש בגירויים נטורליסטיים יותר עשוי לעזור לפתור חלק מהשאלות הללו. בעשור האחרון, אלגוריתמים של למידת מכונה השיגו הצלחה ניכרת בפענוח גירויים חזותיים נטורליסטיים מפעילות מוחית אנושית. הצלחות מוקדמות התמקדו בהתאמת עיצובים קלאסיים חסומים לשימוש בפעילות מוחית כדי לסווג את סוגי הגירויים שאדם רואה, כמו גם את רשתות המוח שקידדו את הייצוגים הללו 17,18,19. ככל שפותחו אלגוריתמים חזקים יותר, במיוחד רשתות עצביות, ניתן היה לפענח גירויים מורכבים יותר, כולל סרטונים נטורליסטיים20,21. מסווגים אלה, שבדרך כלל מאומנים על תגובות עצביות לסרטונים אלה, מכלילים לגירויים חדשים, ומאפשרים להם לזהות מה נבדק מסוים צפה בזמן תגובת ה-fMRI. לדוגמה, סוגים מסוימים של פעולות בסרטים יכולים להיות מפוענחים במדויק מהמוח האנושי, כמו קפיצה וסיבוב, בעוד שאחרים (למשל, גרירה) לא יכולים22. באופן דומה, למרות שניתן לפענח סוגים רבים של אובייקטים מתגובות fMRI, נראה כי קטגוריות כלליות קשות יותר. פענוח מוח אינו מוגבל לבני אדם, ומספק כלי רב עוצמה להבנת האופן שבו מידע מאורגן במוחות של מינים אחרים. ניסויי fMRI אנלוגיים עם פרימטים לא אנושיים מצאו ייצוגים מובהקים באונה הרקתית לממדים של אנימציה וגמישות/גוף, המקבילים לזה בבני אדם23.
כצעד ראשון להבנת ייצוגי הכלבים של גירויים חזותיים נטורליסטיים, נעשה שימוש ב-fMRI ער בשני כלבי בית מיומנים מאוד ב-MRI כדי למדוד תגובות קליפת המוח לסרטונים המתאימים לכלבים. במחקר זה, נעשה שימוש בסרטונים נטורליסטיים בגלל התוקף האקולוגי הפוטנציאלי הגדול יותר שלהם לכלב ובגלל הצלחתם המוכחת עם רשתות עצביות הממפות תוכן וידאו לתנועת כלבים24. במהלך שלושה מפגשים נפרדים, התקבלו 90 דקות של נתוני fMRI מהתגובות של כל כלב ל-256 קטעי וידאו ייחודיים. לשם השוואה, אותו הליך בוצע על שני מתנדבים אנושיים. לאחר מכן, באמצעות רשת עצבית, אימנו ובדקנו מסווגים להבחין בין "אובייקטים" (למשל, אדם, כלב, מכונית) לבין "פעולות" (למשל, דיבור, אכילה, רחרוח) באמצעות מספר משתנה של מחלקות. מטרות המחקר היו כפולות: 1) לקבוע אם ניתן לפענח גירויי וידאו נטורליסטיים מקליפת המוח של הכלב; ו-2) אם כן, ספק מבט ראשון האם הארגון דומה לזה של בני האדם.
מחקר הכלבים אושר על ידי IACUC של אוניברסיטת אמורי (PROTO201700572), וכל הבעלים נתנו הסכמה בכתב להשתתפות הכלב שלהם במחקר. נהלי מחקר בבני אדם אושרו על ידי ה-IRB של אוניברסיטת אמורי, וכל המשתתפים סיפקו הסכמה בכתב לפני הסריקה (IRB00069592).
1. משתתפים
2. גירויים
3. תכנון ניסויים
4. הדמיה
5. תוויות גירוי
6. עיבוד מקדים של fMRI
7. אנליזות
המדדים הנפוצים ביותר להערכת ביצועי המודל בניתוחי למידת מכונה כוללים דיוק, דיוק, זיכרון וציון F1. דיוק הוא האחוז הכולל של תחזיות המודל הנכונות, בהינתן הנתונים האמיתיים. דיוק הוא אחוז התחזיות החיוביות של המודל שהן למעשה חיוביות (כלומר, השיעור החיובי האמיתי), בעוד שהיזכרות היא אחוז החיוביים האמיתיים בנתונים המקוריים שהמודל מסוגל לחזות בהצלחה. ציון F1 הוא הממוצע המשוקלל של דיוק וזיכרון ומשמש כמדד חלופי לדיוק שהוא חזק יותר לחוסר איזון מעמדי. עם זאת, ה-Ivis שונה מאלגוריתמים נפוצים אחרים של למידת מכונה בכך שהפלט שלו אינו בינארי. בהינתן קלט מסוים של ווקסלים במוח, כל אלמנט פלט מייצג את ההסתברויות המתאימות לכל אחת מהמחלקות. דיוק מחשוב, דיוק, זיכרון ו-F1 עבור פלטים אלה דרשו בינאריזציה בינארית שלהם בצורה של "המנצח לוקח הכל", כאשר המחלקה עם ההסתברות הגבוהה ביותר נחשבה לזו שנחזה עבור נפח זה. גישה זו ביטלה מידע חשוב על דירוג ההסתברויות הללו שהיה רלוונטי להערכת איכות המודל. לפיכך, בעוד שעדיין חישבנו את המדדים המסורתיים הללו, השתמשנו בציון הדיוק הממוצע של דירוג התווית (LRAP) כמדד העיקרי לחישוב הדיוק של המודל בערכת הבדיקות. מדד זה מודד למעשה באיזו מידה המסווג הקצה הסתברויות גבוהות יותר לתוויות אמיתיות37.
בדרגות שונות, מסווג הרשת העצבית היה מוצלח הן עבור בני אדם והן עבור כלבים. עבור בני אדם, האלגוריתם הצליח לסווג גם אובייקטים וגם פעולות, כאשר מודלים של שלושה סוגים עבור שניהם השיגו דיוק ממוצע של 70%. ציון ה-LRAP שימש כמדד העיקרי לחישוב דיוק המודל בערכת הבדיקה; מדד זה מודד את המידה שבה המסווג הקצה הסתברויות גבוהות יותר לתוויות אמיתיות37. עבור שני בני האדם, ציוני ה-LRAP החציוניים היו גדולים מהאחוזון ה-99 של קבוצת תוויות שעברו שינוי אקראי עבור כל המודלים שנבדקו (טבלה 1; איור 2). עבור כלבים, רק למודל הפעולה היה דירוג אחוזון LRAP חציוני גדול משמעותית מהסיכוי בשני המשתתפים (טבלה 1; p = 0.13 עבור אובייקטים ו - p < 0.001 עבור פעולות; ממוצע ציון LRAP של מודל תלת-ייצוגי לכלבים = אחוזון 78). תוצאות אלה היו נכונות עבור כל הנבדקים בנפרד, כמו גם כאשר קובצו לפי מינים.
לאור הצלחת המסווג, התאמנו ובדקנו עם מחלקות נוספות כדי לקבוע את גבולות המודל. זה כלל חישוב מטריצות שונות עבור כל 52 מחלקות העניין הפוטנציאליות באמצעות אלגוריתם האשכולות ההיררכי של חבילת Python, שקיבץ מחלקות על סמך הדמיון של תגובת המוח של הפרט לכל אחת מהן, כפי שהוגדר על ידי מתאם זוגי. מבין המודלים הנוספים שנבדקו, המודל עם דירוג אחוזון ה-LRAP החציוני הגבוה ביותר בשני הכלבים כלל חמש מחלקות: "דיבור", "אכילה" ו"רחרוח" המקוריים, בתוספת שתי מחלקות חדשות, "ליטוף" ו"משחק" (איור 2). למודל זה היה דירוג אחוזון LRAP חציוני גדול משמעותית מזה שנחזה במקרה עבור כל המשתתפים (טבלה 1; p < 0.001 הן לכלבים והן לבני אדם; ממוצע ציון LRAP של מודל תביעה חמש-ייצוגית לכלבים = אחוזון 81).
כאשר מופו לאחור לאטלסי המוח שלהם, ציוני חשיבות התכונה של ווקסלים חשפו מספר אשכולות של ווקסלים אינפורמטיביים בקליפת המוח העורפית, הקודקודית והרקתית של כלבים ובני אדם (איור 3). בבני אדם, המודלים מבוססי האובייקטים ומבוססי הפעולה חשפו דפוס מוקדי יותר מאשר בכלבים ובאזורים הקשורים בדרך כלל לזיהוי אובייקטים, אם כי עם הבדלים קלים במיקום המרחבי של ווקסלים מבוססי אובייקטים ווקסלים מבוססי פעולה.
בדקנו שההבדלים בין המינים האלה לא היו תוצאה של התנועה הקשורה למשימה של הכלבים שנעים יותר לסוגים מסוימים של סרטונים מאשר לאחרים (למשל, סרטונים שאינם כלבים, למשל, מכוניות). חישבנו את הנורמה האוקלידית של ששת פרמטרי התנועה והתאמנו מודל ליניארי של אפקטים מעורבים באמצעות חבילת R lme4, עם מחלקה כאפקט קבוע ומספר ריצה כאפקט אקראי עבור כל כלב. עבור כל אחד מהמודלים הסופיים, לא מצאנו השפעה משמעותית של סוג המחלקה על התנועה עבור דייזי (F(2, 2252) = 0.83, p = 0.44 עבור מבוסס אובייקט ו-F(4, 1235) = 1.87, p = 0.11 עבור מבוסס פעולה) או Bhubo (F(2, 2231) = 1.71, p = 0.18 עבור מבוסס אובייקט ו-F(4, 1221) = 0.94, p = 0.45 עבור מבוסס פעולה).
איור 1: סרטונים נטורליסטיים ומצגת בקידוח MRI. (A) פריימים לדוגמה מקטעי וידיאו שהוצגו למשתתפים. (B) בובו, מתאגרף מעורב בן 4, צופה בסרטונים בזמן שהוא עובר fMRI ער. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.
איור 2: ביצועי מודל בכלבים ובבני אדם. התפלגות ציוני LRAP, המוצגת כדירוגי אחוזונים של התפלגות האפס שלהם, למעלה מ-100 איטרציות של אימון ובדיקה של אלגוריתם למידת מכונה של Ivis עבור מודל מבוסס אובייקטים בן שלוש מחלקות, מודל מבוסס פעולה תלת-מחלקתי ומודל מבוסס פעולה של חמש מחלקות, שבו מודלים ניסו לסווג תגובות BOLD לגירויי וידאו נטורליסטיים שהושגו באמצעות fMRI ער בכלבים ובבני אדם. הציונים מצטברים לפי מינים. ציון LRAP עם דירוג אחוזון גבוה מאוד מצביע על כך שהמודל לא סביר מאוד להשיג את ציון ה-LRAP הזה במקרה. מודל שאינו מתפקד טוב יותר מהסיכוי יהיה בעל דירוג אחוזון LRAP חציוני של ~50. קווים מקווקווים מייצגים את דירוג אחוזון ה-LRAP החציוני עבור כל מין בכל 100 הריצות אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.
איור 3: אזורים חשובים להבחנה של מודלים של אובייקטים תלת-ייצוגיים ומודלים של תביעות ייצוגיות. (A) משתתפים אנושיים ו-(B) כלבים. Voxels דורגו על פי חשיבות התכונה שלהם באמצעות מסווג יער אקראי, ממוצע על פני כל האיטרציות של המודלים. 5% העליונים של הווקסלים (כלומר, אלה המשמשים לאימון מודלים) מוצגים כאן, מצטברים לפי מינים והופכים למרחב קבוצתי למטרות הדמיה (אטלסים: בני אדם34 וכלבים35). התוויות מציגות אזורים במוח של כלבים עם ציוני חשיבות תכונות גבוהים, בהתבסס על אלה שזוהו על ידי ג'ונסון ואחרים.35. קיצור: SSM = הפיתול הסופרסילבי. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.
סוג הדגם | דיוק האימון | דיוק הבדיקה | ציון F1 | דיוק | זוכר | אחוזון חציוני של ציון LRAP | |
אדם 1 | אובייקט (3 מחלקה) | 0.98 | 0.69 | 0.48 | 0.52 | 0.49 | >99 |
פעולה (3 מחלקות) | 0.98 | 0.72 | 0.51 | 0.54 | 0.54 | >99 | |
פעולה (5 מחלקה) | 0.97 | 0.51 | 0.28 | 0.37 | 0.27 | >99 | |
אנושי 2 | אובייקט (3 מחלקה) | 0.98 | 0.68 | 0.45 | 0.5 | 0.47 | >99 |
פעולה (3 מחלקות) | 0.98 | 0.69 | 0.46 | 0.5 | 0.48 | >99 | |
פעולה (5 מחלקה) | 0.97 | 0.53 | 0.3 | 0.4 | 0.27 | >99 | |
בובו | אובייקט (3 מחלקה) | 0.99 | 0.61 | 0.38 | 0.41 | 0.39 | 57 |
פעולה (3 מחלקות) | 0.98 | 0.63 | 0.38 | 0.4 | 0.4 | 87 | |
פעולה (5 מחלקה) | 0.99 | 0.45 | 0.16 | 0.29 | 0.13 | 88 | |
דייזי | אובייקט (3 מחלקה) | 1 | 0.61 | 0.38 | 0.43 | 0.39 | 43 |
פעולה (3 מחלקות) | 0.97 | 0.62 | 0.35 | 0.38 | 0.35 | 60 | |
פעולה (5 מחלקה) | 0.99 | 0.44 | 0.16 | 0.27 | 0.13 | 76 |
טבלה 1: מדדים מצטברים של אלגוריתם למידת המכונה של Ivis מעל 100 איטרציות של אימון ובדיקות על תגובות BOLD לגירויי וידאו נטורליסטיים המתקבלים באמצעות fMRI ער בכלבים ובבני אדם. למודלים של האובייקטים היו שלוש מחלקות מטרה ("כלב", "אדם", "מכונית"), ולמודלים של הפעולה היו שלוש או חמש מחלקות (שלוש מחלקות: "מדבר", "אוכל", "מרחרח"; חמש מחלקות: "מדבר", "אוכל", "מרחרח", "מלטף", "משחק"). ערכים גדולים משמעותית מהסיכוי מוצגים בהדגשה.
טבלה משלימה 1: תוויות מחלקות. אנא לחץ כאן להורדת קובץ זה.
סרטון משלים 1: סרטון וידאו לדוגמה. אנא לחץ כאן להורדת קובץ זה.
תוצאות מחקר זה מדגימות כי סרטונים נטורליסטיים גורמים לייצוגים במוחם של כלבים שהם יציבים מספיק במהלך מפגשי הדמיה מרובים שניתן לפענח אותם באמצעות fMRI בדומה לתוצאות שהתקבלו הן בבני אדם והן בקופים. בעוד שמחקרי fMRI קודמים של מערכת הראייה של הכלבים הציגו גירויים מופשטים, כגון פנים או אובייקט על רקע ניטרלי, התוצאות כאן מדגימות כי סרטונים נטורליסטיים, עם מספר אנשים וחפצים המקיימים אינטראקציה זה עם זה, גורמים לדפוסי הפעלה בקליפת המוח של הכלב שניתן לפענח באמינות המתקרבת לזו שנראית בקליפת המוח האנושית. גישה זו פותחת אפיקי חקירה חדשים לאופן שבו מערכת הראייה של הכלב מאורגנת.
למרות שתחום ה-fMRI של כלבים גדל במהירות, עד כה, ניסויים אלה הסתמכו על גירויים עניים יחסית, כגון תמונות של אנשים או חפצים על רקע ניטרלי 10,12,13. בנוסף, בעוד שניסויים אלה החלו לזהות אזורי מוח אנלוגיים לאזור הפנים הפיוזיפורמי של הפרימטים, המעורבים בעיבוד פנים, וקליפת המוח העורפית הצדדית (LOC), לעיבוד אובייקטים, נותרה מחלוקת לגבי אופי הייצוגים הללו, כגון האם לכלבים יש אזורי פנים כשלעצמם המגיבים למאפיינים בולטים דומים לפרימטים או האם יש להם ייצוגים נפרדים לכלבים ולבני אדם או פנים וראשים. לדוגמה 9,13. כלבים, כמובן, אינם פרימטים, ואיננו יודעים כיצד הם מפרשים את הגירויים המלאכותיים הללו במנותק מההקשרים הרב-חושיים הרגילים שלהם באמצעות צלילים וריחות. כמה ראיות מצביעות על כך שכלבים אינם מתייחסים לתמונות של חפצים כייצוגים של דברים אמיתיים12. למרות שלא ניתן ליצור חוויה רב-חושית אמיתית בסורק, השימוש בסרטונים נטורליסטיים עשוי להפחית חלק מהמלאכותיות על ידי מתן גירויים דינמיים המתאימים יותר לעולם האמיתי, לפחות לכלב. מאותן סיבות, השימוש בגירויים נטורליסטיים במחקר fMRI אנושי צבר פופולריות, ומדגים, למשל, שרצפי אירועים בסרט מיוצגים בקליפת המוח על פני טווחי זמן מרובים וכי סרטים יעילים בגרימת הפעלת רגשות אמינה38. ככזה, בעוד שסרטונים נטורליסטיים נותרו גירויים עניים יחסית, הצלחתם במדעי המוח האנושיים מעלה את השאלה אם ניתן להשיג תוצאות דומות בכלבים.
התוצאות שלנו מראות שמסווג רשת עצבית הצליח לפענח סוגים מסוימים של תוכן נטורליסטי ממוחות של כלבים. הצלחה זו היא הישג מרשים בהתחשב במורכבות הגירויים. חשוב לציין, מכיוון שהמסווג נבדק על קטעי וידאו שלא נראו, מודל הפענוח אסף קטגוריות רחבות שניתן היה לזהות על פני קליפים ולא מאפיינים ספציפיים לסצנות בודדות. נציין כי ישנם מספר מדדים לכימות הביצועים של מסווג למידת מכונה (טבלה 1). מכיוון שלסרטונים נטורליסטיים, מטבעם, לא יהיו מופעים שווים מכל המחלקות, נקטנו בגישה זהירה על ידי בניית התפלגות אפס מהתמורות האקראיות של תוויות והערכת המשמעות המתייחסת לכך. לאחר מכן, מצאנו שההצלחה של דגמי הכלבים הייתה מובהקת סטטיסטית, והשיגה ציונים באחוזון 75-90, אולם רק כאשר הסרטונים קודדו על סמך הפעולות הקיימות, כמו למשל משחק או דיבור.
ערכות המבחנים, בניגוד לערכות האימון, לא היו מאוזנות בין הכיתות. דגימה נמוכה לגודל הכיתה הקטן ביותר הייתה מביאה לגודל מדגם קטן מאוד עבור כל מחלקה, כך שכל סטטיסטיקה שחושבה לא הייתה אמינה. כדי למנוע את האפשרות של דיוק מנופח מחוסר איזון זה, התפלגות האפס של ה-LRAP חושבה על ידי שינוי אקראי של סדר המחלקות 1,000 פעמים עבור כל איטרציה של מודל. התפלגות אפס זו שימשה כהתייחסות למידת הביצועים של המודל במקרה. לאחר מכן, ה-LRAP האמיתי הומר לדירוג אחוזון בהתפלגות אפס זו. דירוג אחוזון גבוה מאוד, למשל, 95%, יצביע על כך שציון גבוה כל כך עלה רק ב-5% מהמקרים ב-1,000 תמורות אקראיות. מודל כזה יכול, אם כן, להיחשב כבעל ביצועים הרבה מעל המקרה. כדי לקבוע אם דירוגי האחוזונים הללו גדולים משמעותית מהצפוי במקרה, כלומר האחוזון ה-50 מבחינה סטטיסטית, חושב דירוג האחוזון החציוני של LRAP בכל 100 האיטרציות עבור כל מודל ובוצע מבחן דירוג חתום של Wilcoxon במדגם אחד.
למרות שהמטרה העיקרית הייתה לפתח מפענח של גירויים חזותיים נטורליסטיים לכלבים, השוואות לבני אדם הן בלתי נמנעות. כאן, אנו מציינים שני הבדלים עיקריים: עבור כל סוג של מסווג, המודלים האנושיים ביצעו ביצועים טובים יותר מדגמי הכלבים; והמודלים האנושיים ביצעו ביצועים טובים הן עבור מודלים מבוססי אובייקטים והן עבור מודלים מבוססי פעולה, בעוד שדגמי הכלבים ביצעו עבור מודלים מבוססי פעולה בלבד. הביצועים המעולים של המודלים האנושיים יכולים לנבוע ממספר גורמים. מוחות אנושיים גדולים בערך פי 10 ממוחות של כלבים, כך שיש יותר ווקסלים שמהם ניתן לבחור לבנות מסווג. כדי להעמיד את המודלים על בסיס שווה, יש להשתמש באותו מספר ווקסלים, אבל זה יכול להיות במובן מוחלט או יחסי. למרות שהמודל הסופי התבסס על 5% העליונים של הווקסלים האינפורמטיביים בכל מוח (מדד יחסי), תוצאות דומות התקבלו באמצעות מספר קבוע של ווקסלים. לפיכך, נראה סביר יותר שהבדלים בביצועים קשורים לאופן שבו בני אדם וכלבים תופסים גירוי וידאו. כפי שצוין לעיל, בעוד שכלבים ובני אדם הם רב-חושיים בתפיסתם, הגירויים עשויים להיות עניים יותר לכלב מאשר לאדם. רמזי גודל, למשל, עלולים ללכת לאיבוד, כשהכל נראה כמו גרסת צעצוע של העולם האמיתי. ישנן עדויות לכך שכלבים מסווגים חפצים על סמך גודל ומרקם לפני צורה, וזה כמעט הפוך מבני אדם39. בנוסף, ריח, שאינו נלקח בחשבון כאן, הוא ככל הנראה מקור מידע חשוב להבחנה בין אובייקטים בכלבים, במיוחד בזיהוי של פרטים ספציפיים או בני אדם 40,41,42. עם זאת, אפילו בהיעדר רמזי גודל או ריח, בסביבה יוצאת הדופן של סורק ה-MRI, העובדה שהמסווג עבד בכלל אומרת שעדיין היה מידע רלוונטי לכלבים שניתן לשחזר ממוחם. עם שני כלבים ושני בני אדם בלבד, ההבדלים בין המינים יכולים לנבוע גם מהבדלים אינדיבידואליים. שני הכלבים, לעומת זאת, ייצגו את מיטב הכלבים שאומנו ב-MRI והצטיינו בשמירה על יציבות בזמן צפייה בסרטונים. בעוד שגודל מדגם גדול יותר בהחלט יאפשר להבחין בצורה אמינה יותר בין המינים, המספר הקטן של כלבים המסוגלים לבצע fMRI ער ושיצפו בסרטונים לפרקי זמן ארוכים מספיק תמיד יגביל את יכולת ההכללה לכל הכלבים. בעוד שייתכן שלגזעים מיוחדים, כמו כלבי ציד, יש תגובות מוח חזותיות מכווננות יותר, אנו מאמינים שסביר יותר שמזג ואילוף אינדיבידואליים יהיו הגורמים העיקריים הקובעים את מה שניתן לשחזר ממוח הכלב.
הבדלי המינים הללו מעלים את השאלה לאיזה היבט של הסרטונים הכלבים שמו לב. גישה אחת לענות על שאלה זו מסתמכת על גירויי וידאו פשוטים יותר. לאחר מכן, על ידי שימוש בתמונות מבודדות של, למשל, בני אדם, כלבים ומכוניות, בנפרד וביחד על רקע ניטרלי, ייתכן שנוכל להנדס לאחור את הממדים הבולטים של הכלב. עם זאת, זה גם לא יעיל מבחינה מתודולוגית וגם מרושש עוד יותר את הגירויים מהעולם האמיתי. ניתן לפתור את שאלת הקשב על ידי גישת הפענוח בלבד, למעשה, תוך שימוש בביצועי המודל כדי לקבוע מה מטופל43. בהתאם לכך, התוצאות כאן מצביעות על כך שבעוד שבני האדם התייחסו הן לשחקנים והן לפעולות, הכלבים היו ממוקדים יותר בפעולות עצמן. זה יכול לנבוע מהבדלים בתכונות תנועה ברמה נמוכה, כגון תדירות התנועה כאשר אנשים משחקים לעומת אכילה, או שזה יכול לנבוע מייצוג קטגורי של פעילויות אלה ברמה גבוהה יותר. התפלגות הווקסלים האינפורמטיביים ברחבי קליפת המוח של הכלב מצביעה על כך שייצוגים אלה אינם רק מאפיינים ברמה נמוכה שאחרת היו מוגבלים לאזורים חזותיים. מחקר נוסף באמצעות מגוון רחב יותר של גירויי וידאו עשוי להאיר את תפקיד התנועה באפליית קטגוריות על ידי כלבים.
לסיכום, מחקר זה הוכיח את ההיתכנות של שחזור מידע חזותי נטורליסטי מקליפת המוח של הכלב באמצעות fMRI באותו אופן שנעשה עבור קליפת המוח האנושית. הדגמה זו מראה שגם ללא צליל או ריחות, ממדים בולטים של סצנות מורכבות מקודדים על ידי כלבים הצופים בסרטונים, וכי ניתן לשחזר את הממדים הללו ממוחם. שנית, בהתבסס על המספר הקטן של כלבים שיכולים לבצע מטלות מסוג זה, המידע עשוי להיות מפוזר בקליפת המוח באופן נרחב יותר מאשר בדרך כלל אצל בני אדם, ונראה שסוגי הפעולות מתאוששים בקלות רבה יותר מאשר זהות השחקנים או האובייקטים. תוצאות אלה פותחות דרך חדשה לבחון כיצד כלבים תופסים את הסביבות שהם חולקים עם בני אדם, כולל מסכי וידאו, ומציעות דרכים עשירות לחקירה עתידית של האופן שבו הם ובעלי חיים אחרים שאינם פרימטים "רואים" את העולם.
ללא.
אנו מודים לקייט ריוויל, רווינה צ'יבר וג'ון קינג על התובנות המועילות שלהם בפיתוח הניתוח הזה, למארק ספיבק על הסיוע שלו בגיוס ואילוף כלבים ל-MRI, ולפיליס גואו על עזרתה ביצירת סרטונים ותיוג. אנו מודים גם לבעלי הכלבים המסורים שלנו, רבקה ביזלי (דייזי) ואשווין סחרדנדה (בובו). המחקרים בבני אדם נתמכו על ידי מענק מהמכון הלאומי לעיניים (מענק R01 EY029724 ל-D.D.D).
Name | Company | Catalog Number | Comments |
3 T MRI Scanner | Siemens | Trio | |
Audio recordings of scanner noise | homemade | none | |
Camera gimbal | Hohem | iSteady PRO 3 | |
Dog-appropriate videos | homemade | none | |
fMRI processing software | AFNI | 20.3.01 | |
Mock scanner components | homemade | none | Mock head coil and scanner tube |
Neural net software | Ivis | 1.7.1 | |
Optical flow software | OpenCV | 4.2.0.34 | |
Projection system for scanner | homemade | none | |
Trophy Cam HD | Bushnell | 119874 | |
Video camera | GoPro | HERO7 | |
Visualization software | ITK-SNAP | 3.6.0 | |
Windows Video Editor | Microsoft | Windows 11 version |
Request permission to reuse the text or figures of this JoVE article
Request PermissionThis article has been published
Video Coming Soon
Copyright © 2025 MyJoVE Corporation. All rights reserved