דרך עיניו של כלב: פענוח fMRI של סרטונים נטורליסטיים מקליפת המוח של הכלב

Summary

אלגוריתמים של למידת מכונה אומנו להשתמש בדפוסי פעילות מוחית כדי "לפענח" גירויים המוצגים לבני אדם. כאן, אנו מדגימים שאותה טכניקה יכולה לפענח תוכן וידאו נטורליסטי ממוחם של שני כלבי בית. אנו מוצאים כי מפענחים המבוססים על הפעולות בסרטונים הצליחו בכלבים.

Abstract

התקדמות אחרונה המשתמשת בלמידת מכונה והדמיית תהודה מגנטית תפקודית (fMRI) כדי לפענח גירויים חזותיים מקליפת המוח האנושית והלא אנושית הביאה לתובנות חדשות לגבי טבע התפיסה. עם זאת, גישה זו עדיין לא יושמה באופן משמעותי על בעלי חיים שאינם פרימטים, מה שמעלה שאלות לגבי טבעם של ייצוגים כאלה ברחבי ממלכת החיות. כאן, השתמשנו ב-fMRI ער בשני כלבי בית ושני בני אדם, שהתקבלו בזמן שכל אחד מהם צפה בסרטונים נטורליסטיים שנוצרו במיוחד ומתאימים לכלבים. לאחר מכן אימנו רשת עצבית (Ivis) לסווג את תוכן הווידאו מתוך סך של 90 דקות של פעילות מוחית מוקלטת מכל אחד מהם. בדקנו גם מסווג מבוסס אובייקטים, המנסה להבחין בין קטגוריות כמו כלב, אדם ומכונית, וגם מסווג מבוסס פעולה, בניסיון להבחין בין קטגוריות כמו אכילה, רחרוח ודיבור. בהשוואה לשני הנבדקים האנושיים, שעבורם שני סוגי המסווגים ביצעו הרבה מעל המקרה, רק מסווגים מבוססי פעולה הצליחו לפענח תוכן וידאו מהכלבים. תוצאות אלה מדגימות את היישום הידוע הראשון של למידת מכונה לפענוח סרטונים נטורליסטיים ממוחו של טורף, ומצביעות על כך שנקודת המבט של הכלב על העולם עשויה להיות שונה למדי משלנו.

Introduction

מוחותיהם של בני אדם, כמו פרימטים אחרים, מדגימים את החלוקה של זרם הראייה למסלולים גביים וגחוניים עם פונקציות מובהקות וידועות - ה"מה" וה"איפה" של עצמים¹. הדיכוטומיה הזו של מה/איפה הייתה היוריסטיקה שימושית במשך עשרות שנים, אך הבסיס האנטומי שלה ידוע כיום כמורכב הרבה יותר, כאשר חוקרים רבים מעדיפים פרצלציה המבוססת על זיהוי לעומת פעולה ("מה" לעומת "איך")2,3,4,5. נוסף על כך, בעוד שהבנתנו את ארגון מערכת הראייה של הפרימטים ממשיכה להיות מעודנת ומתווכחת, הרבה נותר לא ידוע על האופן שבו מוחותיהם של מינים אחרים של יונקים מייצגים מידע חזותי. בחלקה, לאקונה זו היא תוצאה של ההתמקדות ההיסטורית בקומץ מינים במדעי המוח החזותי. גישות חדשות להדמיית מוח, לעומת זאת, פותחות את האפשרות לחקור באופן לא פולשני את מערכות הראייה של מגוון רחב יותר של בעלי חיים, מה שעשוי להניב תובנות חדשות על ארגון מערכת העצבים של היונקים.

כלבים (Canis lupus familiaris) מהווים הזדמנות עשירה לחקור את הייצוג של גירויים חזותיים במין המרוחק אבולוציונית מפרימטים, מכיוון שהם עשויים להיות החיה היחידה שניתן לאמן להשתתף בשיתוף פעולה בסריקת MRI ללא צורך בהרגעה או מעצורים ^6,7,8. בשל האבולוציה המשותפת שלהם עם בני האדם במהלך 15,000 השנים האחרונות, כלבים מאכלסים גם את הסביבה שלנו וחשופים לרבים מהגירויים שבני אדם נתקלים בהם על בסיס יומיומי, כולל מסכי וידאו, שהם הדרך המועדפת להציג גירויים בסורק MRI. למרות זאת, כלבים עשויים לעבד את הגירויים הסביבתיים הנפוצים הללו בדרכים שונות למדי מבני אדם, מה שמעלה את השאלה כיצד קליפת המוח הראייתית שלהם מאורגנת. להבדלים בסיסיים - כגון היעדר גומה, או היותו דיכרומט - עשויות להיות השלכות משמעותיות במורד הזרם לא רק על תפיסה חזותית ברמה נמוכה יותר אלא גם על ייצוג חזותי ברמה גבוהה יותר. מספר מחקרי fMRI בכלבים הוכיחו את קיומם של אזורי עיבוד פנים ואובייקטים שנראים כעוקבים אחר הארכיטקטורה הכללית של זרם הגב / הגחון שנראית אצל פרימטים, אם כי עדיין לא ברור אם לכלבים יש אזורי עיבוד פנים כשלעצמם או שאזורים אלה סלקטיביים למורפולוגיה של הראש (למשל, כלב לעומת אדם)^9. 10,11,12,13. בלי קשר, מוחו של כלב, בהיותו קטן יותר מרוב הפרימטים, צפוי להיות פחות מודולרי¹⁴, כך שייתכן שיהיה יותר ערבוב של סוגי מידע בזרמים או אפילו מתן עדיפות לסוגים מסוימים של מידע, כמו פעולות. הוצע, למשל, שתנועה עשויה להיות מאפיין בולט יותר בתפיסה החזותית של הכלב מאשר מרקם או צבע¹⁵. בנוסף, מכיוון שלכלבים אין ידיים, אחד האמצעים העיקריים שבאמצעותם אנו מתקשרים עם העולם, העיבוד החזותי שלהם, במיוחד של חפצים, עשוי להיות שונה למדי מזה של פרימטים. בהתאם לכך, מצאנו לאחרונה ראיות לכך שאינטראקציה עם חפצים דרך הפה לעומת כפות הביא להפעלה גדולה יותר באזורים סלקטיביים של אובייקטים במוח הכלב¹⁶.

למרות שכלבים עשויים להיות רגילים למסכי וידאו בסביבה הביתית שלהם, זה לא אומר שהם רגילים להסתכל על תמונות בסביבה ניסיונית באותו אופן שבו אדם היה מסתכל. השימוש בגירויים נטורליסטיים יותר עשוי לעזור לפתור חלק מהשאלות הללו. בעשור האחרון, אלגוריתמים של למידת מכונה השיגו הצלחה ניכרת בפענוח גירויים חזותיים נטורליסטיים מפעילות מוחית אנושית. הצלחות מוקדמות התמקדו בהתאמת עיצובים קלאסיים חסומים לשימוש בפעילות מוחית כדי לסווג את סוגי הגירויים שאדם רואה, כמו גם את רשתות המוח שקידדו את הייצוגים הללו 17,18,19. ככל שפותחו אלגוריתמים חזקים יותר, במיוחד רשתות עצביות, ניתן היה לפענח גירויים מורכבים יותר, כולל סרטונים נטורליסטיים^20,21. מסווגים אלה, שבדרך כלל מאומנים על תגובות עצביות לסרטונים אלה, מכלילים לגירויים חדשים, ומאפשרים להם לזהות מה נבדק מסוים צפה בזמן תגובת ה-fMRI. לדוגמה, סוגים מסוימים של פעולות בסרטים יכולים להיות מפוענחים במדויק מהמוח האנושי, כמו קפיצה וסיבוב, בעוד שאחרים (למשל, גרירה) לא יכולים²². באופן דומה, למרות שניתן לפענח סוגים רבים של אובייקטים מתגובות fMRI, נראה כי קטגוריות כלליות קשות יותר. פענוח מוח אינו מוגבל לבני אדם, ומספק כלי רב עוצמה להבנת האופן שבו מידע מאורגן במוחות של מינים אחרים. ניסויי fMRI אנלוגיים עם פרימטים לא אנושיים מצאו ייצוגים מובהקים באונה הרקתית לממדים של אנימציה וגמישות/גוף, המקבילים לזה בבני אדם²³.

כצעד ראשון להבנת ייצוגי הכלבים של גירויים חזותיים נטורליסטיים, נעשה שימוש ב-fMRI ער בשני כלבי בית מיומנים מאוד ב-MRI כדי למדוד תגובות קליפת המוח לסרטונים המתאימים לכלבים. במחקר זה, נעשה שימוש בסרטונים נטורליסטיים בגלל התוקף האקולוגי הפוטנציאלי הגדול יותר שלהם לכלב ובגלל הצלחתם המוכחת עם רשתות עצביות הממפות תוכן וידאו לתנועת כלבים²⁴. במהלך שלושה מפגשים נפרדים, התקבלו 90 דקות של נתוני fMRI מהתגובות של כל כלב ל-256 קטעי וידאו ייחודיים. לשם השוואה, אותו הליך בוצע על שני מתנדבים אנושיים. לאחר מכן, באמצעות רשת עצבית, אימנו ובדקנו מסווגים להבחין בין "אובייקטים" (למשל, אדם, כלב, מכונית) לבין "פעולות" (למשל, דיבור, אכילה, רחרוח) באמצעות מספר משתנה של מחלקות. מטרות המחקר היו כפולות: 1) לקבוע אם ניתן לפענח גירויי וידאו נטורליסטיים מקליפת המוח של הכלב; ו-2) אם כן, ספק מבט ראשון האם הארגון דומה לזה של בני האדם.

Protocol

מחקר הכלבים אושר על ידי IACUC של אוניברסיטת אמורי (PROTO201700572), וכל הבעלים נתנו הסכמה בכתב להשתתפות הכלב שלהם במחקר. נהלי מחקר בבני אדם אושרו על ידי ה-IRB של אוניברסיטת אמורי, וכל המשתתפים סיפקו הסכמה בכתב לפני הסריקה (IRB00069592).

1. משתתפים

1. בחר את המשתתפים (כלבים ובני אדם) ללא חשיפה קודמת לגירויים שהוצגו במחקר.
   הערה: הכלבים המשתתפים היו שני כלבי מחמד מקומיים שהתנדבו על ידי בעליהם להשתתף באימון וסריקה של fMRI בהתאם לזה שתואר קודם^לכן. בובו היה בוקסר מעורב בן 4, ודייזי הייתה נקבת בוסטון טרייר מעורבת בת 11. שני הכלבים השתתפו בעבר במספר מחקרי fMRI (Bhubo: 8 מחקרים, דייזי: 11 מחקרים), שחלקם כללו צפייה בגירויים חזותיים המוקרנים על מסך בזמן הסורק. הם נבחרו בגלל יכולתם המוכחת להישאר בסורק מבלי לזוז לפרקי זמן ארוכים כשבעליהם מחוץ לטווח הראייה. שני בני אדם (זכר אחד בן 34 ונקבה אחת בת 25) השתתפו גם הם במחקר. לא לכלבים ולא לבני אדם הייתה חשיפה קודמת לגירויים שהוצגו במחקר זה.

2. גירויים

1. צלם את הסרטונים (1920 פיקסלים על 1440 פיקסלים, 60 פריימים לשנייה [fps]) המורכבים על גימבל מייצב כף יד.
   הערה: במחקר זה, הסרטונים צולמו באטלנטה, ג'ורג'יה, בשנת 2019.
   1. צלם סרטונים נטורליסטיים מ"מבט של כלב", מחזיק את הגימבל בערך בגובה הברך. עצב את הסרטונים כדי ללכוד תרחישים יומיומיים בחייו של כלב.
      הערה: אלה כללו סצנות של הליכה, האכלה, משחק, אינטראקציה בין בני אדם (זה עם זה ועם כלבים), כלבים מתקשרים זה עם זה, כלי רכב בתנועה וחיות שאינן כלבים (איור 1A; סרט משלים 1). בחלק מהקטעים, המצולמים בסרטון קיימו אינטראקציה ישירה עם המצלמה, למשל, ליטפו, רחרחו או שיחקו איתה, בעוד שבאחרים התעלמו מהמצלמה. צילומים נוספים של צבאים התקבלו ממלכודת מצלמה שהוצבה במקום (1920 פיקסלים על 1080 פיקסלים, 30 פריימים לשנייה).
   2. ערוך את הסרטונים ל-256 "סצנות" ייחודיות של 7 שניות. כל סצנה תיארה אירוע יחיד, כגון בני אדם מתחבקים, כלב רץ או צבי הולך. הקצה לכל סצנה מספר ותווית ייחודיים בהתאם לתוכן שלה (ראה להלן).
2. ערוך את הסצנות לחמישה סרטוני אוסף גדולים יותר של כ-6 דקות כל אחד. השתמש בסרטוני אוסף ולא בסרט אחד ארוך כדי להציג מגוון רחב של גירויים ברצף.
   הערה: הצגת מגוון רחב של גירויים תהיה קשה להשגה אם הסרטונים צולמו ב"טייק" אחד ארוך. זה עולה בקנה אחד עם מחקרי פענוח fMRI בבני אדם^20,22. בנוסף, הצגת אוספים של קליפים קצרים אפשרה יצירה קלה יותר של סט החזקה שעליו ניתן היה לבחון את האלגוריתם המאומן (ראה סעיף 7, ניתוחים, להלן), מכיוון שניתן היה להחזיק את הקליפים הבודדים במקום סרט אחד ארוך. בארבעה סרטוני אוסף היו 51 סצנות ייחודיות, ובאחד היו 52. לא היו הפסקות או מסכים ריקים בין הסצנות.
3. בחר את הסצנות באופן אקראי למחצה כדי להבטיח שכל סרטון מכיל דוגמאות מכל קטגוריות התווית העיקריות - כלבים, בני אדם, כלי רכב, בעלי חיים לא אנושיים ואינטראקציות.
   הערה: במהלך תהליך ההידור, כל הסצנות נדגמו ל-1920 פיקסלים x 1080 פיקסלים ב-30 פריימים לשנייה כדי להתאים לרזולוציה של מקרן ה-MRI.

3. תכנון ניסויים

1. סרוק את המשתתפים בסורק MRI 3T תוך צפייה בסרטוני ההידור המוקרנים על מסך המותקן בחלק האחורי של קדח ה-MRI.
2. הפעל את הסרטונים ללא קול.
3. עבור כלבים, השיגו מיקום יציב של הראש על ידי אימון מוקדם למקם את ראשם במשענת סנטר בהתאמה אישית, מעוצבת ללסת התחתונה מאמצע החוטם ועד מאחורי הלסת התחתונה.
   1. הצמידו את משענת הסנטר למדף עץ המשתרע על פני הסליל אך מאפשר מספיק מקום לכפות שמתחתיו, וכתוצאה מכך כל כלב מקבל תנוחת "ספינקס" (איור 1B). לא נעשה שימוש במגבלות. למידע נוסף על פרוטוקול האילוף, ראה מחקרים קודמים של כלבי fMRI ערים⁷.
4. תנו לנבדקים להשתתף בחמש ריצות בכל מפגש, כל ריצה מורכבת מסרטון אוסף אחד שנצפה מתחילתו ועד סופו, המוצג בסדר אקראי. לכלבים, קחו הפסקות קצרות בין כל ריצה. העבירו לכלב תגמולי מזון במהלך ההפסקות הללו.
5. תן לכל נבדק להשתתף בשלושה מפגשים במשך שבועיים. זה מאפשר לנבדק לצפות בכל אחד מחמשת סרטוני האוסף הייחודיים שלוש פעמים, מה שמניב זמן fMRI מצטבר של 90 דקות לאדם.

4. הדמיה

1. סרוק את משתתפי הכלב בהתאם לפרוטוקול התואם את זה שנעשה בו שימוש במחקרים קודמים של כלבי fMRI ערים ^7,25.
   1. השג את הסריקות הפונקציונליות באמצעות רצף הדמיה אקו-מישורי בצילום יחיד כדי לרכוש נפחים של 22 פרוסות עוקבות של 2.5 מ"מ עם פער של 20% (TE = 28 ms, TR = 1,430 ms, זווית היפוך = 70°, מטריצה 64 x 64, גודל ווקסל במישור 2.5 מ"מ, FOV = 160 מ"מ).
   2. עבור כלבים, כוונו את הפרוסות בגב למוח עם כיוון קידוד הפאזה מימין לשמאל, כאשר כלבים יושבים ב-MRI בתנוחת "ספינקס", כשהצוואר בקו אחד עם המוח. קידוד פאזה מימין לשמאל מונע חפצים עוטפים מהצוואר לקדמת הראש. בנוסף, חפץ הרגישות העיקרי בסריקת כלבים מגיע מהסינוס הקדמי, וכתוצאה מכך עיוות של האונה הקדמית.
2. עבור בני אדם, השג פרוסות ציריות עם קידוד פאזה בכיוון הקדמי-אחורי.
   1. כדי לאפשר השוואה עם סריקות הכלבים (אותו TR/TE), השתמש ברכישת פרוסות מרובות פסים (CMRR, אוניברסיטת מינסוטה) עבור בני אדם עם מקדם תאוצה רב-פס של 2 (GRAPPA = 2, TE = 28 ms, TR = 1,430 ms, זווית היפוך = 55°, מטריצה 88 x 88, ווקסלים במישור 2.5 מ"מ, ארבעים וארבע פרוסות 2.5 מ"מ עם מרווח של 20%).
3. עבור הכלבים, רכשו גם תמונה מבנית משוקללת T2 של המוח כולו עבור כל משתתף באמצעות רצף טורבו-ספין-הד עם ווקסלים איזוטרופיים של 1.5 מ"מ. עבור המשתתפים האנושיים, השתמש ברצף MPRAGE משוקלל T1 עם ווקסלים איזוטרופיים של 1 מ"מ.
   הערה: במהלך שלושה מפגשים, הושגו כ-4,000 כרכים פונקציונליים עבור כל משתתף.

5. תוויות גירוי

1. על מנת לאמן מודל לסווג את התוכן המוצג בסרטונים, תייגו תחילה את הסצנות. לשם כך, חלקו את סצנות 7 השניות המרכיבות כל סרטון אוסף לקליפים של 1.4 שניות. סמן קליפים קצרים ולא פריימים בודדים מכיוון שישנם אלמנטים של וידאו שלא ניתן לצלם על ידי תמונות סטילס, שחלקם עשויים להיות בולטים במיוחד לכלבים ולכן שימושיים בפענוח, כגון תנועה.
   הערה: אורך קליפ של 1.4 שניות נבחר מכיוון שהוא היה ארוך מספיק כדי ללכוד את האלמנטים הדינמיים הללו ותאם באופן הדוק ל-TR של 1.43 שניות, המאפשר לבצע את הסיווג על בסיס נפח אחר נפח.
2. הפיצו באופן אקראי את הקליפים האלה של 1.4 שניות (n = 1,280) לחברי המעבדה כדי לתייג ידנית כל קליפ באמצעות טופס שליחה בסגנון תיבת סימון מתוכנת מראש.
   הערה: נבחרו 94 תוויות כדי להקיף כמה שיותר תכונות מרכזיות של הסרטונים, כולל נושאים (למשל, כלב, אדם, חתול), מספר הנושאים (1, 2, 3+), חפצים (למשל, מכונית, אופניים, צעצוע), פעולות (למשל, אכילה, רחרוח, דיבור), אינטראקציות (למשל, אדם-אדם, אדם-כלב) וסביבה (בפנים, בחוץ), בין היתר. זה יצר וקטור תווית בן 94 מימדים עבור כל קליפ (טבלה משלימה 1).
3. כבדיקת עקביות, בחר תת-קבוצה אקראית לתיוג מחדש על ידי חבר מעבדה שני. כאן, התוויות נמצאו עקביות מאוד בין אנשים (>95%). עבור התוויות שלא היו עקביות, אפשר לשני חברי המעבדה לצפות שוב בקליפ המדובר ולהגיע להסכמה על התווית.
4. עבור כל הפעלה, השתמש בקבצי יומן רישום עם חותמת זמן כדי לקבוע את תחילת גירוי הווידאו ביחס לעוצמת הסריקה הראשונה.
5. כדי להסביר את העיכוב בין הצגת הגירוי לתגובת BOLD, סובב את התוויות עם פונקציית תגובה המודינמית גמא כפולה (HRF) ואינטרפולציה ל-TR של התמונות הפונקציונליות (1,430 אלפיות השנייה) באמצעות פונקציות Python numpy.convolve() ו-interp().
   הערה: התוצאה הסופית הייתה מטריצה של תוויות מפותלות לפי המספר הכולל של נפחי הסריקה עבור כל משתתף (94 תוויות x 3,932, 3,920, 3,939 ו-3,925 אמצעי אחסון עבור Daisy, Bhubo, Human 1 ו-Human 2, בהתאמה).
6. קבץ תוויות אלה במידת הצורך כדי ליצור תוויות מאקרו לניתוח נוסף. לדוגמה, שלבו את כל המופעים של הליכה (הליכה עם כלב, הליכה עם בני אדם, הליכה על חמור) כדי ליצור תווית "הליכה".
7. כדי להסיר עוד יותר יתירות בקבוצת התוויות, חשב את גורם אינפלציית השונות (VIF) עבור כל תווית, לא כולל תוויות המאקרו, שברור שיש להן מתאם גבוה.
   הערה: VIF הוא מדד לרב-קולינאריות במשתני מנבא, המחושב על ידי רגרסיה של כל מנבא כנגד אחר. VIFs גבוהים יותר מצביעים על מנבאים בעלי קורלציה גבוהה יותר. מחקר זה השתמש בסף VIF של 2, והפחית את 94 התוויות ל-52 תוויות ייחודיות, ברובן לא מתואמות (טבלה משלימה 1).

6. עיבוד מקדים של fMRI

1. עיבוד מקדים כולל תיקון תנועה, צנזורה ונורמליזציה באמצעות חבילת AFNI (NIH) והפונקציות הקשורות אליה^26,27. השתמש בתיקון תנועה של גוף קשיח בעל שני מעברים ושישה פרמטרים כדי ליישר את עוצמת הקול לנפח יעד המייצג את מיקום הראש הממוצע של המשתתף לאורך ריצות.
2. בצע צנזורה כדי להסיר נפחים עם תזוזה של יותר מ-1 מ"מ בין סריקות, כמו גם נפחים עם עוצמות אות ווקסל חריגות גדולות מ-0.1%. עבור שני הכלבים, יותר מ-80% מהכרכים נשמרו לאחר צנזורה, ועבור בני אדם, יותר מ-90% נשמרו.
3. כדי לשפר את יחס האות לרעש של ווקסלים בודדים, בצע החלקה מרחבית קלה באמצעות 3dmerge וגרעין גאוס 4 מ"מ בחצי רוחב מלא בחצי מקסימום.
4. כדי לשלוט בהשפעה של תכונות חזותיות ברמה נמוכה, כגון תנועה או מהירות, שעשויות להשתנות בהתאם לגירוי, חשב את הזרימה האופטית בין פריימים רצופים של קטעי וידאו^22,28. חשב את הזרימה האופטית באמצעות אלגוריתם Farneback ב-OpenCV לאחר דגימת הפחתה ל-10 פריימים לשנייה²⁹.
5. כדי להעריך את אנרגיית התנועה בכל מסגרת, חשב את סכום הריבועים של הזרימה האופטית של כל פיקסל וקח את השורש הריבועי של התוצאה, וחשב למעשה את הזרימה האופטית הממוצעת האוקלידית ממסגרת אחת^ל-28,30 הבאה. זה מייצר מסלולי זמן של אנרגיית תנועה עבור כל סרטון אוסף.
6. דגמו מחדש את אלה כדי להתאים לרזולוציה הזמנית של נתוני ה-fMRI, בשילוב עם פונקציית תגובה המודינמית גמא כפולה (HRF) כאמור לעיל ומשורשרת כדי ליישר קו עם הצגת הגירוי עבור כל נבדק.
7. השתמש במסלול זמן זה, יחד עם פרמטרי התנועה שנוצרו מתיקון התנועה שתואר לעיל, כרגרסורים היחידים למודל ליניארי כללי (GLM) המוערך עבור כל ווקסל עם 3dDeconvolve של AFNI. השתמש בשאריות של מודל זה כקלט לאלגוריתם למידת המכונה המתואר להלן.

7. אנליזות

1. לפענח את אותם אזורים במוח התורמים באופן משמעותי לסיווג גירויים חזותיים, לאמן מודל עבור כל משתתף בודד שניתן להשתמש בו כדי לסווג תוכן וידאו על סמך נתוני המוח של המשתתפים. השתמש באלגוריתם למידת המכונה של Ivis, שיטה לא ליניארית המבוססת על רשתות עצביות סיאמיות (SNNs) שהראתה הצלחה בנתונים ביולוגיים בממדים גבוהים³¹.
   הערה: SNNs מכילים שתי רשתות משנה זהות המשמשות ללימוד הדמיון של כניסות במצבים מפוקחים או לא מפוקחים. למרות שרשתות עצביות גדלו בפופולריות לפענוח מוח בגלל הכוח הגדול יותר שלהן בדרך כלל על שיטות ליניאריות כמו מכונות וקטור תמיכה (SVM), השתמשנו כאן ב-SNN בגלל החוסן שלו לחוסר איזון מעמדי והצורך בפחות דוגמאות. בהשוואה למכונות וקטוריות תומכות (SVM) ומסווגי יער אקראי (RF) שהוכשרו על אותם נתונים, מצאנו ש-Ivis מצליח יותר בסיווג נתוני מוח על פני שילובי תוויות מרובים, כפי שנקבע על ידי מדדים שונים, כולל ציון F1 ממוצע, דיוק, זיכרון ודיוק בדיקה (ראה להלן).
2. עבור כל משתתף, המירו את שאריות המוח השלם לפורמט המתאים לקלט לרשת העצבית של Ivis. שרשר והסתיר את חמשת הריצות בכל אחד משלושת המפגשים שלהם, תוך שמירה על ווקסלים מוחיים בלבד.
3. שטח את הממד המרחבי, וכתוצאה מכך מטריצה דו-ממדית של ווקסלים לפי זמן.
4. שרשר את התוויות המפותלות של הסרטונים המוצגים בכל ריצה, ובכך להתאים לריצות ה-fMRI.
5. צנזרו הן את נתוני ה-fMRI והן את התוויות המתאימות בהתאם לנפחים שסומנו בעיבוד מקדים.
6. בחר את תוויות היעד לפענוח - להלן "מחלקות" - ושמור רק את אמצעי האחסון המכילים מחלקות אלה. לשם הפשטות, התייחס למחלקות כבלעדיות זו לזו ואל תכלול כרכים השייכים למספר מחלקות לפענוח, ותשאיר רק דוגמאות טהורות.
7. פצל את הנתונים לערכות הדרכה ובדיקות. השתמש בפיצול של פי חמישה, ובחר באופן אקראי 20% מהסצנות כדי לשמש כערכת הבדיקה.
   הערה: משמעות הדבר היא שאם נבחרה סצנה נתונה לערכת הבדיקה, כל הקליפים והנפחים הפונקציונליים שהושגו במהלך סצנה זו הוחזקו מתוך ערכת האימון. אם הפיצול היה מבוצע ללא תלות בסצנה, כרכים מאותה סצנה היו מופיעים גם בערכת האימונים וגם בערכת המבחן, והמסווג היה צריך רק להתאים אותם לסצנה הספציפית הזו כדי להצליח לסווג אותם. עם זאת, כדי לסווג נכון נפחים מוחזקים מסצנות חדשות, המסווג היה צריך להתאים אותם למחלקה כללית יותר, שאינה תלויה בסצנות. זה היה מבחן חזק יותר להכללה של הצלחת המסווג בהשוואה להחזקת קליפים בודדים.
8. אזן את ערכת האימונים על ידי תת-דגימה של מספר הנפחים בכל כיתה כך שיתאים לזה של הכיתה הקטנה ביותר באמצעות חבילת scikit-learn לא מאוזנת-למידה.
9. עבור כל משתתף, אמן ובדוק את אלגוריתם Ivis על 100 איטרציות, בכל פעם באמצעות פיצול רכבת בדיקה ייחודי (פרמטרים של Ivis: k = 5, model = "maaten", n_epochs_without_progress = 30, supervision_weight = 1). ערכי פרמטרים אלה נבחרו ברובם על בסיס גודל מערך הנתונים ומורכבותם כפי שהומלץ על ידי מחברי האלגוריתם בתיעוד שלו³². "מספר התקופות ללא התקדמות" ו"משקל הפיקוח" (0 ללא פיקוח, 1 עבור מפוקח) עברו כוונון פרמטרים נוסף כדי לייעל את המודל.
10. כדי להפחית את מספר התכונות המשמשות לאימון המסווג מכל המוח רק לווקסלים האינפורמטיביים ביותר, השתמש במסווג יער אקראי (RFC) באמצעות scikit-learn כדי לדרג כל ווקסל לפי חשיבות התכונה שלו.
    הערה: למרות שה-RFC לא ביצע מעל המקרה בפני עצמו, הוא שירת את המטרה השימושית של סינון ווקסלים לא אינפורמטיביים, שהיו תורמים רק רעש לאלגוריתם Ivis. זה דומה לשימוש במבחני F לבחירת תכונה לפני המעבר למסווג³³. רק 5% העליונים של הווקסלים ממערך האימונים שימשו באימונים ובבדיקות. המספר המועדף של ווקסלים נבחר כ-5% כסף שמרני במאמץ להפחית את מספר הווקסלים הלא אינפורמטיביים לפני אימון הרשת העצבית. תוצאות דומות מבחינה איכותית התקבלו גם עבור בני אדם וגם עבור כלבים כאשר השתמשו בשיעור גדול יותר של ווקסלים. אף על פי שמוחות אנושיים גדולים יותר ממוחות של כלבים, מודלים אנושיים הצליחו גם כאשר אומנו על מספר מוחלט של ווקסלים השווה לאלה שנכללו במודלים של כלבים, קטן בהרבה מ-5% מהווקסלים (~250 ווקסלים; כל ציוני ה-LRAP הממוצעים >אחוזון 99). לעקביות, אנו מציגים את התוצאות באמצעות 5% העליונים של הווקסלים עבור שני המינים.
11. נרמל את הווקסלים האינפורמטיביים ביותר של 5% בממוצע בכל 100 הריצות, הפוך למרחב המבני של כל משתתף ולאחר מכן למרחב אטלס קבוצתי (אטלסים: בני אדם³⁴ וכלבים³⁵), וסכם אותו בין המשתתפים עבור כל מין. שכבת-על תכונת חשיבות על האטלסים וצבע אותם לפי ציון חשיבות באמצעות ITK-SNAP³⁶.

תוצאות

המדדים הנפוצים ביותר להערכת ביצועי המודל בניתוחי למידת מכונה כוללים דיוק, דיוק, זיכרון וציון F1. דיוק הוא האחוז הכולל של תחזיות המודל הנכונות, בהינתן הנתונים האמיתיים. דיוק הוא אחוז התחזיות החיוביות של המודל שהן למעשה חיוביות (כלומר, השיעור החיובי האמיתי), בעוד שהיזכרות היא אחוז החיוביים האמיתיים בנתונים המקוריים שהמודל מסוגל לחזות בהצלחה. ציון F1 הוא הממוצע המשוקלל של דיוק וזיכרון ומשמש כמדד חלופי לדיוק שהוא חזק יותר לחוסר איזון מעמדי. עם זאת, ה-Ivis שונה מאלגוריתמים נפוצים אחרים של למידת מכונה בכך שהפלט שלו אינו בינארי. בהינתן קלט מסוים של ווקסלים במוח, כל אלמנט פלט מייצג את ההסתברויות המתאימות לכל אחת מהמחלקות. דיוק מחשוב, דיוק, זיכרון ו-F1 עבור פלטים אלה דרשו בינאריזציה בינארית שלהם בצורה של "המנצח לוקח הכל", כאשר המחלקה עם ההסתברות הגבוהה ביותר נחשבה לזו שנחזה עבור נפח זה. גישה זו ביטלה מידע חשוב על דירוג ההסתברויות הללו שהיה רלוונטי להערכת איכות המודל. לפיכך, בעוד שעדיין חישבנו את המדדים המסורתיים הללו, השתמשנו בציון הדיוק הממוצע של דירוג התווית (LRAP) כמדד העיקרי לחישוב הדיוק של המודל בערכת הבדיקות. מדד זה מודד למעשה באיזו מידה המסווג הקצה הסתברויות גבוהות יותר לתוויות אמיתיות³⁷.

בדרגות שונות, מסווג הרשת העצבית היה מוצלח הן עבור בני אדם והן עבור כלבים. עבור בני אדם, האלגוריתם הצליח לסווג גם אובייקטים וגם פעולות, כאשר מודלים של שלושה סוגים עבור שניהם השיגו דיוק ממוצע של 70%. ציון ה-LRAP שימש כמדד העיקרי לחישוב דיוק המודל בערכת הבדיקה; מדד זה מודד את המידה שבה המסווג הקצה הסתברויות גבוהות יותר לתוויות אמיתיות³⁷. עבור שני בני האדם, ציוני ה-LRAP החציוניים היו גדולים מהאחוזון ה-99 של קבוצת תוויות שעברו שינוי אקראי עבור כל המודלים שנבדקו (טבלה 1; איור 2). עבור כלבים, רק למודל הפעולה היה דירוג אחוזון LRAP חציוני גדול משמעותית מהסיכוי בשני המשתתפים (טבלה 1; p = 0.13 עבור אובייקטים ו - p < 0.001 עבור פעולות; ממוצע ציון LRAP של מודל תלת-ייצוגי לכלבים = אחוזון 78). תוצאות אלה היו נכונות עבור כל הנבדקים בנפרד, כמו גם כאשר קובצו לפי מינים.

לאור הצלחת המסווג, התאמנו ובדקנו עם מחלקות נוספות כדי לקבוע את גבולות המודל. זה כלל חישוב מטריצות שונות עבור כל 52 מחלקות העניין הפוטנציאליות באמצעות אלגוריתם האשכולות ההיררכי של חבילת Python, שקיבץ מחלקות על סמך הדמיון של תגובת המוח של הפרט לכל אחת מהן, כפי שהוגדר על ידי מתאם זוגי. מבין המודלים הנוספים שנבדקו, המודל עם דירוג אחוזון ה-LRAP החציוני הגבוה ביותר בשני הכלבים כלל חמש מחלקות: "דיבור", "אכילה" ו"רחרוח" המקוריים, בתוספת שתי מחלקות חדשות, "ליטוף" ו"משחק" (איור 2). למודל זה היה דירוג אחוזון LRAP חציוני גדול משמעותית מזה שנחזה במקרה עבור כל המשתתפים (טבלה 1; p < 0.001 הן לכלבים והן לבני אדם; ממוצע ציון LRAP של מודל תביעה חמש-ייצוגית לכלבים = אחוזון 81).

כאשר מופו לאחור לאטלסי המוח שלהם, ציוני חשיבות התכונה של ווקסלים חשפו מספר אשכולות של ווקסלים אינפורמטיביים בקליפת המוח העורפית, הקודקודית והרקתית של כלבים ובני אדם (איור 3). בבני אדם, המודלים מבוססי האובייקטים ומבוססי הפעולה חשפו דפוס מוקדי יותר מאשר בכלבים ובאזורים הקשורים בדרך כלל לזיהוי אובייקטים, אם כי עם הבדלים קלים במיקום המרחבי של ווקסלים מבוססי אובייקטים ווקסלים מבוססי פעולה.

בדקנו שההבדלים בין המינים האלה לא היו תוצאה של התנועה הקשורה למשימה של הכלבים שנעים יותר לסוגים מסוימים של סרטונים מאשר לאחרים (למשל, סרטונים שאינם כלבים, למשל, מכוניות). חישבנו את הנורמה האוקלידית של ששת פרמטרי התנועה והתאמנו מודל ליניארי של אפקטים מעורבים באמצעות חבילת R lme4, עם מחלקה כאפקט קבוע ומספר ריצה כאפקט אקראי עבור כל כלב. עבור כל אחד מהמודלים הסופיים, לא מצאנו השפעה משמעותית של סוג המחלקה על התנועה עבור דייזי (F(2, 2252) = 0.83, p = 0.44 עבור מבוסס אובייקט ו-F(4, 1235) = 1.87, p = 0.11 עבור מבוסס פעולה) או Bhubo (F(2, 2231) = 1.71, p = 0.18 עבור מבוסס אובייקט ו-F(4, 1221) = 0.94, p = 0.45 עבור מבוסס פעולה).

איור 1: סרטונים נטורליסטיים ומצגת בקידוח MRI. (A) פריימים לדוגמה מקטעי וידיאו שהוצגו למשתתפים. (B) בובו, מתאגרף מעורב בן 4, צופה בסרטונים בזמן שהוא עובר fMRI ער. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 2: ביצועי מודל בכלבים ובבני אדם. התפלגות ציוני LRAP, המוצגת כדירוגי אחוזונים של התפלגות האפס שלהם, למעלה מ-100 איטרציות של אימון ובדיקה של אלגוריתם למידת מכונה של Ivis עבור מודל מבוסס אובייקטים בן שלוש מחלקות, מודל מבוסס פעולה תלת-מחלקתי ומודל מבוסס פעולה של חמש מחלקות, שבו מודלים ניסו לסווג תגובות BOLD לגירויי וידאו נטורליסטיים שהושגו באמצעות fMRI ער בכלבים ובבני אדם. הציונים מצטברים לפי מינים. ציון LRAP עם דירוג אחוזון גבוה מאוד מצביע על כך שהמודל לא סביר מאוד להשיג את ציון ה-LRAP הזה במקרה. מודל שאינו מתפקד טוב יותר מהסיכוי יהיה בעל דירוג אחוזון LRAP חציוני של ~50. קווים מקווקווים מייצגים את דירוג אחוזון ה-LRAP החציוני עבור כל מין בכל 100 הריצות אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

איור 3: אזורים חשובים להבחנה של מודלים של אובייקטים תלת-ייצוגיים ומודלים של תביעות ייצוגיות. (A) משתתפים אנושיים ו-(B) כלבים. Voxels דורגו על פי חשיבות התכונה שלהם באמצעות מסווג יער אקראי, ממוצע על פני כל האיטרציות של המודלים. 5% העליונים של הווקסלים (כלומר, אלה המשמשים לאימון מודלים) מוצגים כאן, מצטברים לפי מינים והופכים למרחב קבוצתי למטרות הדמיה (אטלסים: בני אדם³⁴ וכלבים³⁵). התוויות מציגות אזורים במוח של כלבים עם ציוני חשיבות תכונות גבוהים, בהתבסס על אלה שזוהו על ידי ג'ונסון ^{ואחרים.35}. קיצור: SSM = הפיתול הסופרסילבי. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

	סוג הדגם	דיוק האימון	דיוק הבדיקה	ציון F1	דיוק	זוכר	אחוזון חציוני של ציון LRAP
אדם 1	אובייקט (3 מחלקה)	0.98	0.69	0.48	0.52	0.49	>99
	פעולה (3 מחלקות)	0.98	0.72	0.51	0.54	0.54	>99
	פעולה (5 מחלקה)	0.97	0.51	0.28	0.37	0.27	>99
אנושי 2	אובייקט (3 מחלקה)	0.98	0.68	0.45	0.5	0.47	>99
	פעולה (3 מחלקות)	0.98	0.69	0.46	0.5	0.48	>99
	פעולה (5 מחלקה)	0.97	0.53	0.3	0.4	0.27	>99
בובו	אובייקט (3 מחלקה)	0.99	0.61	0.38	0.41	0.39	57
	פעולה (3 מחלקות)	0.98	0.63	0.38	0.4	0.4	87
	פעולה (5 מחלקה)	0.99	0.45	0.16	0.29	0.13	88
דייזי	אובייקט (3 מחלקה)	1	0.61	0.38	0.43	0.39	43
	פעולה (3 מחלקות)	0.97	0.62	0.35	0.38	0.35	60
	פעולה (5 מחלקה)	0.99	0.44	0.16	0.27	0.13	76

טבלה 1: מדדים מצטברים של אלגוריתם למידת המכונה של Ivis מעל 100 איטרציות של אימון ובדיקות על תגובות BOLD לגירויי וידאו נטורליסטיים המתקבלים באמצעות fMRI ער בכלבים ובבני אדם. למודלים של האובייקטים היו שלוש מחלקות מטרה ("כלב", "אדם", "מכונית"), ולמודלים של הפעולה היו שלוש או חמש מחלקות (שלוש מחלקות: "מדבר", "אוכל", "מרחרח"; חמש מחלקות: "מדבר", "אוכל", "מרחרח", "מלטף", "משחק"). ערכים גדולים משמעותית מהסיכוי מוצגים בהדגשה.

טבלה משלימה 1: תוויות מחלקות. אנא לחץ כאן להורדת קובץ זה.

סרטון משלים 1: סרטון וידאו לדוגמה. אנא לחץ כאן להורדת קובץ זה.

Discussion

תוצאות מחקר זה מדגימות כי סרטונים נטורליסטיים גורמים לייצוגים במוחם של כלבים שהם יציבים מספיק במהלך מפגשי הדמיה מרובים שניתן לפענח אותם באמצעות fMRI בדומה לתוצאות שהתקבלו הן בבני אדם והן בקופים^. בעוד שמחקרי fMRI קודמים של מערכת הראייה של הכלבים הציגו גירויים מופשטים, כגון פנים או אובייקט על רקע ניטרלי, התוצאות כאן מדגימות כי סרטונים נטורליסטיים, עם מספר אנשים וחפצים המקיימים אינטראקציה זה עם זה, גורמים לדפוסי הפעלה בקליפת המוח של הכלב שניתן לפענח באמינות המתקרבת לזו שנראית בקליפת המוח האנושית. גישה זו פותחת אפיקי חקירה חדשים לאופן שבו מערכת הראייה של הכלב מאורגנת.

למרות שתחום ה-fMRI של כלבים גדל במהירות, עד כה, ניסויים אלה הסתמכו על גירויים עניים יחסית, כגון תמונות של אנשים או חפצים על רקע ניטרלי 10,12,13. בנוסף, בעוד שניסויים אלה החלו לזהות אזורי מוח אנלוגיים לאזור הפנים הפיוזיפורמי של הפרימטים, המעורבים בעיבוד פנים, וקליפת המוח העורפית הצדדית (LOC), לעיבוד אובייקטים, נותרה מחלוקת לגבי אופי הייצוגים הללו, כגון האם לכלבים יש אזורי פנים כשלעצמם המגיבים למאפיינים בולטים דומים לפרימטים או האם יש להם ייצוגים נפרדים לכלבים ולבני אדם או פנים וראשים. לדוגמה ^9,13. כלבים, כמובן, אינם פרימטים, ואיננו יודעים כיצד הם מפרשים את הגירויים המלאכותיים הללו במנותק מההקשרים הרב-חושיים הרגילים שלהם באמצעות צלילים וריחות. כמה ראיות מצביעות על כך שכלבים אינם מתייחסים לתמונות של חפצים כייצוגים של דברים אמיתיים¹². למרות שלא ניתן ליצור חוויה רב-חושית אמיתית בסורק, השימוש בסרטונים נטורליסטיים עשוי להפחית חלק מהמלאכותיות על ידי מתן גירויים דינמיים המתאימים יותר לעולם האמיתי, לפחות לכלב. מאותן סיבות, השימוש בגירויים נטורליסטיים במחקר fMRI אנושי צבר פופולריות, ומדגים, למשל, שרצפי אירועים בסרט מיוצגים בקליפת המוח על פני טווחי זמן מרובים וכי סרטים יעילים בגרימת הפעלת רגשות אמינה³⁸. ככזה, בעוד שסרטונים נטורליסטיים נותרו גירויים עניים יחסית, הצלחתם במדעי המוח האנושיים מעלה את השאלה אם ניתן להשיג תוצאות דומות בכלבים.

התוצאות שלנו מראות שמסווג רשת עצבית הצליח לפענח סוגים מסוימים של תוכן נטורליסטי ממוחות של כלבים. הצלחה זו היא הישג מרשים בהתחשב במורכבות הגירויים. חשוב לציין, מכיוון שהמסווג נבדק על קטעי וידאו שלא נראו, מודל הפענוח אסף קטגוריות רחבות שניתן היה לזהות על פני קליפים ולא מאפיינים ספציפיים לסצנות בודדות. נציין כי ישנם מספר מדדים לכימות הביצועים של מסווג למידת מכונה (טבלה 1). מכיוון שלסרטונים נטורליסטיים, מטבעם, לא יהיו מופעים שווים מכל המחלקות, נקטנו בגישה זהירה על ידי בניית התפלגות אפס מהתמורות האקראיות של תוויות והערכת המשמעות המתייחסת לכך. לאחר מכן, מצאנו שההצלחה של דגמי הכלבים הייתה מובהקת סטטיסטית, והשיגה ציונים באחוזון 75-90, אולם רק כאשר הסרטונים קודדו על סמך הפעולות הקיימות, כמו למשל משחק או דיבור.

ערכות המבחנים, בניגוד לערכות האימון, לא היו מאוזנות בין הכיתות. דגימה נמוכה לגודל הכיתה הקטן ביותר הייתה מביאה לגודל מדגם קטן מאוד עבור כל מחלקה, כך שכל סטטיסטיקה שחושבה לא הייתה אמינה. כדי למנוע את האפשרות של דיוק מנופח מחוסר איזון זה, התפלגות האפס של ה-LRAP חושבה על ידי שינוי אקראי של סדר המחלקות 1,000 פעמים עבור כל איטרציה של מודל. התפלגות אפס זו שימשה כהתייחסות למידת הביצועים של המודל במקרה. לאחר מכן, ה-LRAP האמיתי הומר לדירוג אחוזון בהתפלגות אפס זו. דירוג אחוזון גבוה מאוד, למשל, 95%, יצביע על כך שציון גבוה כל כך עלה רק ב-5% מהמקרים ב-1,000 תמורות אקראיות. מודל כזה יכול, אם כן, להיחשב כבעל ביצועים הרבה מעל המקרה. כדי לקבוע אם דירוגי האחוזונים הללו גדולים משמעותית מהצפוי במקרה, כלומר האחוזון ה-50 מבחינה סטטיסטית, חושב דירוג האחוזון החציוני של LRAP בכל 100 האיטרציות עבור כל מודל ובוצע מבחן דירוג חתום של Wilcoxon במדגם אחד.

למרות שהמטרה העיקרית הייתה לפתח מפענח של גירויים חזותיים נטורליסטיים לכלבים, השוואות לבני אדם הן בלתי נמנעות. כאן, אנו מציינים שני הבדלים עיקריים: עבור כל סוג של מסווג, המודלים האנושיים ביצעו ביצועים טובים יותר מדגמי הכלבים; והמודלים האנושיים ביצעו ביצועים טובים הן עבור מודלים מבוססי אובייקטים והן עבור מודלים מבוססי פעולה, בעוד שדגמי הכלבים ביצעו עבור מודלים מבוססי פעולה בלבד. הביצועים המעולים של המודלים האנושיים יכולים לנבוע ממספר גורמים. מוחות אנושיים גדולים בערך פי 10 ממוחות של כלבים, כך שיש יותר ווקסלים שמהם ניתן לבחור לבנות מסווג. כדי להעמיד את המודלים על בסיס שווה, יש להשתמש באותו מספר ווקסלים, אבל זה יכול להיות במובן מוחלט או יחסי. למרות שהמודל הסופי התבסס על 5% העליונים של הווקסלים האינפורמטיביים בכל מוח (מדד יחסי), תוצאות דומות התקבלו באמצעות מספר קבוע של ווקסלים. לפיכך, נראה סביר יותר שהבדלים בביצועים קשורים לאופן שבו בני אדם וכלבים תופסים גירוי וידאו. כפי שצוין לעיל, בעוד שכלבים ובני אדם הם רב-חושיים בתפיסתם, הגירויים עשויים להיות עניים יותר לכלב מאשר לאדם. רמזי גודל, למשל, עלולים ללכת לאיבוד, כשהכל נראה כמו גרסת צעצוע של העולם האמיתי. ישנן עדויות לכך שכלבים מסווגים חפצים על סמך גודל ומרקם לפני צורה, וזה כמעט הפוך מבני אדם³⁹. בנוסף, ריח, שאינו נלקח בחשבון כאן, הוא ככל הנראה מקור מידע חשוב להבחנה בין אובייקטים בכלבים, במיוחד בזיהוי של פרטים ספציפיים או בני אדם 40,41,42. עם זאת, אפילו בהיעדר רמזי גודל או ריח, בסביבה יוצאת הדופן של סורק ה-MRI, העובדה שהמסווג עבד בכלל אומרת שעדיין היה מידע רלוונטי לכלבים שניתן לשחזר ממוחם. עם שני כלבים ושני בני אדם בלבד, ההבדלים בין המינים יכולים לנבוע גם מהבדלים אינדיבידואליים. שני הכלבים, לעומת זאת, ייצגו את מיטב הכלבים שאומנו ב-MRI והצטיינו בשמירה על יציבות בזמן צפייה בסרטונים. בעוד שגודל מדגם גדול יותר בהחלט יאפשר להבחין בצורה אמינה יותר בין המינים, המספר הקטן של כלבים המסוגלים לבצע fMRI ער ושיצפו בסרטונים לפרקי זמן ארוכים מספיק תמיד יגביל את יכולת ההכללה לכל הכלבים. בעוד שייתכן שלגזעים מיוחדים, כמו כלבי ציד, יש תגובות מוח חזותיות מכווננות יותר, אנו מאמינים שסביר יותר שמזג ואילוף אינדיבידואליים יהיו הגורמים העיקריים הקובעים את מה שניתן לשחזר ממוח הכלב.

הבדלי המינים הללו מעלים את השאלה לאיזה היבט של הסרטונים הכלבים שמו לב. גישה אחת לענות על שאלה זו מסתמכת על גירויי וידאו פשוטים יותר. לאחר מכן, על ידי שימוש בתמונות מבודדות של, למשל, בני אדם, כלבים ומכוניות, בנפרד וביחד על רקע ניטרלי, ייתכן שנוכל להנדס לאחור את הממדים הבולטים של הכלב. עם זאת, זה גם לא יעיל מבחינה מתודולוגית וגם מרושש עוד יותר את הגירויים מהעולם האמיתי. ניתן לפתור את שאלת הקשב על ידי גישת הפענוח בלבד, למעשה, תוך שימוש בביצועי המודל כדי לקבוע מה מטופל⁴³. בהתאם לכך, התוצאות כאן מצביעות על כך שבעוד שבני האדם התייחסו הן לשחקנים והן לפעולות, הכלבים היו ממוקדים יותר בפעולות עצמן. זה יכול לנבוע מהבדלים בתכונות תנועה ברמה נמוכה, כגון תדירות התנועה כאשר אנשים משחקים לעומת אכילה, או שזה יכול לנבוע מייצוג קטגורי של פעילויות אלה ברמה גבוהה יותר. התפלגות הווקסלים האינפורמטיביים ברחבי קליפת המוח של הכלב מצביעה על כך שייצוגים אלה אינם רק מאפיינים ברמה נמוכה שאחרת היו מוגבלים לאזורים חזותיים. מחקר נוסף באמצעות מגוון רחב יותר של גירויי וידאו עשוי להאיר את תפקיד התנועה באפליית קטגוריות על ידי כלבים.

לסיכום, מחקר זה הוכיח את ההיתכנות של שחזור מידע חזותי נטורליסטי מקליפת המוח של הכלב באמצעות fMRI באותו אופן שנעשה עבור קליפת המוח האנושית. הדגמה זו מראה שגם ללא צליל או ריחות, ממדים בולטים של סצנות מורכבות מקודדים על ידי כלבים הצופים בסרטונים, וכי ניתן לשחזר את הממדים הללו ממוחם. שנית, בהתבסס על המספר הקטן של כלבים שיכולים לבצע מטלות מסוג זה, המידע עשוי להיות מפוזר בקליפת המוח באופן נרחב יותר מאשר בדרך כלל אצל בני אדם, ונראה שסוגי הפעולות מתאוששים בקלות רבה יותר מאשר זהות השחקנים או האובייקטים. תוצאות אלה פותחות דרך חדשה לבחון כיצד כלבים תופסים את הסביבות שהם חולקים עם בני אדם, כולל מסכי וידאו, ומציעות דרכים עשירות לחקירה עתידית של האופן שבו הם ובעלי חיים אחרים שאינם פרימטים "רואים" את העולם.

Materials

Name	Company	Catalog Number	Comments
3 T MRI Scanner	Siemens	Trio
Audio recordings of scanner noise	homemade	none
Camera gimbal	Hohem	iSteady PRO 3
Dog-appropriate videos	homemade	none
fMRI processing software	AFNI	20.3.01
Mock scanner components	homemade	none	Mock head coil and scanner tube
Neural net software	Ivis	1.7.1
Optical flow software	OpenCV	4.2.0.34
Projection system for scanner	homemade	none
Trophy Cam HD	Bushnell	119874
Video camera	GoPro	HERO7
Visualization software	ITK-SNAP	3.6.0
Windows Video Editor	Microsoft	Windows 11 version