חוצה מודאלי תבנית ניתוח רב משתני

Summary

תבנית קלאסית בניתוח רב משתני צופה גירויים חושיים נושא תופס מן הפעילות העצבית בקורטקס המקביל (גירויים חזותיים כגון מפעילות בקליפה החזותית). הנה, אנחנו מיישמים ניתוח דפוס צולבות modally ולהראות קול ומגע, רומז גירויים חזותיים ניתן לחזות מפעילות השמיעה החושית קליפת המוח, בהתאמה.

Abstract

ניתוח רב משתני דפוס (MVPA) היא שיטה פופולרית יותר ויותר של ניתוח תהודה מגנטי תפקודי (fMRI) נתונים ^1-4. בדרך כלל, שיטת משמש לזיהוי ניסיון תפיסתי של הנושא מתוך פעילות עצבית באזורים מסוימים של המוח. למשל, זה כבר מועסק לחזות את הכיוון של gratings חזותי נושא תופס מפעילות הקורטקס הראייתי הקדום ⁵ או, באנלוגיה, תוכן הנאום מכל פעילות בקורטקס השמיעתי מוקדם ^6.

כאן, אנו מציגים הרחבה של הפרדיגמה MVPA הקלאסית, לפיה תפיסתי גירויים לא צפויים בתוך, אבל על פני מערכות חושית. באופן ספציפי, אנו מתארים את שיטת כתובות השאלה האם הגירויים מעוררי אסוציאציות זיכרון באופנים שונה מזו שדרכה הם מוצגים לגרום תוכן ספציפי דפוסי הפעילות הקורטקס הסנסורי של אותם בשיטות אחרות.למשל, לראות סרטון וידאו מושתק של אגרטל זכוכית מתנפצת על הרצפה באופן אוטומטי מעורר אצל רוב המשקיפים תמונה שמיעתית של צליל הקשורים; היא החוויה של התמונה הזאת "האוזן במוחו של" בקורלציה עם דפוס פעילות ספציפית עצבית מוקדם קליפת המוח השמיעתית? יתר על כן, זה דפוס פעילות שונה דפוס זה יכול להיבחן אם הנושא היו במקום, צופים סרטון של כלב מיילל?

בשני מחקרים קודמים ^7,8, היינו יכולים לחזות קול ומגע, רומז קטעי וידיאו המבוסס על פעילות עצבית בקליפת המוח השמיעתית מוקדם החושית, בהתאמה. תוצאות המחקר עולות בקנה אחד עם מסגרת neuroarchitectural המוצע על ידי ^9,10 דמסיו, לפיה הניסיון של דימויים שמבוססים על זיכרונות - כגון שמיעת קול ניפוץ אגרטל על "האוזן במוחו של" כשהוא רואה את הוידאו המתאים קליפ - נתמך על ידי בנייה מחדש של תוכןספציפית דפוסי הפעילות העצבית בקורטקס הסנסורי הקדום.

Protocol

1. הקדמה

ניתוח רב משתני דפוס (MVPA) היא שיטה פופולרית יותר ויותר של ניתוח תהודה מגנטי תפקודי (fMRI) נתונים ^1-4. בדרך כלל, שיטת משמש לזיהוי ניסיון תפיסתי של הנושא מתוך פעילות עצבית באזורים מסוימים של המוח. למשל, זה כבר מועסק לחזות את הכיוון של gratings חזותי נושא תופס מפעילות הקורטקס הראייתי הקדום ⁵ או, באנלוגיה, תוכן הנאום מכל פעילות בקורטקס השמיעתי מוקדם ^6. במאמר זה וידאו, אנחנו מתארים את יישום הרומן של MVPA אשר מוסיפה טוויסט תוספת זו הפרדיגמה הבסיסית התוך מודאלית,. בגישה זו, גירויים תפיסתיים הם חזו לא בתוך, אבל על פני מערכות חושית.

2. תבנית ניתוח רב משתני

למרות שיטת MVPA כבר מבוססת היטב בגדר הדמייה, נתחיל ידי pointing את ההבדלים העיקריים בין MVPA ניתוח קונבנציונלי, fMRI univariate. לשם כך, יש לשקול את הדוגמה הבאה של איך ללכת על שתי שיטות לבדיקת פעילות עצבית בקליפת המוח הראייתית במהלך משימה ויזואלית פשוטה ( קליפ 1 ):

1. הנושא מוצג עם שני גירויים חזותיים שונים, למשל, תמונה של כתום תמונה של תפוח.
2. שניהם לגרום לגירויים דפוס מסוים של פעילות עצבית בקליפת המוח החזותית הראשונית, סימל כאן על ידי רמות ההפעלה של שישה voxels hypothetic. (כמובן, דפוסי הפעילות המושרה על ידי הצגת יחיד של תפוז או תפוח תמונות במציאות יהיה רועש מאוד, לשקול את דפוסי כפי שמודגם הממוצעים הנובע ממספר רב של ניסויים.)
3. בניתוח קונבנציונאלי fMRI, יש בעצם שתי דרכים בהן דפוסים אלה ניתן לנתח. ראשית, אפשר להתמקד leve הממוצעאני הפעילות ברחבי האזור כולו של עניין.
4. בדוגמה שניתנה, ההבדל ברמות הפעילות הממוצע אינו משמעותי, כך דפוסי המתאים לשני גירויים לא ניתן להבחין בין נקודת מבט זו.
5. דרך נוספת לנתח את שני דפוסי היא להקים לעומת החיסור ביניהם: עבור כל voxel, רמת ההפעלה במהלך מצב "תפוח" הוא מפחיתים את רמת ההפעלה במהלך מצב "כתום". ההבדל שהתקבל לאחר מכן ניתן דמיינו voxel עבור כל תמונה על המוח כולו ניגוד.
6. שוב, עם זאת, הבדלים אלה עשויים להיות קטנים עשויים להגיע קריטריון סטטיסטי נדרש רק עבור voxels מעט מאוד.
7. זה המקום שבו היתרון המכריע של MVPA נכנס לשחק: כוח מעולה שלה נובע מהעובדה, שבניגוד שיטות ניתוח univariate, היא רואה את רמות ההפעלה של כל voxels בו זמנית ולכן הוא מסוגל לזהות דפוסים בתוך אותם. אמנם, כפי mentioneד, רק מעטים ההבדלים ההפעלה עשויה להיות משמעותית כאשר נחשב בבידוד, שתי תבניות, כאשר נחשב בשלמותם, אמנם על ידי שונה מבחינה סטטיסטית.

יש הבדל גדול נוסף בין ניתוח fMRI קונבנציונאלי MVPA ( קליפ 2 ). השיטה לשעבר בדרך כלל מנסה להפגין תלות סטטיסטית בין גירויים חושיים מסוימים מסוים דפוסי פעילות המוח "בדרך קדימה", או במילים אחרות, הוא שואל שאלה מסוג: "האם שני גירויים חזותיים שונים, למשל תמונה של פנים והתמונה של בית, להוביל רמות פעילות שונות באזור מסוים של עניין, למשל באזור הפנים כישורי? " לעומת זאת, ההצלחה של MVPA מתבטאת בדרך כלל במונחים של "מסקנה הפוכה" או "פענוח"; השאלה טיפוסית היא מסוג: "בהתבסס על דפוס של פעילות עצבית reg ספציפי יון של עניין (למשל בקליפה החזותית העיקרית), ניתן לחזות אם הנושא תופס גירוי, למשל ב כתום, או גירוי, למשל תפוח? "שים לב, עם זאת, כי הכיוון שבו המתאם בין גירויים תפיסתיים פעילות המוח ממופה לא משנה מנקודת מבט סטטיסטית: זה שווה לומר כי שני גירויים להוביל דפוסי פעילות ברורים באזור המוח נתון לומר כי דפוס הפעילות באזור זה במוח מאפשר חיזוי של הגירוי גרימת ¹¹ . במילים אחרות, את הרגישות של MVPA עדיפה על זו של מנתח univariate משום שהיא רואה voxels כמה בו זמנית, ולא משום שהוא ממשיך בכיוון ההפוך.

השלבים הבאים מדגימים כיצד פרדיגמה טיפוסי MVPA היה לענות על השאלה אם רואים תפוח גורם דפוס שונה של פעילות עצבית בקליפת הראייה העיקרית מאשר לראות כתומה (_upload/3307/3307_Meyer-Kaplan_Video_3.mov "> וידאו קליפ 3):

1. נתוני ה-fMRI נרכשים תוך בנושא רואה מספר גדול של גירויים תפוחים ותפוזים.
2. הנתונים רכשה מחולקים להגדיר הכשרה נתונים ומערכת נתונים ובדיקה. שלא כמו בדוגמה הנוכחית, קבע את נתוני האימון נבחר לעתים קרובות להיות גדול יותר להגדיר את בדיקת הנתונים, כמו הביצועים של מסווג יכול להיות צפוי לגדול עם מספר ניסויים הכשרה.
3. הנתונים ממערכת ההכשרה הם נכנסו מסווג דפוס. שימוש אחד מכמה אלגוריתמים מתמטיים אפשרי, מסווג את הניסיונות לאתר תכונות בדפוסי עצביים להבחין בין שני סוגי גירוי אחד מהשני. סוג של מסווג הנפוץ (גם במחקרים קודמים שלנו) הם מה שנקרא וקטור מכונות תמיכה; לפרטים נוספים, הקורא נקרא את הביקורות שהוזכרו במבוא.
4. לאחר מסווג הוכשר על ניסויים אימון, זה providעורך עם נתוני בדיקות. מחקרים בודדים מהמערך בדיקות נתונים ללא תווית, או במילים אחרות, מסווג אינו "יודע" אם דפוס מגיע "תפוח" או ניסוי "תפוז".
5. בהתבסס על consistencies היה מסוגל לזהות בערכת הדרכה נתונים, מסווג את תכונות התווית הסיכוי הטוב ביותר של כל הניסויים בדיקות.
6. לכל דפוס, מסווג "לנחש" ניתן להשוות עם תווית את הגירוי הנכון.
7. אם מסווג לא היה מסוגל לזהות הבדלים עקביים בין דפוסי המושרה על ידי שני גירויים, הביצועים שלה צריך להיות ברמה סיכוי; לאפליה דו כיווני הנתון בדוגמה, זה יתאים תוויות לתקן 50%. מופע חיזוי משמעותית מעל ערך זה מציין כי אין ספק שישנם הבדלים עקביים בין שני סוגים של גירויים.

שים לב, זה קריטי כי הדרכה ובחינות ערכות נתונים להיות עצמאי anoth oneאה. רק אם זה המקרה ניתן להסיק מסקנות כלשהם לגבי הכללה של דפוסי נגזר להגדיר את האימון. מחקרים MVPA לעתים קרובות להעריך ביצועים מסווג באמצעות פרדיגמה צולבות אימות ( קליפ 4 ). נניח כי ניסוי MVPA כוללת שמונה ריצות תפקודית. בשלב צולבות אימות הראשונה, מסווג הוא מאומן על נתונים מ 1 עד 7 פועל ונבדק על נתונים לרוץ 8. בשלב השני, מסווג הוא אימן אז על ריצות 1 עד 6, כמו גם להפעיל 8, ונבדקו לאחר מכן לרוץ על 7. בעקבות הסכמה זו, שמונה צולבות אימות הצעדים מתבצעים, עם כל סיבוב משמש להריץ בדיקה פעם אחת בדיוק. ביצועים מסווג הכולל מחושב כממוצע של הופעות על צולבות אימות צעדים בודדים. בעוד הליך זה מבטיח הכשרה עצמאית ערכות נתונים ובדיקה על כל צעד, הוא גם מגדיל את המספר הכוללשל ניסויים ובדיקות, אשר יכול להיות יתרון כאשר הערכת מובהקות סטטיסטית של ביצועי מסווג.

ישנן חבילות התוכנה זמינה באופן חופשי ברשת האינטרנט כדי לבצע MVPA; שתי דוגמאות הן PyMVPA ¹² (מבוסס על פייתון; http://www.pymvpa.org ) ואת ארגז הכלים המוצעים על ידי Neuroscience פרינסטון המכון (על בסיס Matlab: http:/ / code.google.com / p / פרינסטון-mvpa-ארגז כלים / ).

3. חוצה מודאלי MVPA ואת המסגרת של התכנסות, סטייה אזורי

כפי שהוזכר במבוא, פרדיגמות הניסוי כמו זה המתואר רק שימשו בהצלחה לחזות תפיסתי גירויים מן הפעילות העצבית בקורטקס הסנסורי המקביל, או במילים אחרות, גירויים חזותיים המבוססים על פעילות בקורטקס ויזואלי לגירויים שמיעתיים מבוסס על פעילות בקורטקס השמיעתי . הנה, אנחנוכיום הרחבה של המושג הבסיסי הזה. באופן ספציפי, אנחנו שיערו כי זה צריך להיות אפשרי לחזות גירויים תפיסתי ולא רק מבפנים, אבל על פני שיטות. תפיסה חושית קשורה מסובכת להיזכר בזיכרונות, למשל, גירוי חזותי בעל משמעות השמיעה חזקה, כגון מראה של אגרטל זכוכית מתנפצת על הקרקע, באופן אוטומטי ההדק שלנו "האוזן של המוח" תמונות לשתף הדמיון עם תמונות שמיעתי חווינו על המפגשים הקודמים עם זכוכית נשברת. על פי מסגרת הציג דמסיו יותר משני עשורים לפני ^9,10, הקשר בין זיכרון למראה באגרטל ותמונות קול המקביל מאוחסן התכנסות, התבדרות אזורי שנקרא (CDZs; קליפ 5 ). CDZs הם הרכבים נוירון בקורטקס העמותה אשר מתכנסים לקבל מלמטה למעלה מן התחזיות המוקדמות שונים בקליפת המוחreas (דרך מספר רמות היררכיות) ואת אשר, בתורו, שולח בחזרה מסתעף מלמעלה למטה תחזיות לאתרים קליפת המוח זהה. בשל מלמטה למעלה תחזיות מתכנסת, CDZs יכול להיות מופעל על ידי ייצוגים תפיסתיים באופנים רבים - למשל, הן למראה וקול ניפוץ אגרטל, בשל מלמעלה למטה תחזיות מסתעף, הם יכולים לקדם את השיקום קשורה של תמונות על ידי איתות חזרה הקורטקס הראשונים של שיטות נוספות. דמסיו הדגיש את הנקודה האחרונה: הפעלת CDZs בקורטקס העמותה לא יהיה מספיק להיזכר מודע של תמונה מהזיכרון; רק פעם אחת CDZs יהיה לשחזר ייצוגים עצביים מפורש בקורטקס הסנסורי הקדום התמונה תהיה מנוסה במודע. לפיכך, במסגרת חוזה רצף מסוים של עיבוד עצבי בתגובה לגירוי (בלבד) ויזואלי המרמז צליל ( סרטון וידאו6):

1. הגירוי הראשון גורם דפוס מסוים של פעילות עצבית (מלבנים אדומים) של הקורטקס הראייתי הקדום.
2. ויה מלמטה למעלה תחזיות מתכנסת, הנוירונים בקורטקס ויזואלי מוקדם פרויקט קדימה לרמה הראשונה של CDZs ₍₁ CDZ ים). דפוס מתכנסת של קישוריות ההיתרים של ₁ CDZ כדי לזהות דפוסים מסוימים של פעילות הקורטקס הראייתי הקדום. בהתאם לדפוס המדויק, CDZ עשוי או עלול לא להיות מופעל. CDZs ובכך לשמש extractors תכונה. בדוגמה זו, שני CDZ ₁ של להיות מופעל (כפי שצוין על ידי צבע אדום), ואילו השלישי לא מופעלת על ידי דפוס פעילות ספציפית במגזר המקביל הקורטקס הראייתי הקדום.
3. CDZ ₁ s לשלוח מתכנסת מלמטה למעלה תחזיות ל CDZ ₂ s, ולכן, בדיוק כמו CDZ ₁ של דפוסים מסוימים זיהה פעילות הקורטקס הראייתי הקדום, CDZ ₂ s מסוגלים לזהות דפוסי הפעילות בקרב CDZ ₁ s. מספר ₂ של CDZ עשוי להיות מופעל על ידי תצורת הספציפי של הפעלת CDZ ₁ s; מטעמי פשטות, רק CDZ יחיד ₂ מתואר כאן. בדוגמה, את דפוס הפעילות בין CDZ ₁ s מספקת כדי להפעיל את זה CDZ _2.
4. יש לציין, CDZ ₁ של הפרויקט לא רק קדימה CDZ ₂ s אלא גם חזרה אל הקורטקס מוקדם (חיצים כחולים). אלה מלמעלה למטה אותות עשוי להשלים את דפוס (אולי רועש) פעילות המושרה בתחילה על ידי הגירוי (מלבן כחול). בדרך כלל, הצבע האדום מסמל מלמטה למעלה הפעלות, בעוד הצבע הכחול מייצג מלמעלה למטה הפעלות.
5. דרך רמות נוספות כמה CDZs, הפרויקט של ₂ CDZ קדימה CDZ _n ים ב מסדר גבוה הקורטקס האסוציאטיבי (חץ מקווקו). אחד או מספר CDZ _n ים עשויים להגיב לגירוי חזותי הספציפי האמור (רק אחד מתואר).
6. שוב, יש לציין כי ₂ CDZ של als o אחורה של ₁ CDZ אשר, בתורם, עלולים נוספת לשנות את דפוס המושרה במקור הקורטקס הראייתי הקדום האות.
7. _N CDZ של האות בחזרה של CDZ ₂ של כל שיטות. ב הקורטקס הראייתי, זה עלול להוביל לסיום דפוסי הפעילות ברמה נמוכה CDZs. בקורטקס השמיעתי, דפוס עצבי יוקם - תחילה ברמת CDZ ₂ s ו CDZ ₁ s, בסופו של דבר בקורטקס השמיעתי מוקדם - המאפשר את חוויית מודע של תמונה שמיעתית הקשורה לגירוי המוצג באופן חזותי. שים לב כי יש גם מלמעלה למטה איתות מודליות החושית, אם כי במידה פחותה מאשר שיטת השמיעה. זה משקף את העובדה כי כמעט כל גירוי חזותי יש אסוציאציה משושי זה. כמו גירוי חזותי בדוגמה הנוכחית ההנחה היא דווקא לרמוז קול, לעומת זאת, מלמעלה למטה איתות קליפת המוח השמיעתית הוא נרחב יותר.

ove_content "> בהתבסס על הרצף המוצע של עיבוד עצבי, במסגרת גורם ניבוי מסוים:. גירויים חזותיים המכיל אובייקטים ואירועים בתוקף לרמוז קול צריך לעורר פעילות עצבית בקליפת המוח השמיעתית מוקדם יתר על כן, פעילות דפוסי השמיעה צריך להיות גירוי ספציפי; במילים אחרות, סרטון וידיאו של ניפוץ אגרטל צריך להשרות דפוס שונה מאשר קליפ של כלב המיילל אם תחזית זו נכונה, אז אנחנו צריכים באמת להיות מסוגל לבצע MVPA צולבות modally:. למשל, אנחנו צריכים להיות מסוגלים לחזות, מבוסס באופן בלעדי על טביעת האצבע פעילות עצבית בקליפת המוח השמיעתית מוקדם, אם אדם רואה ניפוץ אגרטל או כלב מיילל ( סרטון וידאו 7 ). מטבע הדברים, פרדיגמות מקביל הפנייה להעביר מידע בין שיטות חושיות אחרות צריך להיות גם מוצלחת. עבור למשל, אם קטעי וידיאו המוצג לגעת משתמעת הנושא ולאקול, אנחנו צריכים להיות מסוגלים לחזות אותם קליפים מדפוסי הפעילות שהם מעוררים בתוך הקליפה החושית מוקדם.

4. גירויים

הפרדיגמה הכללית של מחקר MVPA שתואר בסעיף 2. הגישה שלנו היא שונה ממחקרים קודמים בכך שהוא מנסה לבצע MVPA פני מערכות חושי ולכן משתמשת גירויים אשר תוכננה במיוחד כדי להיות השלכות באחד מערוצי התחושות שונה מזו שבה הן מוצגות. באחד המחקרים הקודמים, למשל, הקלטנו פעילות עצבית מן הקליפה החושית העיקרי בעוד הנבדקים צפו סרטוני וידאו 5-השני של חפצים יומיומיים להיות מטופל בידי אדם ⁸ ( סרטון וידאו 8 ו - וידאו קליפ 9 ). במחקר אחר, חקרנו פעילות עצבית בקליפת המוח השמיעתית מוקדם WHIנושאים le שנצפו קטעי וידיאו, כי חפצים מתואר ואירועים בתוקף משתמעת קול ⁷ ( סרטון וידאו 10 ו סרטון וידאו 11 ). עם זאת, על פי המסגרת CDZ, גירויים חושיים של כל שיטות עלולה להיות מועסק הפרדיגמה הזו בכלל, כל עוד הם בעלי השלכות באופנים נוספים.

5. אזורים של עניין

בדרך כלל, אזורים של עניין למחקר הדמייה ניתן לקבוע או תפקודית או אנטומית. אנו מאמינים כי בתוך הפרדיגמה הניסוי המתואר כאן, localizers אנטומי מתאימים יותר משתי סיבות. ראשית, הוא לא טריוויאלי מבחינה תפקודית להגדיר הקורטקס ראשוני או מוקדם של מערוצי התחושות נתון (למעט אולי של בקליפה החזותית העיקרית), כמו עיבוד של peגירויים rceptual בפני הנושא מודליות כי בדרך כלל לא יהיה מוגבל לאזורים אלה. למשל, יהיה קשה להגדיר את הקליפה החושית ראשוני על ידי הפעלת מגע לידיים של הנושא, כמו הפעילות המושרה על ידי הליך זה היה, ככל הנראה, התפשטה הקורטקס החושית העמותה גם. שנית, Localizer פונקציונלי לא יכול תווית את כל voxels שעלולים לתרום ביצועי מסווג: הוכח כי אזורים לא מראים ההפעלה נטו בתגובה לגירויים חושיים במובן הקלאסי (כלומר, אזורים שאינם מופיעים על תמונה לעומת זאת [לעומת גירוי יתר]) יכול להכיל מידע על גירויים בכל זאת ^13,14. משתי הסיבות האלה, אנו תומכים בשימוש באזורים המוגדרים מבחינה אנטומית של עניין בכל פעם ציוני מאקרוסקופיים לאפשר זאת, למשל, את האנטומיה ברוטו של gyrus postcentral מהווה קירוב סביר של קליפת החושית העיקרי, והיינו זה כדי להגדיר את האזור עניין במחקר החושית שלנו ⁸ (איור 1).

6. נושאים

דגימות נושא במחקרים MVPA נוטים להיות קטנים יותר מאשר במחקרים fMRI קונבנציונאלי, כמו הניתוח יכול להתבצע ברמה אחת בנושא. כמובן, זה אינו מונע מן הניסוי וניתוח התוצאות לאחר מכן הנושאים הפרט ברמת הקבוצה גם כן. בשני המחקרים שהוזכרו קודם לכן, למשל, ערכנו בדיקות t-על תוצאות נושא הפרט כדי להעריך את משמעותם ברמת הקבוצה. כל המעורבים במחקר שמונה נושאים: אמנם זה חייב להיחשב מדגם נושא קטן מאוד לבדיקה פרמטרית, מצאנו רבים ההבחנות אנו העריכו להיות משמעותי (ראה להלן).

7. נציג תוצאות:

כאמור, בשני מחקרים קודמים אנו שמטרתו לחזות קול רומז קטעי וידאומבוסס על פעילות עצבית בקליפת המוח השמיעתית מוקדם ⁷ (ראה איור 2 עבור המסכה השתמשו במחקר זה) ואת מגע רומז קטעי וידיאו המבוסס על פעילות בקורטקס החושית העיקרית ^8. ניסיון זה היה מוצלח: בשני המחקרים, ביצעו MVPA מסווג מעל רמת סיכוי של 50% עבור כל דו סטרי ההבחנות אפשרי בין זוגות גירוי (n = 36 במחקר שמיעתי, בהתחשב היו 9 גירויים שונים; n = 10 עבור המחקר החושית, בהתחשב היו 5 לגירויים שונים). במחקר שמיעתי, 26 מתוך 36 ההבחנות הגיע מובהקות סטטיסטית; במחקר החושית, זה היה במקרה של 8 מתוך 10 ההבחנות (שני זנב t-בדיקות, n = 8 בשני המחקרים, איור 3).

באיור 1. היקף המסכה מוגדר מבחינה אנטומית של הקליפה החושית העיקרי, כפי שהוא משמש Meyer et al. 2011. מסווגהאלגוריתם היה מסוגל לחזות מגע רומז קטעי וידאו מפעילות דפוסי המוח מוגבלים לאזור התחום. מחדש עם רשות אוניברסיטת אוקספורד.

2. איור היקף המסכה מוגדר מבחינה אנטומית של קליפת המוח השמיעתית מוקדם, כפי שהוא משמש Meyer et al. 2010. אלגוריתם מסווג היה מסוגל לחזות (שקט) קול רומז קטעי וידאו מפעילות דפוסי המוח מוגבלים לאזור התחום. מחדש עם רשות מקבוצת פרסום הטבע.

באיור 3. סיכום של תוצאות צולבות מודאלית שלנו מחקרים קודמים MVPA. מסווג שימש לחזות גירויים חזותיים שרמז או צליל או מגע מפעילות שמיעתי מוקדם או קליפת המוח החושית העיקרי, בהתאמה. למעלה לוחות: ב הרבעה שניies, ביצועים וחיזוי היה מעל לרמה של 0.5 הזדמנות עבור כל דרך שתי ההבחנות בין זוגות של גירויים. לוחות התחתונה: במחקר שמיעתי, ביצועים מסווג הגיע מובהקות סטטיסטית של 26 על 36 ההבחנות; במחקר החושית, זה היה במקרה של 8 מתוך 10 ההבחנות. מחדש עם רשות הטבע הוצאת קבוצת Oxford University Press.

Discussion

ממצאי מחקרים קודמים שלנו להוכיח כי חוצה מודאלית MVPA הוא כלי שימושי ללמוד את וקושרת העצבי של דימויים מנוסים "האוזן של המוח" ואת "מגע של המוח". באופן ספציפי, התוצאות מראות כי התוכן של תמונות כאלה היא בקורלציה עם פעילות עצבית שמיעתי המוקדמות הקורטקס החושית, בהתאמה, מתן תמיכה אמפירית ישירה במסגרת של דמסיו של התכנסות, התבדרות אזורי.

הפרדיגמה הבסיסית שאנו מתארים ניתן להאריך במספר דרכים. רוב ברור, מחקרים דומים יכול להתבצע באמצעות שילובים שונים של שיטות חושית. במובן זה, יתכן כי הקמת מסוימים חוצה מודאלית עמותות לפני הניסוי עשוי להגדיל את סיכויי ההצלחה. למשל, ללמוד צולבות מודאלית ייצוגים בקורטקס הריח, אחד הנושאים ראש הממשלה על ידי חשיפת אותם בו זמנית למראה וריח של מספר פריטי מזון שאפשר. Shortly אחרי, בתוך סורק ה-fMRI, זיכרונות חוש הריח של ריחות תהיה מופעלת על ידי רמזים חזותיים, ו MVPA יכול לשמש בניסיון להקצות את הניסויים על פריטי מזון נכונה מבוססת אך ורק על פעילות בקורטקס הריח.

שאלה נוספת של הריבית, אם דפוסי המושרה צולבות modally פעילות הקורטקס הסנסורי הקדום לשאת דמיון עם דפוסים כי הם הנגרמת כאשר צליל או מגע נחווה בפועל, או במילים אחרות, האם רואים את אגרטל זכוכית לנפץ לעורר דפוס דומה של פעילות עצבית בקליפת המוח השמיעתית כבר ממש לשמוע את אותו אירוע? שאלה זו, שוב, ניתן לטפל באמצעות MVPA: הוא מסווג אשר הוכשרו על נתונים שנרשמו בזמן הנושאים שמעתי צלילים מסוימים מסוגלים להבחין בצורה נכונה נתונים שנרשמו בזמן שהנבדקים צפו סרטוני וידאו המתאימים? במחקר השמיעה שלנו, עשינו ניסיון כזה סיווג, אבל התוצאות היו שוליות (ראה איור 3. נ"צ ב 7.). במחקר זה, לעומת זאת, אגודות השמיעה המשתתפים לא היו מבוקרים בצורה כלשהי, או במילים אחרות, אנחנו לא יודעים איך דומה השמיעה את התמונות בכל נושא הקשור היו קטעי וידאו על רצועות שמע פעם ברכבת מסווג. שוב, זה יכול להיות מעניין להתייחס לשאלה דומה לאחר ספציפי צולבות מודאלית אסוציאציות להיות דרוך בכל המקצועות, כפי שתואר לעיל עבור העמותה visuo, חוש הריח. זה יאפשר לשלוט בצורה מהימנה יותר את החוויה הנפשית של הנבדקים במהלך הניסויים וידאו ובכך עשוי להגביר את הביצועים של חיזוי מסווג.

לסיכום, הצגנו הרחבה הפרדיגמה הקלאסית MVPA ידי מראה כי גירויים ניתן לחזות לא רק מבפנים, אלא גם על פני שיטות חושית. לפיכך, אנו מראים כי השימוש MVPA אינו מוגבל לחקור את בקורלציה של ייצוגים תפיסתיים הנגרמת ישירות על ידי גירוי חושי חיצוני. במקום זאת, ניתן גם MVPAלהעריך את המצע העצבי של דימויים אשר מופעלות באופן פנימי: בהתאם למסגרת של דמסיו התכנסות-הבדלי אזור, הממצאים שלנו מראים כי החוויה המודעת של דימויים כי הם משוחזר המבוסס על זיכרונות היא בקורלציה עם תוכן ספציפי ייצוגים עצביים החושי מוקדם קליפת המוח.