ממשק מוח-מחשב לביש חד-ערוצי ולא פולשני לתעשייה ולשירותי בריאות

Summary

מאמר זה דן כיצד לבנות ממשק מוח-מחשב על-ידי הסתמכות על ציוד ברמת הצרכן ופוטנציאלים חזותיים במצב יציב. לשם כך, אלקטרואנצפלוגרף חד-ערוצי המנצל אלקטרודות יבשות שולב עם משקפי מציאות רבודה להצגת גירויים והדמיית נתוני פלט. המערכת הסופית הייתה לא פולשנית, לבישה וניידת.

Abstract

העבודה הנוכחית מתמקדת כיצד לבנות ממשק מוח-מחשב לביש (BCI). ממשקי מוח-מחשב הם אמצעי חדשני לאינטראקציה בין אדם למחשב המסתמך על מדידות ישירות של אותות מוחיים כדי לסייע הן לאנשים עם מוגבלויות והן לאנשים בעלי יכולת. דוגמאות ליישומים כוללות בקרה רובוטית, בדיקה תעשייתית ושיקום עצבי. יש לציין כי מחקרים שנערכו לאחרונה הראו כי פוטנציאלים מעוררי ראייה במצב יציב (SSVEPs) מתאימים במיוחד ליישומי תקשורת ובקרה, ונעשים כיום מאמצים להביא את טכנולוגיית BCI לחיי היומיום. כדי להשיג מטרה זו, המערכת הסופית חייבת להסתמך על מכשור לביש, נייד וזול. בניצול SSVEPs, נדרש גירוי חזותי מהבהב עם תדרים קבועים. כך, תוך התחשבות באילוצים יומיומיים, נבדקה במחקר זה האפשרות לספק גירויים חזותיים באמצעות משקפיים חכמים. יתר על כן, כדי לזהות את הפוטנציאלים שעוררו, נשקל מכשיר מסחרי לאלקטרואנצפלוגרפיה (EEG). זה מורכב מתעלה דיפרנציאלית אחת עם אלקטרודות יבשות (ללא ג'ל מוליך), ובכך משיג את הלבישה והניידות המרביות. בממשק מוח-מחשב כזה, המשתמש יכול לתקשר עם המשקפיים החכמים רק על ידי בהייה בסמלים המופיעים על הצג. על בסיס עיקרון פשוט זה, ממשק מוח-מחשב ידידותי למשתמש ובעלות נמוכה נבנה על ידי שילוב משקפי מציאות מורחבת (XR) עם מכשיר EEG זמין מסחרית. הפונקציונליות של XR-BCI לביש זה נבחנה באמצעות קמפיין ניסיוני שכלל 20 נבדקים. דיוק הסיווג היה בין 80%-95% בממוצע בהתאם לזמן הגירוי. לאור תוצאות אלה, המערכת יכולה לשמש כממשק אדם-מכונה לבדיקה תעשייתית, אך גם לשיקום בהפרעות קשב וריכוז ואוטיזם.

Introduction

ממשק מוח-מחשב (BCI) הוא מערכת המאפשרת תקשורת ו/או בקרה של מכשירים ללא מסלולים עצביים טבעיים¹. טכנולוגיית ממשק מוח-מחשב היא הדבר הקרוב ביותר שיש לאנושות לשלוט באובייקטים בכוח המוח. מנקודת מבט טכנית, פעולת המערכת פועלת על ידי מדידת פעילות מוחית מושרית או מעוררת, אשר יכולה להיווצר באופן לא רצוני או מרצון מהנושא². מבחינה היסטורית, המחקר התמקד בסיוע לאנשים עם מוגבלויות מוטוריות באמצעות ממשק מוח-מחשב³, אך מספר גדל והולך של חברות מציעות כיום מכשור מבוסס ממשק מוח-מחשב למשחקים⁴, רובוטיקה⁵, תעשייה⁶ ויישומים אחרים הכוללים אינטראקציה בין אדם למכונה. יש לציין כי ממשקי מוח-מחשב עשויים למלא תפקיד במהפכה התעשייתית הרביעית, כלומר בתעשייה 4.0⁷, שבה מערכות ייצור סייבר-פיזיות משנות את האינטראקציה בין בני אדם לסביבה⁸. באופן כללי, הפרויקט האירופי BNCI Horizon 2020 זיהה תרחישי יישום כגון החלפה, שחזור, שיפור, שיפור או השלמה של תפקודים טבעיים שאבדו של מערכת העצבים המרכזית, כמו גם שימוש בממשק מוח-מחשב בחקירת המוח⁹.

במסגרת זו, ההתקדמות הטכנולוגית האחרונה פירושה שממשקי מוח-מחשב עשויים להיות ישימים לשימוש בחיי היומיום^10,11. כדי להשיג מטרה זו, הדרישה הראשונה היא לא פולשנית, אשר חשובה כדי למנוע את הסיכונים של התערבות כירורגית והגדלת קבלת המשתמש. עם זאת, ראוי לציין כי הבחירה בדימות מוחי לא פולשני משפיעה על איכות אותות המוח הנמדדים, ותכנון ה- BCI חייב להתמודד עם המלכודות הקשורות¹². בנוסף, נדרשות לבישות, וניידות. דרישות אלה עולות בקנה אחד עם הצורך במערכת ידידותית למשתמש, אך גם מציבות כמה אילוצים. בסך הכל, אילוצי החומרה שהוזכרו מטופלים על ידי שימוש במערכת אלקטרואנצפלוגרפית (EEG) עם אלקטרודות נטולות ג'ל⁶. ממשק מוח-מחשב מבוסס EEG כזה יהיה גם הוא בעלות נמוכה. בינתיים, מבחינת התוכנה, אימון משתמש מינימלי (או באופן אידיאלי ללא הכשרה) יהיה רצוי; כלומר, עדיף להימנע מפרקי זמן ארוכים לכוונון אלגוריתם העיבוד לפני שהמשתמש יכול להשתמש במערכת. היבט זה הוא קריטי בממשקי מוח-מחשב בגלל אי-סטציונריות בין-סובייקטיבית ותוך-נושאית^13,14.

ספרות קודמת הוכיחה כי הזיהוי של פוטנציאלים מוחיים מעוררים הוא חזק ביחס לאי-סטציונריות ורעש ברכישת אותות. במילים אחרות, ממשקי מוח-מחשב המסתמכים על זיהוי פוטנציאל מעורר נקראים תגובתיים, והם ממשקי המוח-מחשב בעלי הביצועים הטובים ביותר במונחים של זיהוי דפוסי מוח¹⁵. עם זאת, הם דורשים גירוי חושי, וזה כנראה החיסרון העיקרי של ממשקים כאלה. מטרת השיטה המוצעת היא, אם כן, לבנות ממשק מוח-מחשב לביש ונייד ביותר המסתמך על מכשור לביש מהמדף. הגירויים החושיים כאן מורכבים מאורות מהבהבים, הנוצרים על ידי משקפיים חכמים, המסוגלים לעורר פוטנציאלים חזותיים במצב יציב (SSVEPs). עבודות קודמות כבר שקלו לשלב ממשק מוח-מחשב עם מציאות מדומה לבד או בשילוב עם מציאות רבודה¹⁶. לדוגמה, הוצעה מערכת BCI-AR לשליטה ברחפן עם SSVEP¹⁷. מציאות מדומה, מציאות רבודה ופרדיגמות אחרות מכונות במונח מציאות מורחבת. בתרחיש כזה, הבחירה במשקפיים חכמים עומדת בדרישות הלבישות והניידות, וניתן לשלב משקפיים חכמים עם מערך רכישה מינימלי של EEG. מאמר זה מראה כי ממשק מוח-מחשב מבוסס SSVEP דורש גם הכשרה מינימלית תוך השגת ביצועי סיווג מקובלים עבור יישומי תקשורת ובקרה במהירות נמוכה-בינונית. לפיכך, הטכניקה מיושמת על ממשק מוח-מחשב עבור יישומים בחיי היומיום, והיא נראית מתאימה במיוחד לתעשייה ולבריאות.

Protocol

המחקר אושר על ידי הוועדה האתית למחקר פסיכולוגי של המחלקה למדעי הרוח באוניברסיטת נאפולי פדריקו השני. המתנדבים חתמו על הסכמה מדעת לפני השתתפותם בניסויים.

1. הכנת המוח הלביש הלא פולשני - ממשק מחשב

1. השג אלקטרואנצפלוגרף ברמה צרכנית בעלות נמוכה עם אלקטרודות יבשות, והגדר אותו לשימוש בערוץ יחיד.
   1. קצר חשמלי או חבר תעלות קלט שאינן בשימוש באלקטרואנצפלוגרף בעלות נמוכה למתח ייחוס פנימי כמפורט בגליון הנתונים הטבוע. בכך, הערוצים שאינם בשימוש מושבתים, והם אינם מייצרים רעש crosstalk.
   2. התאם את רווח האלקטרואנצפלוגרף (בדרך כלל באמצעות רכיב בעל התנגדות משתנה) כך שיהיה לו טווח קלט בסדר גודל של 100 μV.
      הערה: אותות ה-EEG שיש למדוד הם בסדר גודל של עשרות מיקרו-וולטים. עם זאת, האלקטרודות היבשות מושפעות מאוד מתוצרי תנועה, הגורמים לתנודות בסדר גודל של 100 μV בשל השונות בעכבת האלקטרודה-עור. הגדלת טווח מתח הכניסה מסייעת להגביל את רוויית מגבר EEG, אך היא אינה מבטלת אותה לחלוטין. מצד שני, זה יהיה לא נוח להגדיל את טווח מתח הכניסה עוד יותר, כי זה ישפיע על רזולוציית המתח במדידת רכיבי EEG הרצוי. בסופו של דבר, יש לאזן את שני ההיבטים גם על ידי התחשבות ברזולוציית הסיביות של הממיר האנלוגי לדיגיטלי בתוך לוח האלקטרואנצפלוגרף.
   3. הכינו שלוש אלקטרודות יבשות לחיבור ללוח האלקטרואנצפלוגרף. השתמש באלקטרודה פסיבית (ללא הגברה מראש) כאלקטרודת הייחוס. שתי אלקטרודות המדידה הנותרות צריכות להיות אלקטרודות פעילות (כלומר, לכלול טרום הגברה וסינון אנלוגי בסופו של דבר).
      הערה: אלקטרודות הממוקמות על אזור קרקפת שעיר דורשות סיכות כדי להתגבר על עכבת מגע אלקטרודה-עור. במידת האפשר, יש להשתמש בסיכות כסף עם ראשים שטוחים (כדי למנוע כאב רב מדי למשתמש), או להשתמש באופן אידיאלי בגומי מוליך (רך) עם ציפוי Ag/AgCl.
2. השג משקפיים חכמים מסחריים עם מערכת הפעלה אנדרואיד וקצב רענון של 60 הרץ. לחלופין, השתמש בקצב רענון נמוך יותר. קצב רענון גבוה יותר יהיה רצוי לגירויים מכיוון שתהיה פחות עייפות עיניים, אך אין כיום פתרונות זמינים בשוק.
   1. הורד את קוד המקור של יישום Android לתקשורת או בקרה, או פתח אחד.
   2. החלף את הלחצנים הווירטואליים ביישום בסמלים מהבהבים על ידי שינוי האובייקט הטבוע (בדרך כלל ב- Java או Kotlin). ריבועים לבנים עם מידות מסך של 5% לפחות מומלצים. בדרך כלל, ככל שהריבוע המגרה גדול יותר, כך רכיב SSVEP לזיהוי יהיה גבוה יותר, אך ניתן למצוא אופטימום בהתאם למקרה הספציפי. התדרים המומלצים הם 10 הרץ ו-12 הרץ מהבהבים. הטמע את ההבהוב ביחידת העיבוד הגרפי (GPU) כדי למנוע עומס יתר על יחידת המחשוב (CPU) של המשקפיים החכמים. למטרה זו, השתמש באובייקטים מספריית OpenGL.
   3. ליישם מודול של יישום אנדרואיד לעיבוד בזמן אמת של זרם EEG קלט. ניתן להוסיף את שירות ה-USB של Android כך שניתן יהיה לקבל את הזרם באמצעות USB. העיבוד בזמן אמת עשוי פשוט להחיל חלון הזזה על זרם EEG על ידי התחשבות במנות הנכנסות. חשב את הצפיפויות הספקטרליות של ההספק המשויכות לתדרי 10 הרץ ו- 12 הרץ באמצעות פונקציית התמרת פורייה מהירה. מסווג מיומן יכול, אם כן, להבחין שהמשתמש מסתכל על סמל ההבהוב של 10 הרץ או על סמל ההבהוב של 12 הרץ על ידי סיווג תכונות הצפיפות הספקטרלית של הספקטרום.

2. כיול המוח מבוסס SSVEP - ממשק מחשב

הערה: מתנדבים בריאים נבחרו למחקר זה. לא לכלול נושאים עם היסטוריה של מחלות מוח. הנבדקים המעורבים נדרשו להיות בעלי ראייה תקינה או מתוקנת לנורמלית. הם הונחו להיות רגועים במהלך הניסויים ולהימנע מתנועות מיותרות, במיוחד של הראש.

1. תן למשתמש להרכיב את המשקפיים החכמים עם יישום אנדרואיד.
2. תן למשתמש ללבוש סרט ראש הדוק להחזקת האלקטרודות.
3. חבר את האלקטרואנצפלוגרף בעלות נמוכה למחשב באמצעות כבל USB בזמן שהמחשב מנותק מספק הכוח הראשי.
   1. בתחילה נתק את כל האלקטרודות מלוח רכישת האלקטרואנצפלוגרף כדי להתחיל ממצב ידוע.
   2. בשלב זה, זרם EEG מעובד במצב לא מקוון במחשב עם סקריפט תואם לעיבוד המיושם ביישום אנדרואיד. הפעל את הסקריפט כדי לקבל את אותות ה- EEG ולדמיין אותם.
4. בדוק את האות המוצג המעובד במצב לא מקוון. זה חייב להתאים רק לרעש הקוונטיזציה של מגבר EEG.
5. חבר את האלקטרודות.
   1. החל את האלקטרודה הפסיבית על האוזן השמאלית באמצעות תפס מותאם אישית, או השתמש באלקטרודת אטב אוזניים. אות הפלט חייב להישאר ללא שינוי בשלב זה מכיוון שערוץ דיפרנציאל המדידה הוא עדיין מעגל פתוח.
   2. חבר אלקטרודה פעילה למסוף השלילי של הקלט הדיפרנציאלי של ערוץ ה- EEG המודד, והחל על האזור הקדמי (מיקום תקן Fpz) עם סרט ראש. לאחר מספר שניות, האות אמור לחזור לאפס (רעש קוונטיזציה).
   3. חבר את האלקטרודה הפעילה השנייה למסוף החיובי של הקלט הדיפרנציאלי של ערוץ ה- EEG המודד, והחל על האזור העורפי (מיקום תקן Oz) עם רצועת הראש. כעת מוצג אות מוחי, המתאים לפעילות החזותית הנמדדת ביחס לאזור המוח המצחי (לא צפויה שם פעילות חזותית).
6. רכוש אותות לכיול המערכת.
   1. עורר שוב ושוב את המשתמש עם סמלים מהבהבים של 10 הרץ ו- 12 הרץ (ובסופו של דבר אחרים) על ידי הפעלת סמל ההבהוב ביישום אנדרואיד, ורכוש ושמור את אותות ה- EEG הטבועים לעיבוד לא מקוון. ודא שכל גירוי בשלב זה מורכב מסמל יחיד מהבהב במשך 10 שניות, והפעל את סמל ההבהוב על ידי לחיצה על משטח המגע של המשקפיים החכמים תוך הפעלת סקריפט הרכישה וההדמיה של EEG.
   2. מתוך אותות 10 s הקשורים לכל גירוי, לחלץ שתי תכונות באמצעות התמרת פורייה מהירה: צפיפות ספקטרלית הספק ב 10 הרץ וב 12 הרץ. לחלופין, שקול הרמוניות שניות (20 הרץ ו 24 הרץ).
   3. השתמש בייצוג של האותות שנרכשו בתחום התכונות כדי לאמן מסווג מכונה וקטורית תומכת. השתמשו בכלי (ב-Matlab או ב-Python) כדי לזהות את הפרמטרים של על-מישור עם ליבה סופית בהתבסס על תכונות הקלט. המודל המיומן יהיה מסוגל לסווג תצפיות עתידיות של אותות EEG.

3. הרכיבו את הממשק הסופי הלביש והנייד מבוסס SSVEP

1. נתק את כבל ה- USB מהמחשב וחבר אותו ישירות למשקפיים החכמים.
2. הכנס את הפרמטרים של המסווג המאומן ליישום Android. המערכת מוכנה כעת.

תוצאות

יישום אפשרי של המערכת שתוארה לעיל מוצג באיור 1; יישום זה מאפשר למשתמש לנווט במציאות רבודה באמצעות פעילות מוחית. הסמלים המהבהבים בתצוגת המשקפיים החכמים תואמים לפעולות עבור היישום (איור 1A), ולכן משקפיים אלה מייצגים תחליף לממשק מסורתי המבוס?...

Discussion

תפקודה התקין של המערכת כרוך בשני היבטים מכריעים: אליציטוט SSVEP ורכישת אותות. מלבד המכשירים הספציפיים שנבחרו למחקר הנוכחי, SSVEP יכול להיות מופעל עם מכשירים שונים המספקים אור מהבהב, אם כי משקפיים חכמים עדיפים כדי להבטיח לבישות וניידות. באופן אנלוגי, ניתן לשקול אלקטרואנצפלוגרפים מסחריים נוספי?...

Materials

Name	Company	Catalog Number	Comments
Conductive rubber with Ag/AgCl coating	ab medica s.p.a.	N/A	Alternative electrodes – type 2
Earclip electrode	OpenBCI	N/A	Ear clip
EEG-AE	Olimex	N/A	Active electrodes
EEG-PE	Olimex	N/A	Passive electrode
EEG-SMT	Olimex	N/A	Low-cost electroencephalograph
Moverio BT-200	Epson	N/A	Smart glasses
Snap electrodes	OpenBCI	N/A	Alternative electrodes – type 1