SSVEP מבוסס נוהל ניסיון לאינטראקצית המוח-רובוט עם רובוטים דמויים אדם

Summary

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

Abstract

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Introduction

אינטראקציה המוח-רובוט (BRI), המספק מסלול תקשורת חדשני בין אדם ומכשיר רובוטי באמצעות אותות מוח, הוא פוטנציאלי בסיוע לנכים בחיי היומיום שלהם ^1,2. מגוון שיטות יכול לרכוש אותות מוח או פולשני או הלא פולשני, כגון electrocorticography (ECOG), גלי מוח (EEG), הדמיה בתהודה מגנטית תפקודית (fMRI), וכו 'השיטה לא פולשנית הנפוצה ביותר לבנייה מערכת BRI היא לרכוש אותות EEG מאלקטרודות המונחות על הקרקפת. שיטה זו היא זולה, קלה לשימוש, ומספקת פתרון זמני מקובל ^3. בין מגוון רחב של התקנים רובוטיים, רובוטים דמויי אדם הם מתקדמים כפי שהם נוצרו כדי לחקות כמה מאותן המשימות פיזיות ונפשיות שעוברים בני האדם מדי יום. BRI עם רובוט דמוי אדם ישחק תפקיד חשוב בסיוע לחולים וזקנים, כמו גם ביצוע עבודות היגייני או מסוכנות. אבל שליטהשל רובוט דמוי אדם באמצעות מערכת BRI הוא מאתגר מאוד, כמו הרובוט דמוי אדם עם תנועת גוף מלאה מפותח כדי לבצע משימות מורכבות כגון סיוע אישי ^{4, 5.}

מצב יציב חזותי פוטנציאלי (SSVEP) עורר הוא סוג של אות המוח שמעורר האפנון של גירוי חזותי בתדר נתון ^6. הוא מכיל sinusoids בתדרים הבסיסיים והרמוניים של הגירוי המרצד, ובאופן בולט מופיע ברחבי קליפת הראייה באזור העורפי של הקרקפת ^7. הסיבה לבחירת אותות SSVEP היא שמערכת BRI מבוססת SSVEP מניבה קצב העברת מידע גבוה יחסית ודורשת פחות אימונים ^8. סוגים אחרים של גלי המוח, כגון פוטנציאל הקשור לאירוע (ERPs) ⁹ או מנוע-תמונות (MI) פוטנציאלי ^10, יכולים גם להיות מוטבעים לתוך הליך ניסוי זה.

ההליך שלנו לאינטראקציה המוח-רובוט דמוי אדם עםרובוטים מבוסס על Cerebot - פלטפורמת רובוט דמוי אדם שבשליטת מוח - בהיקף של מערכת רכישת נתונים EEG ורובוט דמוי אדם ^11. מערכת ה- EEG היא מסוגלת להקליט, לפני תהליך ואותות ביו-פוטנציאל תצוגה נרכשו על ידי סוגים שונים של אלקטרודות. הוא מספק אנלוגי מרובה קלט / פלט ואני דיגיטלי / Os ומסוגל להקליט עד 128 ערוצים בו זמנית אות בקצב דגימה של 30 קילוהרץ עם רזולוציה של 16 סיביות. ערכות פיתוח תוכנה שלה בשפת C ++ וMATLAB הן קלים למשתמשים לעצב את הפרוצדורות. יש רובוט דמוי האדם 25 דרגות חופש, והוא מצויד בחיישנים מרובים, כולל 2 מצלמות, 4 מיקרופונים, 2 rangefinders סונאר, 2 IR קרינה ומקלטים, 1 לוח אינרציה, 9 חיישני מישוש, ו8 חיישני לחץ. הוא מספק Choregraphe ו- C ++ SDK ליצירה ועריכת תנועות והתנהגויות רובוט אינטראקטיביות.

המטרה הכוללת של שיטה זו היא להקים proce הניסיוני מבוסס SSVEPדורה על ידי שילוב תוכנות מרובות, כגון OpenViBE, Choregraph, תוכנה מרכזית כמו גם תוכניות משתמש פיתח נכתבו ב- C ++ וMATLAB, כדי לאפשר המחקר של אינטראקציה המוח-רובוט דמוי אדם עם רובוטים ^11. איור 1 מציג את מבנה המערכת. מחשב הגירוי הייעודי המצגת (SPC) מציג את ממשק המשתמש כדי לספק את הנושא עם גירויים חזותיים, הוראות ומשובים סביבתיים. המחשב הייעודי לעיבוד נתונים (DPC) מנהל את מקליט נתונים ומנתח נתונים מנותק בתהליך ההכשרה לא מקוון, ומפעיל את מעבד האותות באינטרנט ובקר הרובוט לשליטה באינטרנט של הרובוט דמוי האדם. בהשוואה למערכות בקרה מבוססת SSVEP אחרות, המערכת שלנו היא יותר אמינה, גמישה יותר, ובמיוחד יותר נוחה לשימוש חוזר ומשודרג כפי שפותח על ידי שילוב מספר חבילות תוכנה סטנדרטיות, כגון OpenViBE, Choregraph, תוכנה מרכזית, ו מודולים שנכתבו ב- C ++וMATLAB.

ההליך הבא היה נבדק ואושר על ידי ועדת אתיקה בבית חולים כלליים באוניברסיטה רפואית טיאנג'ין, וכל הנושאים נתנו סכמה בכתב.

Protocol

1. רכישת אותות EEG

1. הסבר את ההליך ניסיוני לנושא ולקבל בכתב הסכמה מדעת להשתתפות בניסויים.
2. מדוד את היקף ראשו של הנושא באמצעות סרט מדידה ובחר את גודל כובע EEG שקרוב למדידה. אלקטרודות ההסדר מבוסס על "מערכת 10-20 הבינלאומית" ^12.
3. מדוד את המרחק בין nasion וinion. השתמש בעיפרון סמן עור לציון 10% מהמרחק כהתייחסות ליישור הכובע, ולסמן את נקודת האמצע של המרחק כקודקוד בקרקפתו של הנושא.
4. מניחים את כובע EEG על הנושא על ידי יישור סימן 10% עם נקודת האמצע של אלקטרודות FP1 וFP2. אלקטרודה עמדת Cz של הכובע על הקודקוד.
5. ודא שFz, Cz, PZ ועוז נמצא בקו האמצע של הראש, ושכל זוג אלקטרודות הממוקמים משני צדי קו האמצע נמצא בקו אופקי.
6. למרוח את האלקטרודות REF1 וREF2 עם ג'ל מוליך. הנח את האלקטרודות התייחסות בזיזים פטמתיים ימין ועל השמאל באמצעות קלטת רפואית. להדק את רצועת הסנטר.
7. מניחים מזרק שקצהו בוטה בבעלי אלקטרודה ולהזריק ג'ל מוליך לכל אלקטרודה לפי הסדר הבא: ראשון, את האלקטרודה "קרקע" על המצח והשני, אלקטרודות חמש השתמשו בניסוי, O2, O1, עוז, PZ , וCz.
8. להושיב את הנושא בכיסא 60 סנטימטרים נוחים מול צג גירוי. הדריכו את הנושא כדי לשמור עליו / עיניה באותה הרמה אופקית עם מרכז הצג.
9. חבר את חוטי אלקטרודה למערכת רכישת נתונים EEG. הגדר את קצב הדגימה לkHz 1.
10. בדוק את איכות אות EEG על DPC הייעודי. אם יש בעיה עם אלקטרודה מסוימת, ג'ל מחדש להזריק כדי להתאים את העכבה של הערוץ.
11. השתמש בSPC הייעודי להבהב ארבע תמונות רובוט בתדרים של 4.615, 12, 15 ו -20הרץ כמו גירויים חזותיים בממשק המשתמש, כפי שמוצג באיור 2.

2. תכונות SSVEP ניתוח מנותק

1. לנהל 32 ניסויים של ניסויי הכשרה מחובר לכל נושא ולהקליט אותות המוח שלהם שנרכשו ממערכת EEG לאורך כל התהליך הזה.
   הערה: תהליך זה מתבצע רק על ידי נושאים של הניסוי בפעם הראשונה להקמת וקטורי תכונת SSVEP ולהכשיר מסווג.
2. כאשר משפט מתחיל, בחר גירוי אחד כמטרה באופן אקראי ולהציג חץ צהוב מעליה.
3. 1 שניות מאוחר יותר, להבהב ארבעה גירויים חזותיים בתדרים שונים בממשק המשתמש עבור 5 שניות.
4. בקש הנושא להתמקד ביעד הגירוי שנבחר, תוך שמירה / תנועת גופתו למינימום.
5. אחרי כל משפט, לתת שניות הנושא 3 להירגע, ואז להתחיל את המשפט הבא.
6. כאשר כל הניסויים שתסיימו, לקרוא את הנתונים שנשמרו. לחלץ נתונים עידן 3-שניות להיות tween 2 שניות ו -5 שניות לאחר ההדק שבוחר גירוי כמטרה בכל ניסוי.
7. לחשב את צפיפות ספקטרום הכח (PSD) של תקופות נתונים באמצעות מנתח נתונים מנותק בתסריטי MATLAB. השתמש באלגוריתם העיבוד המתואר בפירוט להלן:
   1. לחשב את מקדמי ניתוח מתאם הקנוני (CCA) של נתוני ה- EEG רבי ערוצים עם נתונים התייחסות. המרכז לאמנות עכשווית היא שיטה סטטיסטית רבה משתנית משמשת לשתי קבוצות של נתונים כדי למצוא מתאם בסיסם ^13. בהתחשב המגזר -3 של X נתונים EEG רבי ערוצים ונתונים התייחסות Y באותו האורך, להשתמש המרכז לאמנות עכשווית כדי למצוא את וקטורי משקל, _{x ו- y} W W, על מנת למקסם את מקדם המתאם בין x = ρ X _x W ^T ו- ^T y = Y W _y. הגדר את נתוני ההתייחסות להיות אותות מחזוריים בתדרי גירוי מסוימים.
      /ftp_upload/53558/53558eq1.jpg "/>
      שבו ו _1, ו _2, ו _3, ו ₄ הם תדרי התכונה של ארבעה גירויים חזותיים.
   2. מרחבית לסנן את נתוני ה- EEG X רבי ערוצים באמצעות מקדמי המרכז לאמנות עכשווית מחושבים _x W להשיג x אחד-ממד מסונן נתונים, שבו יש מתאם הבולט ביותר עם ​​הצירוף ליניארי של נתונים ההתייחסות.
   3. לחשב את PSD של x נתונים המסוננים מרחבית באמצעות Fast Fourier Transform (FFT).
      
      כאשר N _FFT הוא גודל המדגם של x נתונים, וFFT (x, N _FFT) מחזיר את פורייה הבדידה הכדור ב N _FFT להפוך של x.
   4. לנרמל את PSD ביחס לערך הממוצע שלה בין 3 ל 30 הרץ.
      
      אֵיפֹה60; מציין הממוצע של כוח הספקטרום בין 3 ו30Hz.
8. לכייל את הפרמטרים סיווג לארבעה תדרי הגירוי. ראשית, לבחון את ספקטרום PSD המנורמל שמתאים ליעד הגירוי שלו, ולהגדיר את התדירות משרעת PSD החזק כמו תדירות התכונה ידנית. בהתבסס על תדירות התכונה, לחלק את נתוני PSD מנורמלים לשתי קבוצות: אחת הוא רכש כאשר הגירוי המתאים נבחר כמטרה, והשני הוא רכש כאשר גירויי היעד הלא נבחרים. לחשב את הערך הממוצע של כל קבוצת בהתאמה. לקבוע את הסף על ידי החציון של שני ערכים הממוצעים לסווג את היעד והיעד הלא קובע ^14.

3. עיבוד אותות מוח באינטרנט

1. פתח את מעבד האותות באינטרנט כפי שמוצג באיור 3, אשר פותח בased על סביבת OpenViBE ותסריטי MATLAB, על DPC לאותות מוח עיבוד מקוונים.
2. לחץ לחיצה כפולה על תיבת האיתותים לרכוש ותהליך, אשר מסומנת עם מחזור אדום באיור 3, כדי לפתוח את חלון הגדרת OpenViBE. להגדיר את הפרמטרים לסיווג הנושא:. להגדיר את קצב הדגימה כkHz 1, להגדיר את אורך הזמן לFFT כמו 3 שניות, ולהגדיר את תדרי התכונה בהתאם לתוצאות של ניתוח מצב לא מקוון, למשל, 4.667, 24, 15 ו -20 הרץ .
3. לחץ על הכפתור מתחיל לרוץ מעבד אותות באינטרנט, אשר מעבד את הנתונים בזמן אמת באמצעות האלגוריתם הבא בשלושה שלבים.
4. ראשית, האלגוריתם רוכש נתוני ה- EEG מערוצי עוז, O1, O2, PZ וCPZ של מערכת EEG כל 0.5s, ותמציות מגזר נתונים של -3 האחרונים לעיבוד מקוון.
5. שנית, האלגוריתם מעבד את קטע נתוני 3-שניות באמצעות האלגוריתמים מתוארים בשלב 2.7, ומחשבת את זמן אמת PSD לclassification.
6. שלישית, האלגוריתם מסווג את דפוסי גלי המוח על פי אמפליטודות PSD בארבעת תדרי תכונה. כאשר המשרעת של תדירות תכונה אחת היא מעל סף נתון, לסווג את הגירוי המהבהב בתדר המקביל כיעד SSVEP.

4. חיבור הרובוט הדמוי האדם

1. לחץ על לחצן החזה של הרובוט דמוי האדם ולחכות שזה להתחיל.
   הערה: תהליך זה אורך כ 1 דק 'ומסתיימת כאשר הרובוט אומר "OGNAK GNOUK" בעוד כפתור החזה שלה הופך להיות לבן.
2. ליצור חיבורה Wireless Fidelity (WiFi) לDPC ^15.
3. פתח לתכנת רובוט בקר ב- C ++ על תסריטים חזותיים DPC. בקר מקבל את תוצאות הסיווג ממעבד האותות באינטרנט באמצעות ממשק מציאות מדומה היקפי רשת (VRPN), מתרגם אותם לפקודות הרובוט, ושולט בהתנהגויות המקבילה humanoiרובוט ד באמצעות חיבור אלחוטי.
4. הגדר את בקר הרובוט על ידי הזנת כתובת ה- IP של הרובוט על פי חיבור WiFi שלה, מגדיר שלושה סטים של התנהגויות רובוט שיכול להיות בקלות החליף לבצע שלוש המשימות השונות, והגדרת פרמטרי הביצוע של התנהגויות אלו (לדוגמא., מהירות הליכה או מרחק) כדי להתאים את דרישת המשימה.
   הערה: פרטים נוספים של התנהגויות אלה מתוארים בצעדים 5.2.1, 5.3.1, ו5.4.1.
5. לחץ על כפתור Build של הפלטפורמה של Visual Studio כדי להפעיל את בקר הרובוט.
6. פתח את תכנית Choregraphe על SPC. לחץ על "התחבר ל" כפתור לצוץ יישומון חיבור. בחר את הרובוט להיות מבוקר על פי כתובת ה- IP שלו, ולחץ לחיצה כפולה על הסמל שלו להתחבר אליו.
7. פתח את צג וידאו מתפריט התצוגה בשורת תפריטי Choregraphe, ולהעביר את הצג לחלק הקדמי של ממשק המשתמש כדי להציג וידאו חי מהמצלמה משוב של הרובוט.

5. ביצוע ניסויי בקרת לולאה סגורה

1. בקש הנושא לבצע שלוש משימות שליטת לולאה סגורה ספציפיות בתוך סביבות שונות כדי להעריך את ביצועי האינטראקציה המוח-רובוט.
   הערה: משימות אלה, שהם חשובים ביישומים רובוטיים כי הם מועילים בסיוע לנכים וקשישים בחיי היומיום שלהם, צריכים להפעיל את רובוט התנהגויות שונות.
2. לנהל את משימת שליטת לולאה סגורה הראשונה לנוכחות מרחוק לשלוט הרובוט דמוי האדם באמצעות אותות מוח ללכת דרך מכשולים ולדחוף מתג אור להדליק את האור, כפי שמוצג באיור 4.
   1. כדי לבצע את המשימה הראשונה, לשלוט בהתנהגויות הרובוט המקודדות על ידי ארבעה גירויי SSVEP כ: צעד קדימה עם מרחק קבוע של 0.15 מ ', פונה שמאלה עם רדיאן קבוע של 0.3 rad, פונה ימינה עם רדיאן קבוע של 0.3 rad, ודוחף את המתג באמצעות ידו הימנית.
      הערה: configuraתהליך tion מתואר בשלב 4.4.
   2. ליידע את הנושא במטרה המשימה וארבע התנהגויות להיות בשליטה.
   3. הפעל את בקר הרובוט כמו בשלבים 4.5-4.7, ולהתחיל את הניסוי. תן הנושא החופש לתפוס את הסביבה ולקבל החלטות על סמך משוב וידאו חי, וכדי להפעיל את התנהגויות הרובוט ידי בוהה בגירויים המקביל.
      הערה: אין הוראה או עזרה יש לתת לנושא, אלא אם כן במצבי חירום, למשל, הרובוט עומד להתנגש עם מכשול..
3. לנהל את המשימה השנייה לנוכחות מרחוק לשלוט הרובוט דמוי האדם באמצעות אותות מוח ללכת לכיוון המדרגות בעקבות שלט היציאה, כפי שמוצג באיור 5. כאשר התמודדות עם עוברים ושבים, לשאול את הנושא כדי לשלוט ברובוט לומר "סליחה" ולחכות ל עוברי אורח לתת דרך.
   1. לשלוט על התנהגויות רובוט המקודדות על ידי ארבעה גירויי SSVEP כ: הליכה קדימה continuously במהירות של 0.05 מ '/ שנייה, פונה שמאלה ברציפות במהירות של 0.1 rad / sec, פונה ימינה ברציפות במהירות של 0.1 rad / sec, ולעצור את כל התנהגויות ההליכה.
   2. לעבור בקר הרובוט לפונקצית שליטת היציבה תלויה ^16.
      הערה: כאשר הרובוט הולך, פונקציה זו משתמשת בגירוי הרביעי כפקודה לעצור את התנהגויות ההליכה; כאשר הרובוט לא הולך, הוא משתמש בגירוי הרביעי לשלוט הרובוט לומר "תסלח לי". הפונקציה מיושמת בתסריטי ++ C על ידי איתור מצב ההליכה של הרובוט.
   3. ליידע את הנושא במטרה המשימה וחמש התנהגויות להיות בשליטה.
   4. הפעל את בקר הרובוט ולהתחיל את הניסוי, כמתואר בשלב 5.2.3.
4. לנהל את המשימה השלישית לנוכחות מרחוק לשלוט הרובוט דמוי האדם ללכת לכיוון יעד בלון, להרים אותו, ולמסור אותו לכף ידו של הנושא, כפי שמוצג באיור 6.
   1. לשלוט על התנהגויות רובוט המקודדות על ידי ארבעה גירויי SSVEP כ: צעד קדימה עם מרחק קבוע של 0.15 מ ', פונה שמאלה עם רדיאן קבוע של 0.3 rad, פונה ימינה עם רדיאן קבוע של 0.3 rad, ולהרים חפצים.
   2. הפעל את פונקצית שליטת היציבה תלויה בבקר הרובוט לעשות שימוש חוזר בגירוי הרביעי בפיקודו של לשים את האובייקט כאשר הוא כבר הרים.
   3. ליידע את הנושא במטרה המשימה וחמש התנהגויות להיות בשליטה.
   4. הפעל את בקר הרובוט ולהתחיל את הניסוי, כמתואר בשלב 5.2.3.

תוצאות

התוצאות שהוצגו כאן התקבלו מנושא גברי שתקן ל-נורמלי גרסה. איור 7 מציג את ההליך של נתוני ה- EEG העיבוד, כולל חילוץ עידן רב ערוצי נתונים (איור 7 א), במרחב סינון נתונים באמצעות מקדמי המרכז לאמנות עכשווית (איור 7) , וחישוב PSD המנורמל

Discussion

מאמר זה מציג הליך ניסיוני מבוסס SSVEP להקים מערכת האינטראקציה המוח-רובוט דמוי אדם עם רובוטים על ידי שילוב תוכנות מרובות. בגלל כוונה אנושית נתפסה על ידי פירוש אותות EEG בזמן אמת, זה קריטי כדי לאמת את קשרי אלקטרודה ואיכויות אות EEG לפני ביצוע הניסוי. אם אותות שנרכשו מכל האלקט...

Materials

Name	Company	Catalog Number	Comments
Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8