SSVEP القائم على الإجراءات التجريبية للدماغ روبوت التفاعل مع مواصفات البشر الروبوتات

Summary

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

Abstract

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Introduction

الدماغ الروبوت التفاعل (BRI)، الذي يوفر مسارا الاتصالات المبتكرة بين الإنسان والجهاز الآلي عبر إشارات الدماغ، هو المحتملين في مساعدة المعاقين في حياتهم اليومية ^1،2. مجموعة متنوعة من الأساليب هي قادرة على التقاط إشارات الدماغ إما جراحية أو غير جراحية، مثل تخطيط كهربية قشر الدماغ (ECoG)، التخطيط الكهربائي للدماغ، والتصوير بالرنين المغناطيسي الوظيفي (fMRI)، وما إلى ذلك طريقة غير الغازية الأكثر استخداما لبناء نظام BRI هو الحصول على إشارات EEG من أقطاب توضع على فروة الرأس. هذه الطريقة غير مكلفة وسهلة الاستخدام، ويوفر القرار الزماني ^مقبول 3. بين مجموعة متنوعة من الأجهزة الروبوتية، والروبوتات الروبوت متقدمة كما أنها يتم إنشاؤها لتقليد بعض من نفس المهام البدنية والعقلية أن البشر يخضع يوميا. سوف BRI مع الروبوت الروبوت لعب دورا هاما في مساعدة المرضى وكبار السن، فضلا عن أداء وظائف غير صحية أو خطرة. لكن السيطرةمن الروبوت الروبوت من خلال نظام BRI يشكل تحديا للغاية، كما تم تطوير الروبوت الروبوت مع حركة الجسم كاملة لأداء المهام المعقدة مثل المساعدة الشخصية ^{4، 5.}

المطرد للدولة البصرية مستدعى المحتملة (SSVEP) هو نوع من إشارة الدماغ التي حركها التشكيل من التحفيز البصري على تردد معين ^6. أنه يحتوي على الجيوب في الترددات الأساسية ومتناسق من التحفيز الخفقان، وبشكل بارز يظهر في جميع أنحاء القشرة البصرية في المنطقة القفوية من فروة الرأس ^7. سبب اختيار الإشارات SSVEP هو أن النظام BRI استنادا SSVEP-غلة عالية نسبيا معدل نقل المعلومات ويتطلب أقل تدريب ^8. أنواع أخرى من الموجات الدماغية، مثل إمكانات ذات الصلة بالحدث (نظم تخطيط موارد المؤسسات) ⁹ أو الحركية الصور (MI) إمكانات ^10، ويمكن أيضا أن يكون متضمنا في هذا الإجراء التجريبي.

إجراءاتنا للتفاعل الدماغ الروبوت مع الروبوتويستند الروبوتات على Cerebot - منصة العقل التي تسيطر عليها الروبوت الروبوت - التي تتكون من نظام الحصول على البيانات EEG والروبوت الروبوت ^11. نظام EEG غير قادرة على تسجيل، قبل العملية والإشارات الحيوية المحتملة العرض التي حصل عليها أنواع مختلفة من الأقطاب الكهربائية. أنها توفر التناظرية متعددة الإدخال / الإخراج وأنا الرقمية / الإخراج، وقادر على تسجيل ما يصل إلى 128 قناة في وقت واحد إشارة بمعدل عينة من 30 كيلو هرتز مع قرار 16-بت. في عدد تطوير البرامج في C ++ وMATLAB من السهل للمستخدمين لتصميم الإجراءات التجريبية. الروبوت الروبوت لديه 25 درجات الحرية ومجهز بأجهزة استشعار متعددة، بما في ذلك 2 الكاميرات، 4 ميكروفونات، 2 جهاز ضبط السونار، 2 IR بواعث والمستقبلات، 1 مجلس بالقصور الذاتي، 9 أجهزة استشعار اللمس، و 8 أجهزة استشعار الضغط. ويوفر Choregraphe وC ++ SDK لإنشاء وحركات التحرير والسلوكيات الروبوت التفاعلية.

الهدف العام من هذه الطريقة هو إقامة صناعة تج التجريبي القائم على SSVEPDURE من خلال دمج برامج متعددة، مثل OpenViBE، Choregraph، والبرمجيات المركزي وكذلك برامج المستخدم وضعت مكتوب في C ++ وMATLAB، لتمكين دراسة تفاعل الدماغ الروبوت مع الروبوتات الروبوت ¹¹ الشكل 1 يبين هيكل النظام. يعرض الكمبيوتر عرض الحوافز مخصص (SPC) واجهة المستخدم لتقديم هذا الموضوع مع المثيرات البصرية والتعليمات والاصداء البيئية. الكمبيوتر معالجة البيانات المخصص (DPC) يعمل على تسجيل بيانات ومحلل بيانات دون اتصال في عملية التدريب حاليا، ويتم تشغيل المعالج على الانترنت الإشارات والتحكم روبوت لمراقبة الإنترنت لالروبوت الروبوت. مقارنة مع النظم الأخرى التحكم على SSVEP، نظامنا هو أكثر موثوقية، وأكثر مرونة، وخصوصا أكثر ملاءمة لإعادة استخدامها وترقيتها كما يتم تطويره من خلال دمج عدد من حزم البرمجيات القياسية، مثل OpenViBE، Choregraph، البرامج المركزي، و وحدات مكتوب في C ++وMATLAB.

وجرى استعراض الإجراء التالي والموافقة عليها من قبل الجامعة لجنة للأخلاقيات الطبية المستشفى العام تيانجين، وجميع المواد أعطى موافقة خطية.

Protocol

1. التقاط إشارات EEG

1. شرح الإجراء التجريبي لهذا الموضوع، والحصول على موافقة خطية أبلغت للمشاركة في التجارب.
2. قياس محيط الرأس هذا الموضوع باستخدام شريط قياس وتحديد حجم قبعة EEG التي هي قريبة من القياس. ويستند الترتيب الأقطاب على "نظام 10-20 الدولية" ^12.
3. قياس المسافة بين ناسيون وinion. استخدام قلم رصاص علامة الجلد للاحتفال 10٪ من المسافة كمرجع لمحاذاة الحد الأقصى، ووضع علامة على منتصف المسافة باسم قمة الرأس على فروة الرأس في هذا الموضوع.
4. وضع غطاء EEG على هذا الموضوع عن طريق مواءمة علامة 10٪ مع نقطة الوسط من FP1 FP2 والأقطاب الكهربائية. موقف القطب تشيكوسلوفاكيا من الغطاء على الرأس.
5. تأكد من أن فعز، تشيكوسلوفاكيا، PZ وعوز هم على خط الوسط من الرأس، وأن كل زوج من الأقطاب الكهربائية الموجودة على جانبي خط الوسط هم في خط أفقي.
6. تشويه REF1 وREF2 الأقطاب مع جل موصل. وضع أقطاب المرجعية على الخشاء اليسار واليمين باستخدام الشريط الطبي. تشديد chinstrap.
7. وضع حقنة ذات الرؤوس حادة في أصحاب الكهربائي وحقن هلام موصل إلى كل قطب كهربائي في الترتيب التالي: أولا، القطب "الأرض" على الجبين والثانية، والأقطاب الخمسة المستخدمة في التجربة، O2، O1، عوز، PZ وتشيكوسلوفاكيا.
8. مقعد موضوع في كرسي مريح 60 سم أمام جهاز التحفيز. إرشاد خاضعة للحفاظ على تعريفه / عينيها في نفس المستوى الأفقي مع مركز مراقبة.
9. ربط الأسلاك الكهربائي لنظام الحصول على البيانات EEG. تكوين معدل أخذ العينات إلى 1 كيلو هرتز.
10. فحص جودة الإشارة EEG على DPC مخصص. إذا كان هناك مشكلة مع القطب معين، هلام إعادة حقن لضبط مقاومة للقناة.
11. استخدام SPC مخصص لتومض أربع صور روبوت على ترددات من 4،615 و 12 و 15 و 20هرتز كما محفزات بصرية على واجهة المستخدم كما هو موضح في الشكل رقم 2.

2. غير متصل تحليل SSVEP الميزات

1. إجراء 32 محاكمات التجارب التدريب حاليا لكل موضوع وتسجيل إشارات المخ التي اكتسبوها من النظام EEG طوال هذه العملية.
   ملاحظة: يتم إجراء هذه العملية إلا من خلال موضوعات لأول مرة من تجربة لإنشاء ناقلاتها ميزة SSVEP وتدريب المصنف.
2. عندما تبدأ المحاكمة، تحديد الحوافز واحد كهدف بشكل عشوائي وعرض السهم الأصفر فوقه.
3. في وقت لاحق 1 ثانية، تومض المحفزات البصرية أربعة على ترددات مختلفة على واجهة المستخدم لمدة 5 ثانية.
4. طلب موضوع للتركيز على الهدف المحدد التحفيز بينما حفظ له / حركة جسدها إلى أدنى حد ممكن.
5. بعد كل محاكمة، وإعطاء الموضوع ثانية 3 للاسترخاء، ومن ثم تبدأ المحاكمة المقبلة.
6. عندما يتم الانتهاء من جميع المحاكمات، وقراءة البيانات المحفوظة. استخراج حقبة البيانات 3-ثانية يكون توين 2 ثانية و 5 ثانية بعد الزناد الذي يختار حافزا كهدف في كل محاكمة.
7. حساب كثافة طيف الطاقة (PSD) من العهود البيانات باستخدام تحليل بيانات دون اتصال في مخطوطات MATLAB. استخدام خوارزمية معالجة وصفها في التفاصيل أدناه:
   1. حساب تحليل الارتباط الكنسي (CCA) معاملات بيانات متعددة EEG مع البيانات المرجعية. CCA هو الأسلوب الإحصائي متعدد المتغيرات المستخدمة في مجموعتين من البيانات للعثور على العلاقة الأساسية التي تستند إليها ^13. وبالنظر إلى قطاع 3S من X بيانات متعددة EEG والبيانات المرجعية Y من نفس الطول، استخدم CCA للعثور على ناقلات الوزن، W _{x و} W _Y، لتعظيم معامل الارتباط ρ بين س = X ^T W _{X و Y} = Y ^T W _ذ. تعيين البيانات المرجعية أن تكون الإشارات الدورية في بعض الترددات التحفيز.
      /ftp_upload/53558/53558eq1.jpg "/>
      حيث f _1، و _2، و _3، و ₄ هي ترددات ميزة من المثيرات البصرية الأربعة.
   2. تصفية مكانيا البيانات X متعددة EEG باستخدام معاملات CCA تحسب W _X للحصول على البعد واحد تصفيتها س البيانات، والتي لديها ارتباط الأبرز مع تركيبة خطية من البيانات المرجعية.
   3. حساب PSD من س البيانات المصفاة مكانيا باستخدام تحويل فورييه السريع (الاتحاد الفرنسي للتنس).
      
      حيث N _{الاتحاد الفرنسي للتنس} هو حجم عينة من البيانات العاشر، والاتحاد الفرنسي للتنس (خ، N _{الاتحاد الفرنسي للتنس)} بإرجاع N _{الاتحاد الفرنسي للتنس} فورييه المنفصل -point تحويل من س.
   4. تطبيع PSD فيما يتعلق قيمة معدلها بين 3 و 30 هرتز.
      
      الى اين60؛ يدل على المتوسط ​​من الطيف السلطة بين 3 و 30HZ.
8. معايرة المعلمات تصنيف للترددات التحفيز الأربعة. أولا، ومراقبة الطيف مديرية الأمن العام تطبيع الذي يتوافق مع الهدف التحفيز، ويدويا تكوين تردد مع أقوى السعة مديرية الأمن العام كما تردد الميزة. وبناء على وتيرة الميزة، تقسيم البيانات مديرية الأمن العام تطبيع إلى مجموعتين: واحدة تكتسب عند تحديد الحوافز المقابلة كهدف، وحصلت على البعض عندما يتم تحديد المثيرات غير المستهدفة. حساب القيمة المتوسطة للكل مجموعة على التوالي. تحديد عتبة من قبل الوسيط اثنين من القيم المتوسطة لتصنيف المستهدفة وغير المستهدفة يحدد ^14.

3. تجهيز الانترنت إشارات الدماغ

1. فتح المعالج الانترنت الإشارة كما هو مبين في الشكل (3)، التي تم تطويرها بASED على البيئة OpenViBE ومخطوطات MATLAB، على DPC لمعالجة الإشارات في الدماغ على الانترنت.
2. انقر نقرا مزدوجا على اكتساب وعملية مربع الإشارة، التي وضعت مع دورة حمراء في الشكل (3)، لفتح نافذة تحديد OpenViBE. تكوين المعلمات تصنيف للموضوع: ضبط معدل أخذ العينات ك 1 كيلو هرتز، تعيين طول الوقت عن الاتحاد الفرنسي للتنس إلى 3 ثانية، وتعيين الترددات ميزة وفقا لنتائج تحليل غير متصل، على سبيل المثال، 4.667، 24، 15 و 20 هرتز .
3. انقر على زر يبدأ تشغيل المعالج على الانترنت الإشارة، الذي يعالج البيانات في الوقت الحقيقي باستخدام الخوارزمية التالية في ثلاث خطوات.
4. أولا، الخوارزمية تكتسب البيانات EEG من القنوات عوز، O1، O2، PZ وCPZ النظام EEG كل 0.5S، واستخراج شريحة بيانات 3S مشاركة للتجهيز على الانترنت.
5. ثانيا، الخوارزمية بمعالجة شريحة بيانات 3-ثانية باستخدام خوارزميات هو موضح في الخطوة 2.7، وتحسب في الوقت الحقيقي PSD لclassificaنشوئها.
6. ثالثا، خوارزمية تصنف أنماط الفكرة الرائعة وفقا لسعة مديرية الأمن العام على ترددات ميزة الأربعة. عندما اتساع تردد ميزة واحدة فوق عتبة معينة، تصنيف التحفيز الخفقان على التردد المماثل كهدف SSVEP.

4. ربط البشر روبوت

1. اضغط على زر الصدر الروبوت الروبوت وانتظر حتى بدء التشغيل.
   ملاحظة: هذه العملية تستغرق حوالي 1 دقيقة وتنتهي عندما يقول الروبوت "OGNAK GNOUK" حين يصبح زر صدره الأبيض.
2. إنشاء اتصاله اللاسلكي الإخلاص (واي فاي) لDPC ^15.
3. فتح وحدة تحكم روبوت المبرمجة في C ++ نصوص بصرية على DPC. يتلقى تحكم نتائج تصنيف من المعالج على الانترنت الإشارة عبر الواقع الافتراضي الشبكة الطرفية (VRPN) واجهة، ترجمتها إلى أوامر الروبوت، ويتحكم في السلوك المقابلة من humanoiد الروبوت عبر اتصال لاسلكي.
4. تكوين وحدة تحكم روبوت عن طريق إدخال عنوان IP للروبوت وفقا لاتصال واي فاي لها، وتحديد ثلاث مجموعات من السلوكيات الروبوت التي يمكن أن تنتقل بسهولة لأداء المهام الثلاث المختلفة، وتعيين المعلمات تنفيذ هذه السلوكيات (على سبيل المثال، سرعة المشي أو المسافة) لتتناسب مع متطلبات المهمة.
   ويرد المزيد من التفاصيل عن هذه السلوكيات في الخطوات 5.2.1، 5.3.1، 5.4.1 و: ملاحظة.
5. انقر فوق الزر إنشاء لمنصة Visual Studio لتشغيل وحدة تحكم روبوت.
6. فتح برنامج Choregraphe على SPC. انقر فوق "الاتصال ب" الزر ليطفو على السطح القطعة اتصال. اختيار الروبوت التي تخضع للرقابة وفقا لعنوان IP الخاص به، وانقر نقرا مزدوجا فوق الرمز الخاص به للاتصال به.
7. فتح شاشة فيديو من عرض القائمة في شريط القوائم Choregraphe، ونقل العرض إلى الجزء الأمامي من واجهة المستخدم لعرضه ردود الفعل لقطات فيديو حية من كاميرا الروبوت.

<ص الطبقة = "jove_title"> 5. إجراء التجارب حلقة مغلقة سيطرة

1. طلب موضوع لأداء ثلاث مهام مراقبة حلقة مغلقة محددة ضمن بيئات مختلفة من أجل تقييم أداء تفاعل الدماغ الروبوت.
   ملاحظة: هذه المهام، والتي تعتبر مهمة في التطبيقات الروبوتية لأنها مفيدة في مساعدة المعاقين وكبار السن في حياتهم اليومية، تحتاج إلى تفعيل السلوكيات الروبوت المختلفة.
2. إجراء أول مهمة حلقة مغلقة سيطرة على التواجد عن بعد التحكم في الروبوت الروبوت عبر إشارات الدماغ على المشي من خلال العقبات والضغط على مفتاح الضوء لتشغيل الضوء، كما هو مبين في الشكل (4).
   1. لإنجاز المهمة الأولى، والسيطرة على السلوكيات الروبوت التي تم ترميزها بواسطة المنبهات SSVEP أربعة على النحو التالي: يخطو إلى الأمام مع مسافة ثابتة من 0.15 م، تحول اليسار مع راديان الثابتة من 0.3 راد، وتحول الحق مع راديان الثابتة من 0.3 راد، ودفع التبديل باستخدام اليد اليمنى لها.
      ملاحظة: للconfiguraوصفت عملية نشوئها في الخطوة 4.4.
   2. إبلاغ موضوع هدف المهمة والسلوكيات الأربعة التي تخضع للرقابة.
   3. تشغيل وحدة تحكم روبوت كما في الخطوات 4،5-4،7، وبدء التجربة. إيلاء هذا الموضوع الحرية على إدراك البيئة واتخاذ القرارات على أساس التغذية المرتدة لقطات فيديو حية، وتفعيل السلوكيات الروبوت عن طريق التحديق في المحفزات المقابلة.
      وينبغي إيلاء أي تعليمات أو مساعدة للموضوع إلا في حالات الطوارئ، على سبيل المثال، الروبوت على وشك أن تصطدم عقبة: ملاحظة.
3. إجراء المهمة الثانية إلى التواجد عن بعد التحكم في الروبوت الروبوت عبر إشارات الدماغ إلى السير نحو الدرج التالية علامة الخروج، كما هو مبين في الشكل (5). عندما تواجه المارة، وطرح هذا الموضوع للتحكم في الروبوت ليقول "عفوا" وانتظر المارة لتفسح المجال.
   1. السيطرة على السلوكيات الروبوت المشفرة بواسطة المحفزات SSVEP أربعة على النحو التالي: المشي continuousl إلى الأمامذ بسرعة 0.05 متر / ثانية، تحول اليسار بشكل مستمر بسرعة 0.1 راد / ثانية، وتحول الحق مستمر بسرعة 0.1 راد / ثانية، ووقف كل السلوكيات المشي.
   2. تبديل جهاز تحكم روبوت لمراقبة وظيفة تعتمد على الموقف ^16.
      ملاحظة: عندما يكون الروبوت هو المشي، وتستخدم هذه الوظيفة التحفيز الاخير من الأمر وقف السلوكيات المشي. عندما الروبوت لا يمشي، ويستخدم التحفيز الرابع للتحكم في الروبوت ليقول "عفوا". يتم تنفيذ وظيفة في البرامج النصية C ++ عن طريق الكشف عن حالة المشي الروبوت.
   3. إبلاغ موضوع هدف المهمة والسلوكيات الخمسة التي تخضع للرقابة.
   4. تشغيل وحدة تحكم الروبوت وبدء التجربة، كما هو موضح في الخطوة 5.2.3.
4. إجراء المهمة الثالثة إلى التواجد عن بعد التحكم في الروبوت الروبوت على السير نحو الهدف البالون، لاستلامه، وإيصالها إلى جهة هذا الموضوع، وكما هو مبين في الشكل (6).
   1. السيطرة على السلوكيات الروبوت المشفرة بواسطة المحفزات SSVEP أربعة على النحو التالي: يخطو إلى الأمام مع مسافة ثابتة من 0.15 م، تحول اليسار مع راديان الثابتة من 0.3 راد، وتحول الحق مع راديان الثابتة من 0.3 راد، والتقاط الأشياء.
   2. تنشيط وظيفة تعتمد على الموقف سيطرة في وحدة تحكم روبوت لإعادة تحفيز الرابع كأمر إنزال الكائن عند بالفعل التقطه.
   3. إبلاغ موضوع هدف المهمة والسلوكيات الخمسة التي تخضع للرقابة.
   4. تشغيل وحدة تحكم الروبوت وبدء التجربة، كما هو موضح في الخطوة 5.2.3.

النتائج

تم الحصول على النتائج المقدمة هنا من موضوع الذكور بعد أن لتصحيح-إلى وضعها الطبيعي الإصدار. ويبين الشكل 7 إجراءات معالجة البيانات EEG، بما في ذلك استخراج حقبة بيانات متعددة القنوات (الشكل 7A)، وتصفية مكانيا البيانات باستخدام...

Discussion

تقدم هذه الورقة إجراء التجارب على أساس SSVEP لإنشاء نظام تفاعل الدماغ الروبوت مع الروبوتات الروبوت من خلال دمج برامج متعددة. لأنه ينظر القصد البشري عن طريق تفسير إشارات EEG في الوقت الحقيقي، فمن الأهمية بمكان للتحقق من وصلات الكهربائي EEG والصفات إشارة قبل إجراء التجربة. ...

Materials

Name	Company	Catalog Number	Comments
Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8