أداء الصور الحركية من خلال التوائم الرقمية المجسدة في بيئة واجهة الدماغ والحاسوب التي تدعم الواقع الافتراضي

Kishor Lakshminarayanan; Rakshit Shah; Vadivelan Ramu; Deepa Madathil; Yifei Yao; Inga Wang; Brahim Brahmi; Mohammad Habibur Rahman

doi:10.3791/66859

A subscription to JoVE is required to view this content. Sign in or start your free trial.

Summary

الصور الحركية في بيئة الواقع الافتراضي لها تطبيقات واسعة في أنظمة واجهة الدماغ والحاسوب. توضح هذه المخطوطة استخدام الصور الرمزية الرقمية المخصصة التي تشبه المشاركين الذين يؤدون حركات يتخيلها المشارك في بيئة الواقع الافتراضي لتعزيز الانغماس والشعور بملكية الجسم.

Abstract

تقدم هذه الدراسة إطارا مبتكرا لإعادة التأهيل العصبي من خلال دمج واجهات الدماغ الحاسوبية (BCI) وتقنيات الواقع الافتراضي (VR) مع تخصيص الصور الرمزية ثلاثية الأبعاد (3D). غالبا ما تفشل الأساليب التقليدية لإعادة التأهيل في إشراك المرضى بشكل كامل ، ويرجع ذلك أساسا إلى عدم قدرتهم على توفير تجربة غامرة وتفاعلية للغاية. يسعى هذا البحث إلى سد هذه الفجوة من خلال استخدام تقنيات الصور الحركية (MI) ، حيث يتصور المشاركون الحركات الجسدية دون تنفيذ فعلي. تستفيد هذه الطريقة من الآليات العصبية للدماغ ، وتنشط المناطق المشاركة في تنفيذ الحركة عند تخيل الحركات ، وبالتالي تسهيل عملية التعافي. يشكل دمج القدرات الغامرة للواقع الافتراضي مع دقة تخطيط كهربية الدماغ (EEG) لالتقاط وتفسير نشاط الدماغ المرتبط بالحركات المتخيلة جوهر هذا النظام. يتم استخدام التوائم الرقمية في شكل صور رمزية 3D مخصصة لتعزيز الشعور بالانغماس في البيئة الافتراضية بشكل كبير. هذا الشعور المتزايد بالتجسيد أمر بالغ الأهمية لإعادة التأهيل الفعال ، بهدف تعزيز العلاقة بين المريض ونظيره الافتراضي. من خلال القيام بذلك ، لا يهدف النظام إلى تحسين أداء الصور الحركية فحسب ، بل يسعى أيضا إلى توفير تجربة إعادة تأهيل أكثر جاذبية وفعالية. من خلال تطبيق BCI في الوقت الفعلي ، يسمح النظام بالترجمة المباشرة للحركات المتخيلة إلى إجراءات افتراضية تقوم بها الصورة الرمزية 3D ، مما يوفر ملاحظات فورية للمستخدم. تعد حلقة التغذية الراجعة هذه ضرورية لتعزيز المسارات العصبية المشاركة في التحكم الحركي والتعافي. الهدف النهائي للنظام المطور هو تعزيز فعالية تمارين الصور الحركية بشكل كبير من خلال جعلها أكثر تفاعلية واستجابة للعمليات المعرفية للمستخدم ، وبالتالي تمهيد مسار جديد في مجال إعادة التأهيل العصبي.

Introduction

تشهد نماذج إعادة التأهيل للمرضى الذين يعانون من إعاقات عصبية تحولا تحويليا مع دمج التقنيات المتقدمة مثل واجهات الدماغ الحاسوبية (BCI) والواقع الافتراضي الغامر (VR) ، مما يوفر طريقة أكثر دقة وفعالية لتعزيز التعافي. تتضمن الصور الحركية (MI) ، وهي التقنية الموجودة في قلب إعادة التأهيل القائم على BCI ، البروفة العقلية للحركات الجسدية دون تنفيذ حركي فعلي¹. يستغل MI آلية عصبية حيث يؤدي تخيل الحركة إلى نمط من نشاط الدماغ يعكس عن كثب نشاط أداء الفعل البدني نفسه²^،³^،⁴. على وجه التحديد ، يؤدي الانخراط في MI إلى ظاهرة تعرف باسم عدم التزامن المرتبط بالحدث (ERD) في نطاقات تردد ألفا (8-13 هرتز) وبيتا (13-25 هرتز) للنشاط الكهربائي للدماغ⁵^،⁶^،⁷. يشير ERD إلى قمع إيقاعات الدماغ الأساسية ، وهو نمط لوحظ أيضا أثناء الحركة الفعلية ، مما يوفر ركيزة عصبية لاستخدام MI ضمن أطر إعادة التأهيل بمساعدة BCI⁷. يشير هذا التشابه في التنشيط القشري بين MI والحركة الجسدية إلى أن MI يمكن أن يحفز بشكل فعال الشبكات العصبية المشاركة في التحكم الحركي ، مما يجعله أداة قيمة للمرضى الذين يعانون من عجز حركي⁸. وعلاوة على ذلك، امتدت ممارسة MI إلى ما هو أبعد من مجرد البروفة الذهنية لتشمل استراتيجيات مراقبة العمل⁹. يمكن أن تؤدي مراقبة حركة أجزاء الجسم أو الإجراءات المتعلقة بالمهام في الآخرين إلى تنشيط شبكة الخلايا العصبية المرآتية (MNN) ، وهي مجموعة من الخلايا العصبية التي تستجيب لكل من مراقبة العمل والتنفيذ⁹. ثبت أن تنشيط MNN من خلال الملاحظة يحفز اللدونة القشرية ، كما يتضح من طرق التصوير العصبي المختلفة ، بما في ذلك التصوير بالرنين المغناطيسي الوظيفي¹⁰ ، والتصوير المقطعي بالإصدار البوزيتروني¹¹ ، والتحفيز المغناطيسي عبر الجمجمة¹². تدعم الأدلة فكرة أن تدريب MI ، المعزز بمراقبة العمل ، يمكن أن يؤدي إلى تكيف عصبي كبير واستعادة لدى الأفراد المصابين.

أحدثت تقنية الواقع الافتراضي ثورة في مجال إعادة التأهيل القائم على MI من خلال توفير بيئة غامرة تعزز الشعور بملكية الجسم وتطمس الفروق بين العالمين الحقيقي والافتراضي¹³^،¹⁴^،¹⁵. إن الجودة الغامرة للواقع الافتراضي تجعله أداة فعالة لمراقبة الحركة وممارسة الصور الحركية ، حيث يسمح للمشاركين بإدراك البيئة الافتراضية على أنها^{حقيقية 15}. أظهرت الأبحاث أن أجهزة الواقع الافتراضي لها تأثير أكثر وضوحا على تدريب MI مقارنة بشاشات العرض ثنائية الأبعاد التقليدية^15,16. تتجلى هذه النتائج من خلال النشاط العصبي المعزز ، مثل زيادة نسب سعة ERD في القشرة الحسية الحركية ، مما يسلط الضوء على فوائد مستويات الانغماس الأعلى في تحفيز نشاط الدماغ أثناء تمارين MI الموجهة بصريا¹⁶. يساعد النظام في تحسين أداء MI للمهام التي تنطوي على حركات الذراع أو الأطراف من خلال توفير التغذية الراجعة المباشرة ، وبالتالي تعزيز عملية إعادة التأهيل^16,17. يؤكد التآزر بين MI و VR على دمج الأنشطة الحسية والإدراكية والمعرفية والحركية^18,19. كان هذا المزيج مفيدا بشكل خاص للناجين من السكتة الدماغية ^20,21 وقدامى المحاربين²² ، حيث أظهرت الدراسات أن دمج الواقع الافتراضي في بروتوكولات إعادة التأهيل القائمة على MI يمكن أن يقلل بشكل كبير من وقت إعادة التأهيل ويحسن نتائج التعافي. تكمن الميزة الفريدة للواقع الافتراضي في إعادة التأهيل في قدرته على خلق شعور بالوجود داخل بيئة افتراضية مصممة خصيصا ، مما يعزز تجربة إعادة التأهيل التي يتم تعزيزها بشكل أكبر من خلال تضمين الصور الرمزية الافتراضية التي تمثل جسم المستخدم ، والتي تم استخدامها بشكل متزايد في دراسات إعادة التأهيل الحركي²³. تقدم هذه الصور الرمزية تمثيلا واقعيا ثلاثي الأبعاد لحركات الأطراف ، مما يساعد في MI ويؤثر بشكل كبير على تنشيط القشرة الحركية. من خلال السماح للمشاركين بتصور ذواتهم الافتراضية وهم يؤدون مهام محددة ، لا يثري الواقع الافتراضي تجربة MI فحسب ، بل يعزز أيضا عملية إعادة تنظيم واستعادة عصبية أكثر سرعة وفعالية²⁴. يؤكد تنفيذ الصور الرمزية الافتراضية والبيئات المحاكاة في تدريب MI على الاستخدام الطبيعي والمتكامل للأجسام الافتراضية داخل عوالم افتراضية غامرة.

على الرغم من المزايا الرائعة للتحكم القائم على BCI في الصور الرمزية 3D في MI لإعادة التأهيل ، لا يزال هناك قيود كبيرة في الاستخدام السائد للمنهجيات غير المتصلة بالإنترنت. حاليا ، تتضمن معظم تطبيقات BCI التقاط بيانات تخطيط كهربية الدماغ (EEG) المسجلة مسبقا والتي يتم استخدامها لاحقا لمعالجة الصورة الرمزية^24,25. حتى في السيناريوهات التي يتم فيها التحكم في الصورة الرمزية في الوقت الفعلي ، غالبا ما تكون هذه الصور الرمزية عامة ولا تشبه المشاركين الذين يمثلونهم²³. هذا النهج العام يضيع فرصة حاسمة لتعميق الانغماس والشعور بملكية الجسم ، وهو أمر بالغ الأهمية لإعادة التأهيل الفعال²⁴. يمكن أن يؤدي إنشاء صورة رمزية ثلاثية الأبعاد تعكس التشابه الدقيق للموضوع إلى تعزيز التجربة الغامرة للتجربة¹⁶ بشكل كبير. من خلال تصور أنفسهم في العالم الافتراضي ، يمكن للمشاركين تعزيز اتصال أقوى بين حركاتهم المتخيلة والفعلية ، مما قد يؤدي إلى أنماط ERD أكثر وضوحا ، وبالتالي ، تكيف عصبي أكثر فعالية والتعافي¹⁶. من خلال التقدم نحو التحكم في الوقت الفعلي في الصور الرمزية 3D الشخصية ، يمكن لمجال BCI و VR تحسين نماذج إعادة التأهيل بشكل كبير ، مما يوفر طريقة أكثر دقة وجاذبية وفعالية لتعافي المريض.

تعرض المخطوطة الحالية الإنشاء والتصميم والجوانب التكنولوجية لكل من الأجهزة والبرامج الخاصة بالتحكم في BCI في الوقت الفعلي القائم على الواقع الافتراضي للصور الرمزية 3D ، مع تسليط الضوء على نتائجها المبتكرة التي تدعم دمجها في إعدادات إعادة التأهيل الحركي. سيستخدم النظام المقترح تخطيط كهربية الدماغ (EEG) لالتقاط إشارات الصور الحركية الناتجة عن الموضوع ، والتي سيتم استخدامها بعد ذلك للتحكم في حركات وأفعال الصورة الرمزية في الوقت الفعلي. سيجمع النهج الحالي بين القدرات المتقدمة لتقنية الواقع الافتراضي ودقة EEG في التعرف على نشاط الدماغ المرتبط بالحركات المتخيلة وتفسيره ، بهدف إنشاء واجهة أكثر جاذبية وفعالية للمستخدمين للتفاعل مع البيئات الرقمية من خلال قوة أفكارهم.

Protocol

تهدف الدراسة الحالية إلى التحقيق في جدوى التحكم في الصورة الرمزية 3D في الوقت الفعلي داخل بيئة VR باستخدام إشارات MI المسجلة عبر EEG. تركز الدراسة على تعزيز الانغماس والشعور بملكية الجسم من خلال تخصيص الصورة الرمزية لتشبه الموضوع بشكل وثيق. حصل البروتوكول على موافقة من مجلس مراجعة معهد فيلور للتكنولوجيا. قدم المشاركون موافقة خطية مستنيرة بعد مراجعة الغرض من الدراسة وإجراءاتها والمخاطر المحتملة.

1. الإعداد التجريبي

ملاحظة: تأكد من أن النظام يتضمن جميع المكونات كما هو موضح في الرسم التخطيطي للإعداد التجريبي في الشكل 1 (انظر جدول المواد للمعدات المستخدمة).

تطوير الصورة الرمزية 3D
1. نمذجة الصورة الرمزية
  1. في اليوم السابق لجمع البيانات ، اجمع صورا متعددة للوجه من زوايا مختلفة وقياسات دقيقة للجسم من كل مشارك.
  2. انقر فوق برنامج النمذجة لفتحه. مباشرة بعد الفتح ، ابحث عن شريط التمرير للجنس. اضبط شريط التمرير هذا ليطابق جنس النموذج الذي يهدف إلى إنشاء.
  3. انتقل إلى علامة التبويب النمذجة في الجزء العلوي من الشاشة وانقر فوق علامة التبويب للوصول إلى خيارات تخصيص الجسم.
  4. استخدم أشرطة التمرير تحت أقسام مختلفة ، مثل الجذع والذراعين والساقين وما إلى ذلك ، لنمذجة الجسم. ركز على القياسات الأساسية التالية: الطول والصدر / الصدر والخصر والوركين وطول الساق وطول الذراع.
  5. انقر فوق علامة التبويب Pose / Animate وحدد الهيكل العظمي الافتراضي للرسوم المتحركة الأساسية. انتقل إلى قائمة الملفات في الجزء العلوي ، وحدد تصدير ، ثم اختر. تنسيق MHX2 للتوافق مع برنامج الرسوم المتحركة. تأكد من تحديد خيار التصدير باستخدام Rig لتضمين الهيكل العظمي. اختر مجلد وجهة، وقم بتسمية الملف، وانقر فوق تصدير.
  6. افتح برنامج الرسوم المتحركة. انتقل إلى ملف > استيراد وحدد .mhx2 أو التنسيق المتوقع. انتقل إلى الملف المحفوظ وحدده وقم باستيراده إلى البرنامج.
  7. انتقل إلى قائمة التحرير ، وحدد التفضيلات > الوظائف الإضافية ، وتأكد من تمكين المكون الإضافي المناسب لبناء الوجوه.
  8. في إطار العرض 3D ، قم بالتبديل إلى الإعداد المسبق للتخطيط الذي يوفره المكون الإضافي أو انتقل إلى لوحة المكون الإضافي ، الموجودة عادة على رف الأدوات على الجانب الأيسر.
  9. انقر فوق إنشاء رأس جديد في لوحة البرنامج المساعد لبدء نموذج الرأس. استخدم الزر إضافة صورة لاستيراد صور المشارك. استخدم ملفات التعريف الأمامية والجانبية للنمذجة الدقيقة.
  10. اتبع المطالبات لمحاذاة النقاط على الصور مع النقاط المقابلة على نموذج 3D. سيقوم المكون الإضافي بعد ذلك بضبط نموذج الرأس لمطابقة ميزات المشارك. بمجرد الرضا عن التشابه ، قم بوضع اللمسات الأخيرة على نموذج الرأس.
  11. ضع نموذج الرأس يدويا ليتماشى مع رقبة نموذج الجسم. اضبط مقياس الرأس ودورانه لملاءمة سلسة.
  12. استخدم أداة Snap (Shift + Tab) لمحاذاة رؤوس الرقبة على الرأس بدقة مع تلك الموجودة على الجسم.
  13. بمجرد المحاذاة، قم بربط الرأس والجسم عن طريق تحديد كلا الشبكتين، والضغط على Ctrl+J لضمهما في كائن واحد.
  14. قم باستيراد أو تصميم زوج من البونجو ووضعه أمام النموذج على ارتفاع مناسب.
2. تحريك الصورة الرمزية
  1. قم بالتبديل إلى وضع الوضع للطراز المزور. في الإطار 1 ، حدد جميع العظام وأدخل إطارا مفتاحيا (استخدم المفتاح I) ل LocRotScale لتسجيل مواضعها الأولية.
  2. حرك المخطط الزمني للأمام إلى الإطار 30 لوضع اليد اليسرى لضرب البونغو.
  3. حرك وتدوير حديد التسليح اليسرى لمحاكاة ضرب البونغو. أدخل إطارا رئيسيا لهذه العظام. كرر هذه العملية لإعادة اليد إلى موضع البداية عند الإطار 60، مع إدخال إطار مفتاحي آخر لإكمال العملية.
  4. حرك المخطط الزمني إلى الإطار 90 ، حيث تبدأ اليد اليمنى عملها. على غرار اليد اليسرى ، اضبط موضع اليد اليمنى وتدويرها لمحاكاة ضرب البونغو الآخر وإدراج إطار رئيسي.
  5. أعد اليد إلى موضع البداية وأدخل إطارا مفتاحيا لإنهاء الحركة عند الإطار 150.
  6. قم بالتمرير عبر المخطط الزمني لمراجعة الرسوم المتحركة. اضبط حسب الحاجة لحركة أكثر سلاسة أو توقيت أفضل بين ضربات البونغو. احفظ الملف.
إعداد المعدات
1. قم بتجميع نظام الحصول على بيانات EEG المكون من 16 قناة عن طريق إرفاق وحدة Daisy ب 8 قنوات EEG أعلى اللوحة مع 8 قنوات EEG.
2. قم بتوصيل القطب المرجعي عبر كابل Y-Splitter بالدبوس المرجعي السفلي على لوحة Daisy والدبوس المرجعي السفلي للوحة في الأسفل ، وكلاهما يحمل علامة SRB.
3. قم بتوصيل القطب الأرضي بدبوس BIAS على اللوحة السفلية.
4. قم بتوصيل 16 قطبا كهربائيا لمخطط كهربية الدماغ بدبابيس اللوحة السفلية المسماة N1P-N8P والمسامير السفلية التعاقبية المسماة N1P-N8P.
5. أدخل الأقطاب الكهربائية على الغطاء الخالي من الهلام في المواقع المصنفة الملتصقة بنظام 10-20 الدولي لوضع القطب الكهربائي مع أقطاب كهربائية تحمل علامة FP1 و FP2 و C3 و C4 و CZ و P3 و P4 و PZ و O1 و O2 و F7 و F8 و F3 و F4 و T3 و T4.
6. انقع 18 إسفنجة مقدمة لأقطاب EEG في محلول ملحي مع 5 جم من كلوريد الصوديوم الممزوج في 200 مل من ماء الصنبور لمدة 15 دقيقة.
7. أدخل الإسفنج المنقوع على الجانب السفلي من كل قطب كهربائي لإنشاء اتصال بين فروة الرأس والقطب.
8. اجعل المشاركين يجلسون بشكل مريح في غرفة هادئة. ضع غطاء EEG الخالي من الجل على فروة رأس المشارك ، مع التأكد من محاذاة الغطاء بشكل صحيح ليناسب أذني المشارك.
9. قم بتوصيل دونجل USB بالكمبيوتر المحمول. افتح واجهة المستخدم الرسومية EEG ، وانقر فوق نظام EEG ، وضمن خيار مصدر البيانات ، حدد تسلسلي (من Dongle) ، و 16 قناة ، و AUTO-CONNECT.
10. داخل شاشة الحصول على البيانات ، حدد أداة الإشارة للتحقق من جودة إشارة الأقطاب الكهربائية المتصلة عن طريق التحقق من مستوى مقاومة مثالي يبلغ <10 kΩ في كل موقع قطب كهربائي²⁶.
11. إذا كانت المقاومة أعلى من 10 kΩ ، فقم بإضافة بضع قطرات من المحلول الملحي إلى الإسفنجة الموجودة أسفل القطب. بعد فحص المعاوقة ، أغلق واجهة المستخدم الرسومية.
12. افتح برنامج خادم الاستحواذ ، وحدد لوحة EEG المناسبة ضمن برنامج التشغيل وانقر فوق Connect > Play لإنشاء اتصال بنظام EEG.
13. قم بإعداد سماعة الواقع الافتراضي عن طريق تعقيمها بالمناديل ووضعها على رأس المشارك فوق غطاء EEG لتسهيل تفاعل غامر أثناء التقاط بيانات EEG.
إعداد اللعبة
ملاحظة: توضح الإرشادات التالية إعداد سيناريوهين لمحرك اللعبة باستخدام التحكم في الصوت المفتوح (OSC): أحدهما للتدريب على الصور الحركية (feedforward) والآخر لاختبار الصور الحركية (التغذية الراجعة). يقوم سيناريو التغذية الأمامية بتدريب المستخدمين على الصور الحركية من خلال الرسوم المتحركة المرصودة التي يتم تشغيلها بواسطة رسائل OSC. يختبر سيناريو التغذية الراجعة فعالية الصور الحركية من خلال تحريك الحركات التي يتخيلها المستخدم بناء على مدخلات OSC.
1. افتح برنامج محرك اللعبة وحدد مشروع تدريب الصور الحركية. تمكين دعم الواقع الافتراضي: انتقل إلى تحرير إعدادات المشروع > > إعدادات > المشغل XR ، وتحقق من دعم الواقع الافتراضي ، وتأكد من إدراج سماعة رأس الواقع الافتراضي ضمن حزم SDK للواقع الافتراضي.
2. احذف الكاميرا الافتراضية واسحب كاميرا الواقع الافتراضي إلى المشهد من حزمة تكامل الواقع الافتراضي.
3. ضع ملف الرسوم المتحركة المستورد في المشهد. اضبط المقياس والاتجاه حسب الحاجة. تأكد من تعيين OSCListener GameObject مع البرامج النصية المكتوبة مسبقا لتشغيل الرسوم المتحركة النموذجية للحركات اليسرى واليمنى بناء على رسائل OSC ، ومحاكاة حركة ضرب البونغو للتدريب على الصور الحركية.
4. افتح إعدادات إنشاء > الملفات في برنامج محرك اللعبة. حدد الكمبيوتر الشخصي و Mac و Linux المستقل ، واستهدف Windows ، ثم انقر فوق إنشاء وتشغيل.
5. بالنسبة لمشروع اختبار الصور الحركية ، قم بتنفيذ خطوات مماثلة لمشروع التدريب على الصور الحركية. استخدم OSCListener GameObject الذي تم تكوينه بنصوص مصممة لاستقبال إشارات OSC التي تشير إلى حركات اليد المتخيلة للمشارك ، مما يؤدي إلى تشغيل الرسوم المتحركة المقابلة لمشروع الاختبار.

figure-protocol-7901
الشكل 1: إعداد VR-BCI. يظهر إعداد VR-BCI بالكامل المشارك الذي يرتدي سماعة رأس الواقع الافتراضي وغطاء EEG. شاهد المشاركون الصورة الرمزية 3D الشخصية في البيئة الافتراضية وسيطروا على عملها باستخدام إشارات الدماغ المرسلة إلى الكمبيوتر لاسلكيا. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

2. التصميم التجريبي

مرحلة التحقق من الإشارة
1. افتح أداة البرنامج لتصميم سيناريوهات صور المحرك وتشغيلها، وانتقل إلى ملف وقم بتحميل سيناريوهات Motor-Imagery-BCI الستة المسماة التحقق من الإشارة، والاستحواذ، والتدريب على CSP، وتدريب المصنف، والاختبار، ومصفوفة الارتباك.
2. انتقل إلى سيناريو التحقق من الإشارة. قم بتطبيق مرشح تمرير النطاق بين 1 إلى 40 هرتز بترتيب مرشح 4 على الإشارات الأولية باستخدام الصناديق المصممة لمعالجة الإشارات الأمثل.
مرحلة التدريب
1. توجيه وتوجيه المشاركين للخضوع لمهام التصوير الحركي ، وتخيل حركات اليد استجابة للإشارات البصرية.
2. افتح الملف للتدريب على الصور الحركية واعرض الصورة الرمزية 3D المعدة التي تقف فوق مجموعة من bongos من خلال سماعة الرأس VR.
3. انتقل إلى سيناريو الاستحواذ وانقر نقرا مزدوجا فوق محفز صور Graz Motor لتكوين المربع.
4. قم بتكوين تجارب 50 ، 5 ثوان (جديلة 1.25 ثانية و MI-3.75 ثانية) لكل من حركات اليد اليسرى واليمنى ، مع دمج فترة خط الأساس 20 ثانية متبوعة بفترات راحة مدتها 10 ثوان بعد كل 10 تجارب لتجنب التعب العقلي.
5. قم بتكوين التجارب اليسرى واليمنى لتكون عشوائية ولديك إشارة قبل التجربة تشير إلى اليد المراد تخيلها.
6. قم بتوصيل صندوق OSC بعنوان IP والمنفذ لنقل إشارة اليد التي سيتم تخيلها إلى برنامج محرك لعبة تدريب الصور الحركية.
7. توجيه المشاركين لتخيل تنفيذ حركة أيديهم جنبا إلى جنب مع الصورة الرمزية 3D باتباع نفس وتيرة الصورة الرمزية لأنها تضرب بونغو باليد المقابلة ، بعد إشارة نصية تعرض اليد التي يجب تخيلها.
تدريب CSP و LDA
1. بعد الاستحواذ، قم بتشغيل سيناريو تدريب CSP لتحليل بيانات EEG من مرحلة الاستحواذ وحساب الأنماط المكانية الشائعة (CSP)، وإنشاء عوامل تصفية للتمييز بين الصور اليمنى واليسرى.
2. بعد تدريب CSP ، انتقل إلى سيناريو تدريب المصنف وقم بتشغيله لاستخدام التحليل التمييزي الخطي (LDA) باستخدام مرشحات CSP لتصنيف المهام بكفاءة ، وإعداد النظام للتحكم في الصورة الرمزية في الوقت الفعلي.
مرحلة الاختبار
1. انتقل إلى سيناريو الاختبار للمشاركين للتحكم في الصور الرمزية 3D الخاصة بهم في الوقت الفعلي باستخدام تقنية واجهة الدماغ والحاسوب (BCI).
2. قم بتحميل المصنفات التي تم تدريبها خلال السيناريو السابق على بيانات EEG التي تم التقاطها في المربعات المناسبة بينما تخيل المشاركون حركات اليد لتفسير هذه الإجراءات المتخيلة في الوقت الفعلي.
3. تأكد من تشغيل نظام تخطيط كهربية الدماغ وإعداد الواقع الافتراضي وتكوينهما بشكل صحيح وفقا لإعدادات مرحلة التدريب.
4. إطلاع المشاركين على إجراء الاختبار ، مع التأكيد على الحاجة إلى تخيل حركات اليد بوضوح (ضرب بونغو باستخدام اليد اليسرى أو اليمنى) كما هو مطلوب من الإشارات النصية.
5. على غرار مرحلة التدريب ، قم بإجراء 20 تجربة لكل مشارك ، مقسمة بالتساوي بين تخيل حركات اليد اليسرى واليمنى والعشوائية.
6. قم بتوصيل وتكوين مربع OSC لنقل معلومات جديلة ليتم عرضها كنص يشير إلى اليد التي سيتم تصويرها في برنامج محرك اللعبة.
7. اتصل بمربع OSC آخر لنقل القيمة المتوقعة للحركات اليسرى واليمنى لبرنامج محرك اللعبة لتشغيل الرسوم المتحركة المقابلة بناء على اليد التي يتخيلها المشارك.
8. قم بتشغيل سيناريو الاختبار. قم بتشغيل برنامج محرك لعبة اختبار الصور الحركية.

3. جمع البيانات وتحليلها

تسجيل بيانات EEG ومخرجات المصنف باستمرار أثناء مراحل الاستحواذ والاختبار للتجربة ، مع أخذ عينات من البيانات عند 125 هرتز.
انتقل إلى سيناريو مصفوفة الارتباك وقم بتحميل ملف EEG المكتسب في المربع المسمى قارئ دفق عام لكل مشارك ولكل من مرحلتي الاستحواذ والتدريب.
قم بتشغيل السيناريو للحصول على مصفوفة الارتباك لتقييم مدى دقة تفسير نظام BCI لإشارات الصور الحركية.
اجمع التعليقات من المشاركين فيما يتعلق بتجربتهم مع سهولة استخدام الصورة الرمزية وقدرات التحكم ومستوى الانغماس والراحة أثناء ارتداء غطاء EEG وسماعة رأس الواقع الافتراضي.

النتائج

النتائج المعروضة هي من 5 أفراد اتبعوا البروتوكول الموصوف أعلاه. شارك في الدراسة ما مجموعه 5 بالغين أصحاء (3 إناث) تتراوح أعمارهم بين 21 و 38 عاما.

يظهر أداء التصنيف الفردي لكل مشارك في ظل كل من التدريب على الصور الحركية وظروف الاختبار في الشكل 2. تم حساب متوسط مصفو...

Discussion

يوفر تطبيق MI جنبا إلى جنب مع تقنية الواقع الافتراضي وسيلة واعدة لإعادة التأهيل من خلال الاستفادة من الآليات الطبيعية للدماغ للتخطيط الحركي والتنفيذ. توفر قدرة MI على تحفيز عدم التزامن المرتبط بالحدث في نطاقات تردد دماغية محددة ، تعكس النشاط العصبي للحركة الجسدية²^،

Disclosures

ليس لدى المؤلفين أي تضارب في المصالح للكشف عنه.

Acknowledgements

يود المؤلفون أن يشكروا جميع المشاركين على وقتهم ومشاركتهم.

Materials

Name	Company	Catalog Number	Comments
Alienware Laptop	Dell		High-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headset	Meta		VR headset
OpenBCI Cyton Daisy	OpenBCI		EEG system
OpenBCI Gel-free cap	OpenBCI		Gel-free cap for placing the EEG electrodes over the participant's scalp

References

Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, 1591-1609 (2011).
Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
Slater, M. . Implicit learning through embodiment in immersive virtual reality. , (2017).
Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865 (2023).
Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204 (2020).
Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909 (2012).
Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85 (2013).
Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895 (2017).
Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218 (2020).
Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329 (2019).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Explore More Articles

EEG

This article has been published

Video Coming Soon

Keep me updated:

Method Article