التقاط إيماءات الإصبع الديناميكية باستخدام تخطيط كهربية العضل السطحي عالي الدقة ورؤية الكمبيوتر

Summary

تقدم الورقة بروتوكولا شاملا لتسجيل تخطيط كهربية العضل اليدوي (EMG) وتتبع الأصابع البصري أثناء إيماءات الإصبع الطبيعية. تم تصميم البيانات المرئية لتكون بمثابة الحقيقة الأساسية لتطوير نماذج حسابية دقيقة قائمة على مخطط كهربية العضل للتعرف على إيماءات الإصبع.

Abstract

تعد إيماءات الأصابع عنصرا حاسما في التواصل البشري ، وعلى هذا النحو ، تتم دراسة التعرف على إيماءات الإصبع على نطاق واسع كواجهة بين الإنسان والحاسوب لأحدث الأطراف الاصطناعية وإعادة التأهيل الأمثل. يعتبر تخطيط كهربية العضل السطحي (sEMG) ، جنبا إلى جنب مع طرق التعلم العميق ، طريقة واعدة في هذا المجال. ومع ذلك ، غالبا ما تعتمد الأساليب الحالية على إعدادات التسجيل المرهقة وتحديد مواضع العقارب الثابتة ، مما يحد من فعاليتها في تطبيقات العالم الحقيقي. يقدم البروتوكول الذي نبلغ عنه هنا نهجا متقدما يجمع بين مخطط كهربية العضل السطحي القابل للارتداء ونظام تتبع الأصابع لالتقاط بيانات شاملة أثناء حركات اليد الديناميكية. تسجل الطريقة نشاط العضلات من مصفوفات الأقطاب الكهربائية المطبوعة الناعمة (16 قطبا كهربائيا) موضوعة على الساعد حيث يقوم الأشخاص بأداء الإيماءات في أوضاع اليد المختلفة وأثناء الحركة. تطالب التعليمات المرئية الأشخاص بأداء إيماءات محددة أثناء تسجيل مخطط كهربية العضل ومواضع الأصابع. يتيح تكامل تسجيلات مخطط كهربية العضل المتزامنة وبيانات تتبع الأصابع تحليلا شاملا لأنماط نشاط العضلات والإيماءات المقابلة. يوضح النهج المبلغ عنه إمكانات الجمع بين مخطط كهربية العضل وتقنيات التتبع المرئي كمورد مهم لتطوير أنظمة التعرف على الإيماءات البديهية وسريعة الاستجابة مع تطبيقات في الأطراف الاصطناعية وإعادة التأهيل والتقنيات التفاعلية. يهدف هذا البروتوكول إلى توجيه الباحثين والممارسين ، وتعزيز المزيد من الابتكار وتطبيق التعرف على الإيماءات في سيناريوهات ديناميكية وواقعية.

Introduction

تعد إيماءات اليد ضرورية في التواصل البشري ، مما يجعل التعرف على إيماءات الإصبع مجالا مهما للبحث عبر مجالات مثل التفاعل بين الإنسان والحاسوب ، والأطراف الاصطناعية المتقدمة^1،2،3،4 ، وتقنيات إعادة التأهيل^5،6. نتيجة لذلك ، حظي التعرف على إيماءات الإصبع باهتمام كبير لقدرته على تحسين أنظمة التحكم البديهية والأجهزة المساعدة. يظهر تخطيط كهربية العضل السطحي (sEMG) جنبا إلى جنب مع خوارزميات التعلم العميق كنهج واعد للغاية لالتقاط وتفسير هذه الإيماءات نظرا لقدرته على اكتشاف النشاط الكهربائي للعضلات المرتبط بحركات^{اليد 7،8،9،10،11،12،13،14،15}.

ومع ذلك ، على الرغم من هذه التطورات ، تواجه الأساليب الحالية قيودا في تطبيقات العالم الحقيقي. تتطلب معظم الأنظمة الحالية إعدادات تسجيل معقدة ومرهقة مع العديد من الأقطاب الكهربائية^{5،7،9،16،17} وتحديد المواقع بدقة^3،18 ، والتي غالبا ما يصعب تنفيذها خارج البيئات الخاضعة للرقابة. بالإضافة إلى ذلك ، تميل هذه الأنظمة إلى التركيز على أوضاع اليد الثابتة^{13،18،19،20،21} ، مما يحد من قدرتها على تفسير الإيماءات الديناميكية والسائلة التي تحدث في الأنشطة اليومية. يهدف البروتوكول إلى معالجة هذه القيود من خلال دعم التعرف على الإيماءات الديناميكية في ظروف أكثر طبيعية. ومن شأن هذه المنهجية أن تمكن من تطبيقات أكثر عملية وسهولة في الاستخدام في مجالات مثل الأطراف الاصطناعية وإعادة التأهيل، حيث يكون التفسير الطبيعي للإيماءات في الوقت الفعلي أمرا ضروريا.

لمواجهة هذه التحديات ، يتطلب تطوير خوارزميات أكثر دقة وقابلية للتكيف مجموعات بيانات تعكس الظروف الطبيعية واليومية^3،4. يجب أن تلتقط مجموعات البيانات هذه مجموعة واسعة من الحركات الديناميكية ، ومواضع العقارب المختلفة ، وكميات كبيرة من البيانات لضمان متانة النموذج. علاوة على ذلك ، يعد التباين بين مجموعات بيانات التدريب والاختبار أمرا بالغ الأهمية ، مما يسمح للنماذج بالتعميم عبر أوضاع اليد المختلفة وأنماط تنشيط العضلات والحركات. سيمكن دمج هذا التنوع في البيانات الخوارزميات من أداء التعرف على الإيماءات بشكل أكثر دقة في تطبيقات العالم الحقيقي اليومية²².

سيكون التغلب على هذه التحديات ضروريا للتطوير المستقبلي لأنظمة التعرف على الإيماءات أكثر عملية وقابلة للتطبيق على نطاق واسع. تنبع الدراسة والبروتوكول الموصوفان هنا من الحاجة إلى إعداد محمول وسهل الاستخدام يمكنه التقاط حركات اليد الديناميكية في الأماكن الطبيعية. تعد مجموعات البيانات الشاملة والخوارزميات المتقدمة أمرا بالغ الأهمية لإطلاق العنان الكامل لإمكانات sEMG والتعلم العميق في الواجهات بين الإنسان والحاسوب والأطراف الاصطناعية العصبية وتقنيات إعادة التأهيل. نتوقع أن يساهم هذا البروتوكول في هذا المجال من خلال تسهيل جمع البيانات الشامل لتمكين تطوير نماذج الخوارزمية التي تعمم عبر أوضاع اليد المتنوعة.

يكمن التحدي الكبير في التعرف على الإيماءات في حساسية إشارات sEMG لوضع اليد. بينما تركز العديد من الدراسات على أوضاع اليد الثابتة للتنبؤ بالإيماءات ، تتطلب تطبيقات العالم الحقيقي نماذج قادرة على التعرف على حركات الأصابع عبر أوضاع اليد المختلفة. عالجت الأساليب الحديثة هذا من خلال دمج رؤية الكمبيوتر كمرجع للحقيقة الأساسية ، مما يعزز دقة ومرونة هذه النماذج^15،19. بالإضافة إلى ذلك ، توفر النماذج الهجينة التي تدمج إشارات sEMG مع البيانات المرئية مزيدا من التحسينات في دقة التعرف عبر سيناريوهات متنوعة²³.

في هذا البروتوكول ، نقدم نهجا متزامنا لجمع البيانات يعزز التعرف الديناميكي على الإيماءات من خلال دمج كل من مخطط كهربية العضل وبيانات تتبع اليد في ظروف شبيهة بالعالم الحقيقي. على عكس الطرق التقليدية التي تقيد أداء الإيماءات في المواضع الثابتة ، يتضمن هذا البروتوكول الإيماءات التي يتم إجراؤها عبر أربعة أوضاع متميزة: اليد لأسفل ، واليد لأعلى ، واليد المستقيمة ، وتحريك اليد. تتعقب كاميرا التتبع اليدوي حركات اليد داخل منطقة تفاعلية ثلاثية الأبعاد، وتحدد عناصر اليد المميزة وتلتقط الحركات الديناميكية بدقة عالية. توفر مجموعة الأقطاب الكهربائية الناعمة المكونة من 16 قطبا كهربائيا موضوعة على الساعد لتسجيل نشاط العضلات تسجيلات مستقرة ولاسلكية دون إعاقة حركة المشاركين. توفر البيانات المتزامنة من هذين المصدرين أساسا شاملا لتطوير خوارزميات متقدمة للتعرف على الإيماءات قادرة على العمل في ظروف العالم الحقيقي. يعالج النهج على وجه التحديد قيود الإعدادات الحالية من خلال تسهيل الحركة الحرة وتسجيل الإشارات المستقرة في سيناريوهات واقعية. يدعم هذا التقدم تقنيات التعرف على الإيماءات للتطبيقات في الأطراف الاصطناعية وإعادة التأهيل والتقنيات التفاعلية ، حيث يكون التحكم البديهي والمرونة ضروريين.

Protocol

تم تجنيد مشاركين أصحاء (ن = 18 عاما، تتراوح أعمارهم بين 18 و 32 عاما، ذكورا وإناثا) لهذه الدراسة، التي تمت الموافقة عليها من قبل مجلس مراجعة الأخلاقيات في جامعة تل أبيب (رقم الموافقة 0004877-3). يلتزم البروتوكول بإرشادات مجلس الإدارة للبحث الذي يشمل مشاركين بشريين. تم الحصول على الموافقة المستنيرة من جميع المشاركين وفقا للمتطلبات المؤسسية.

1. إحاطة المجرب

1. اطلب من المشاركين أداء سلسلة من 14 إيماءة إصبع مميزة (انظر الشكل 1) وتكرار كل إيماءة 7x في تسلسل عشوائي. اطلب منهم الحفاظ على كل إيماءة بقوة لمدة 5 ثوان ، متبوعة بفترة راحة 3 ثوان. المدة الإجمالية لكل جلسة هي 13:04 دقيقة.
2. صورة كبيرة للإيماءة المعروضة على شاشة الكمبيوتر مصحوبة بمؤقت للعد التنازلي للإشارة إلى أداء الإيماءات. خلال فترة الراحة ، اطلب من المشارك إلقاء نظرة على الصورة الصغيرة للإيماءة القادمة المعروضة ، جنبا إلى جنب مع مؤقت يشير إلى وقت الراحة المتبقي. يشير صوتان متميزان إلى بداية ونهاية كل إيماءة ، مما يساعد المشاركين على الاستعداد للإيماءة التالية.
3. اطلب من كل مشارك تنفيذ الإجراء في أربعة أوضاع مختلفة ، على غرار²² المعروضة سابقا:
   الموقف 1: واقف المشارك. اليد ، مستقيمة ، ومريحة.
   الموقف 2: مشارك يجلس على كرسي بذراعين. تمد اليد إلى الأمام عند 90 درجة ، راحة اليد (يمكن استخدام جهاز دعم).
   الموقف 3: اليد مطوية لأعلى (مع وضع الكوع على الكرسي بذراعين) ، راحة اليد.
   الموضع 4: يختار المشارك أحد المواضع السابقة ويمكنه تحريك اليد بحرية داخل نطاق اكتشاف الكاميرا، ويتم مراقبته في الوقت الفعلي على شاشة الكمبيوتر (انظر الخطوة 1.4 لمزيد من التفاصيل).
4. في كل جلسة ، اجعل المشارك يرتدي جهاز تخطيط كهربية العضل على الذراع ووضع كاميرا تتبع يدوية نحوه. اطلب من المشاركين التأكد من أن راحة يدهم تواجه الكاميرا دائما. يتم عرض برنامج تتبع اليد على شاشة منفصلة حتى يتمكن كل من المشارك والموصل من التحقق من التعرف على اليد بشكل صحيح.
5. لكل موضع ، اضبط موضع كاميرا تتبع اليد وزويته لضمان التعرف الدقيق على اليد. بالإضافة إلى ذلك ، قم بتقييم جودة الإشارات من الأقطاب الكهربائية باستخدام البرنامج النصي اللطيفي.

الشكل 1: التمثيل التخطيطي لعملية جمع البيانات. تم تجهيز الهدف بمصفوفة أقطاب كهربائية ناعمة موضوعة على الساعد (3) ، والتي تلتقط إشارات تخطيط كهربية العضل السطحية عالية الدقة (sEMG) أثناء أداء الإيماءات. يقوم الموضوع بتنفيذ 14 إيماءة إصبع مختلفة معروضة بترتيب عشوائي على شاشة الكمبيوتر (4). يتم بث بيانات EMG لاسلكيا إلى جهاز كمبيوتر شخصي (PC) من وحدة الحصول على البيانات (DAU؛ 1). في الوقت نفسه ، يتم التقاط البيانات الحركية لليد (HKD) التي تمثل زوايا مفصل الإصبع باستخدام كاميرا تتبع يدوية (2). الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

2. إنشاء وحدات الحصول على البيانات

1. افتح مستودع Github في https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git واتبع الإرشادات التفصيلية في قسم التثبيت. حدد موقع data_collection.py ملف Python الأساسي في المجلد finger_pose_estimation / data_acquisition. استخدم هذا لتشغيل التجربة ، واستخدم البرنامج النصي spectrogram.py لتقييم جودة إشارة مخطط كهربية العضل قبل بدء التجربة ، والبرنامج النصي data_analysis.py لتصفية الإشارة وتجزئتها.
2. تأكد من أن وحدة الحصول على بيانات EMG (DAU) مشحونة بالكامل قبل كل جلسة وقم بتشغيلها.
3. قم بتوصيل DAU بجهاز الكمبيوتر عبر Bluetooth باستخدام التطبيق المخصص. اضبط معدل اتصال Bluetooth على 500 عينة في الثانية (S / ثانية).
4. قم بتثبيت وفتح برنامج كاميرا التتبع اليدوي على جهاز الكمبيوتر. قم بتوصيل كاميرا التتبع اليدوي بجهاز الكمبيوتر باستخدام كابل.
5. استخدم شاشة واحدة لعرض برنامج كاميرا التتبع اليدوي دائما. بهذه الطريقة ، سيتمكن الموصل والمشارك من التأكد من أن الكاميرا تتعرف على اليد بشكل صحيح أثناء التجربة.

3. إعداد المشاركين

1. مقدمة وموافقة
   1. اشرح بإيجاز أهمية الدراسة والإجراء التجريبي للمشارك. الحصول على موافقة مستنيرة باتباع الإرشادات المؤسسية للبحث الذي يشمل البشر.
2. وضع القطب الكهربائي
   1. اطلب من المشارك ثني يده اليمنى عن طريق تشكيل قبضة قوية. أثناء ثني المشارك ، قم بجس الساعد عن طريق الضغط برفق على طول العضلة لتحديد المكان الذي يكون فيه تنشيط العضلات أكثر بروزا. يمكن التعرف على هذا الموقع بسهولة من خلال الشعور بالمنطقة التي تنتفخ فيها العضلات أثناء الانقباض.
   2. اختياري: جهز منطقة الجلد المحددة عن طريق التنظيف بقطعة قماش خالية من ألياف الكحول أو جل تحضيري أو ماء وصابون. اترك المنطقة تجف في الهواء. تجنب التنظيف المفرط بالكحول لأنه قد يجفف الجلد. هذه الخطوة اختيارية. انظر قسم المناقشة.
   3. انزع الطبقة الواقية البيضاء من مجموعة أقطاب مخطط كهربية العضل وقم بتوصيل الأقطاب الكهربائية بعناية بمنطقة الساعد المحددة كما هو محدد في الخطوة 3.2.1. (انظر الشكل 1). تأكد من أن الشريط اللاصق أقرب إلى راحة اليد. قم بتثبيت مجموعة الأقطاب الكهربائية على الجلد عن طريق النقر برفق.
   4. بمجرد توصيل مجموعة الأقطاب الكهربائية بالجلد ، انزع طبقة الدعم الشفافة.
   5. أدخل بطاقة موصل صفيف القطب الكهربائي في مقبس موصل DAU. قم بتوصيل DAU بالشريط اللاصق بجوار الأقطاب الكهربائية.
   6. قم بتشغيل Spectrogram.py البرنامج النصي اللطيفي المخصص ل Python للتحقق من جودة الإشارة في الوقت الفعلي. ستظهر نافذة تعرض البيانات الأولية (على اليسار) ومجال التردد (على اليمين) لجميع الأقطاب الكهربائية (انظر الشكل التكميلي 1 للرجوع إليها).
      1. تحقق من اكتشاف جميع الأقطاب الكهربائية وعملها بشكل صحيح وأن الإشارة نظيفة من الضوضاء الزائدة وضوضاء 50 هرتز.
      2. إذا لزم الأمر ، قلل ضوضاء 50 هرتز عن طريق الابتعاد عن الأجهزة الإلكترونية التي قد تتسبب في حدوث تداخل وفصل الأجهزة غير الضرورية عن الطاقة. امنح الوقت لاستقرار الإشارة.
      3. تحقق من التقاط إشارة مخطط كهربية العضل: اطلب من المشارك وضع مرفق على الكرسي بذراعين وتحريك أصابعه ، ثم الاسترخاء. تأكد من عرض إشارة EMG واضحة متبوعة بضوضاء أساسية ثابتة.
      4. أغلق البرنامج النصي بمجرد اكتمال التحقق من الإشارة.
3. مراجعة الإيماءات ووضع اليد
   1. افتح مجلد الصور بالنقر فوق Finger_pose_estimation > Data_acquisition. راجع صور الإيماءات مع المشاركين.
   2. تأكد من فهمهم لكل حركة ويمكنهم أدائها بدقة. اشرح مواضع اليد الأربعة بوضوح للمشارك.
   3. إرشاد المشارك حول كيفية إمساك اليد قبل كل جلسة ، والتأكد من الموقف والموضع المناسبين.
4. تحديد موضع المشاركين والكاميرا
   1. بالنسبة لوضع اليد 1 ، اطلب من المشارك الوقوف بشكل مستقيم على بعد حوالي 1 متر من الطاولة. اطلب من المشارك أن يمسك بيده اليمنى لأسفل ، بشكل مستقيم ومريح ، مع توجيه راحة اليد لكاميرا تتبع اليد. ثبت كاميرا التتبع اليدوي على الطاولة بعصا سيلفي ووجهها لمواجهة يد المشارك.
   2. بالنسبة لوضع اليد 2 ، اطلب من المشارك الجلوس بشكل مريح على كرسي بذراعين على بعد 40-70 سم من الشاشات. اطلب من المشارك مد اليد اليمنى للأمام عند 90 درجة مع راحة يد مريحة تواجه كاميرا تتبع اليد. استخدم جهاز دعم ، إذا لزم الأمر ، لتثبيت اليد. ضع كاميرا التتبع اليدوي على الطاولة متجهة لأعلى.
      ملاحظة: نظرا لأنه يطلب من المشارك البقاء في وضع ثابت ، فمن المهم العثور على وضع مريح يمكنه الحفاظ عليه طوال الجلسة.
   3. بالنسبة لوضع اليد 3، اطلب من المشارك الجلوس كما هو موضح في الخطوة 3.4.2. اطلب من المشارك طي اليد لأعلى أثناء إراحة الكوع على الكرسي بذراعين. يجب استرخاء راحة اليد ، ويجب على المشارك مواجهة كاميرا تتبع اليد. قم بتثبيت كاميرا التتبع اليدوي على الطاولة المواجهة ليد المشارك (استخدم عصا سيلفي إذا لزم الأمر). تأكد من أن وضع المشارك هو الأمثل لعرض الشاشات والتواجد في مجال رؤية الكاميرا.
   4. راقب الشاشة باستمرار وتعرض بيانات تتبع اليدين للتأكد من أن الكاميرا تكتشف اليد والأصابع طوال التجربة. اختياري: تحقق من جودة إشارة EMG (الخطوة 3.2.6.) في كل موضع عقرب قبل بدء التجربة.

4. جمع البيانات

1. تشغيل التجربة
   1. افتح Python وقم بتحميل data_collection.py. تحقق من تعيين المعلمات num_repetition و gesture_duration و rest_duration حسب الرغبة.
      1. num_repetition: حدد عدد مرات عرض كل صورة إيماءة. بالنسبة لهذه التجربة ، اضبطها على 7 ، مما يعني أن كل صورة تظهر 7 مرات. gesture_duration: حدد المدة (بالثانية) التي يقوم فيها المشارك بإيماءة اليد. في هذه التجربة، قم بتعيينها على 5 ثوان، مع تحديد المدة التي يتم فيها عرض كل صورة إيماءة. Rest_duration: حدد المدة (بالثانية) التي يريح فيها المشارك راحة يده بين الإيماءات. في هذه التجربة ، اضبطها على 3 ثوان.
   2. اضبط موضع كاميرا تتبع اليد وزويته على موضع يد المشارك.
   3. قم بتشغيل البرنامج النصي data_collection.py. ستظهر نافذة لإدخال تفاصيل المشارك (الرقم التسلسلي والعمر والجنس ورقم الجلسة وموضع اليد). أكمل هذه المعلومات واضغط على موافق لبدء التجربة تلقائيا.
2. جمع البيانات
   1. لكل جلسة ، قم بتسجيل مخطط كهربية العضل وبيانات تتبع اليد التي يتم حفظها تلقائيا. كرر التجربة 4 مرات لكل مشارك ، مرة واحدة لكل وضع يد.

5. نهاية التجربة ومعالجة بيانات ما بعد التجربة

1. عند اكتمال التجربة، يتم حفظ البيانات تلقائيا. تأكد من حفظ البيانات في مجلد يحمل الرقم التسلسلي للمشارك. يتم تخزين كل جلسة في مجلد فرعي يسمى S# (على سبيل المثال، S1)، مع أربعة مجلدات فرعية لكل موضع يد P# (P1 وP2 وP3 وP4). حجم المجلد لجلسة واحدة هو حوالي 160 ميغابايت.
2. إذا أكمل أحد المشاركين جلسات متعددة، فتأكد من حفظ جميع البيانات في مجلد الجلسة المقابل (على سبيل المثال، S1 وS2).
3. ملفات البيانات
   تأكد من أن كل مجلد لموضع اليد (P#) يحتوي على الملفات التالية: بيانات EMG المحفوظة في ملف EDF ، المسماة على النحو التالي: fpe_pos{رقم الموضع}_ {رقم الموضوع} _S {رقم الجلسة} _rep0_BT ؛ بيانات التتبع اليدوي المحفوظة في ملف CSV ، المسمى fpe_pos{رقم الموضع} _ {رقم الموضوع} _S {رقم الجلسة} _rep0_BT_full ؛ وملف سجل ، log.txt ، يحتوي على بيانات تعريف حول الجلسة.
4. معالجة البيانات
   ملاحظة: يمكن للمستخدم اختيار كيفية متابعة تحليل الإشارة والأدوات التي يجب استخدامها. هنا ، نقدم برنامجا نصيا لإجراء تصفية الإشارات وتجزئة البيانات في Python. عند استخدام Python ، تأكد من تثبيت جميع التبعيات (على سبيل المثال ، Numpy و Pandas و SciPy و MNE و Sklearn).
   1. افتح Python ، وقم بتحميل data_analysis.py وتشغيل البرنامج النصي.
   2. سيظهر الطلب في وحدة التحكم لتوفير المعلمات الضرورية لمعالجة البيانات: المسار إلى ملف EMG ، والبيانات الحركية من المسار إلى اليد ، والمسار حيث سيتم حفظ البيانات المعالجة ، ومعدل أخذ العينات بالهرتز ، ومدة النافذة بالمللي ثانية ، والفاصل الزمني للخطوات بالمللي ثانية.
   3. بعد هذه الخطوة ، سيقوم البرنامج النصي بمعالجة البيانات.
   4. تصفية إشارة EMG: قم بتشغيل البرنامج النصي على النحو الوارد أعلاه. يقوم البرنامج النصي أولا بتصفية إشارة sEMG عن طريق تطبيق مرشح Butterworth عالي التمرير من الدرجة الرابعة مع قطع 20 هرتز لإزالة الإشارات غير EMG ، ثم مرشح الشق لإزالة التوافقيات 50 هرتز و 100 هرتز. بالإضافة إلى ذلك ، يطبق البرنامج النصي تطبيع إشارة EMG.
   5. مخطط كهربية العضل وبيانات هونج كونج وتجزئة الإيماءات الموجهة: قم بتشغيل البرنامج النصي على النحو الوارد أعلاه. يطبق البرنامج النصي التجزئة ، باستخدام تقنية النافذة المتدحرجة المحددة من خلال مدة النافذة المحددة والفاصل الزمني للخطوة. في هذه التجربة ، اضبطها على 512 و 2 مللي ثانية ، على التوالي. ثم يقوم البرنامج النصي بتحويل تنظيم قناة sEMG إلى تكوين شبكة مكانية 4 × 4 مع الحفاظ على تخطيط مصفوفة الأقطاب الكهربائية. أخيرا ، يقوم البرنامج النصي بإنشاء قاموس يحتوي على بيانات وصفية كملف مخلل.
   6. خطوات تنظيف البيانات والتحقق من صحتها
      1. تحديد واستبعاد المقاطع التي تحتوي على عناصر أو ضوضاء أو تسميات إيماءات غير متناسقة من مجموعة البيانات.
      2. ضمان اكتمال المقاطع والاستمرارية الزمنية عبر النوافذ للحفاظ على موثوقية البيانات.
      3. تحقق من بيانات الإيماءات مقابل HKD للتأكد من الاتساق. قم بإزالة النوافذ التي تعرض أنماط الإيماءات التي تنحرف عن معايير جلسة عمل HKD.
      4. اكتشاف وتجاهل المقاطع الخارجية التي تفشل في التوافق مع الأنماط الحركية المتوقعة للجلسة.
      5. إجراء مزيد من تحليل البيانات باستخدام خوارزميات متقدمة. هذه غير متوفرة في البروتوكول الحالي.

النتائج

تتكون مجموعة البيانات من مكونين متزامنين بالوقت: مجموعة بيانات EMG ذات 16 قناة وبيانات من نظام كاميرا تتبع يدوي. تلتقط بيانات مخطط كهربية العضل المكونة من 16 قناة نشاط العضلات عن طريق تسجيل الإشارات الكهربائية من عضلات مختلفة بمرور الوقت. يوفر نظام تتبع اليد 16 قناة من البيانات المقابلة للنقاط الرئيسية في نموذج الهيكل العظمي لليد. في حين أن النموذج يحتوي على 21 نقطة ، باستثناء المعصم ، تم تقليل هذا الرقم إلى 16 بسبب قيود الحركة²⁴. تم جمع مخطط كهربية العضل والبيانات المرئية عن طريق تشغيل عمليتين منفصلتين على نفس الكمبيوتر أثناء التسجيل لإنشاء التزامن. تم استخدام طابع زمني للإشارة إلى بداية كل عملية ، مما يسمح لرمز تحليل البيانات بمحاذاة نشاط العضلات وبيانات حركة اليد في نهاية التسجيل. تم حفظ التعليقات التوضيحية للطابع الزمني تلقائيا في كل من ملفات EDF و CSV ، مما يشير إلى الوقت المحدد الذي تم فيه توجيه إيماءات إصبع معينة وتسهيل المحاذاة أثناء تحليل البيانات. تتميز إشارة EMG المفلترة (مرشح التمرير العالي من الدرجة الرابعة من Butterworth) بخط أساس منخفض (مناطق مظللة باللون الرمادي) ، والتي تقع عادة في نطاق 3-9 μV²⁵. يتم ملاحظة خط الأساس هذا عندما تكون يد الشخص ثابتة والعضلات في حالة راحة. ومع ذلك ، إذا كانت قوة العضلات موجودة حتى في وضع الراحة ، فيمكن اكتشاف إشارة مخطط كهربية العضل مميزة. عادة ما تظهر القطع الأثرية الميكانيكية الناتجة عن الحركة في نطاق 10-20 هرتز ويجب تصفيتها وفقا لذلك. وقد تشير قيم خط الأساس المرتفعة بشكل كبير إلى تداخل خط Hz 50 وينبغي تجنبه أثناء مرحلة الإعداد التجريبي. في الحالات التي تستمر فيها ضوضاء معتدلة 50 هرتز ؛ يتم تطبيق مرشح الشق. غالبا ما تظهر القطع الأثرية الحادة للحركة ، التي يصعب إزالتها ، على شكل طفرات واضحة عالية السعة في الإشارة (انظر علامة النجمة في الشكل 2 أ). يختلف اتساع إشارة مخطط كهربية العضل عبر المصفوفة المكونة من 16 قطبا كهربائيا ، مما يعكس التوزيع المكاني لنشاط العضلات على المنطقة المقاسة. يوفر هذا التباين نظرة ثاقبة حول عدم تجانس تقلص العضلات أثناء إيماءات اليد.

توفر كاميرا تتبع اليد معلومات مباشرة عن زوايا الإصبع (البيانات الحركية اليدية ، HKD) ، والتي من المتوقع أن ترتبط ارتباطا وثيقا بإشارات مخطط كهربية العضل المسجلة. أثناء الإيماءات ، زوايا الإصبع في النطاق الطبيعي²⁶ ، اعتمادا على الإيماءة المحددة. عندما يكون المسار المرئي بين كاميرا التتبع اليدوي واليد دون عائق ، تكون الإشارة الناتجة مستقرة ودقيقة ، كما هو موضح في الشكل 2. ومع ذلك ، في الحالات التي يفقد فيها الاتصال البصري أو عندما يواجه النظام قيودا فنية ، قد يصبح HKD غير منتظم ، ويعرض قفزات بين القيم غير الصحيحة. وينبغي التقليل إلى أدنى حد من هذه البيانات الشاذة أثناء جمع البيانات وتجاهلها في التحليل النهائي للحفاظ على سلامة النتائج.

HKD بديهي ويوفر مقارنة مباشرة مع الإيماءات الفعلية التي يتم إجراؤها. يظهر تباينا منخفضا بين الموضوعات وعبر أوضاع اليد المختلفة. في المقابل ، تميل بيانات مخطط كهربية العضل إلى الاختلاف بشكل كبير بين الأفراد بسبب الاختلافات التشريحية مثل حجم اليد ونمو^{العضلات 27}. بالإضافة إلى ذلك ، يمكن ملاحظة التباين بين الأيدي المهيمنة وغير المهيمنة. يمكن معالجة هذا التباين الخاص بالموضوع أثناء التحليل دون اتصال.

في الشكل 2 ، من الواضح أن كلا من EMG و HKD يتم إزاحيهما بالنسبة إلى مشغل الإيماءة الموجه. ينشأ هذا التناقض بسبب وقت الاستجابة وتنفيذ الحركة الطبيعية²⁸. في مهام الانحدار ، يمكن أن يساهم هذا التباين في ثراء البيانات ، بينما في مهام التصنيف ، يمكن إدارتها باستخدام نهج نسبة الاحتمالية المعممة ، كما هو مطبق في سيناريوهات مماثلة²⁸.

الشكل 2: مخطط كهربية العضل التمثيلي و HKD أثناء اختطاف الأصابع. تم تسجيل إشارات تخطيط كهربية العضل السطحية (sEMG) والبيانات الحركية لليد (HKD) أثناء الاختطاف الديناميكي للإصبع والراحة التي يتم إجراؤها أثناء وضع اليد 1 (اليد لأسفل ، مستقيمة ، ومريحة) بواسطة مشارك واحد. (أ) إشارات مخطط كهربية العضل المفلترة من 16 قناة كدالة للوقت. تشير العلامة النجمية (*) إلى قطعة أثرية ميكانيكية تم اكتشافها في تسجيل مخطط كهربية العضل للقناة 5. (ب) HKD ، تظهر زوايا المفصل كدالة للوقت. يتم قياس زوايا المفاصل في مفاصل مختلفة: شبه المنحرف (TMC) ، وشط المفاصل (MCP) ، وبين الكتائب القريبة (PIP). يشار إلى مراحل التجربة (الراحة والاختطاف) على طول المحور السيني. الرجاء النقر هنا لعرض نسخة أكبر من هذا الرقم.

وأظهرت هذه النتائج التمثيلية فائدة بيانات مخطط كهربية العضل وفيروس هونغ كونغ المتزامنة في التقاط إيماءات اليد. تسمح محاذاة إشارات مخطط كهربية العضل مع HKD المقابلة بتعيين نشاط العضلات لحركات أصابع معينة. عند إنشاء نموذج تنبؤي ، يمكن للباحثين استخدام HKD كحقيقة أساسية ، والتحقق بشكل متكرر من تنبؤات الإيماءات المستندة إلى EMG وتحسينها. يسلط هذا النهج الضوء على قابلية التطبيق العملي للبروتوكول ويقترح الحاجة إلى مزيد من البحث في بيئات أكثر طبيعية.

الشكل التكميلي 1: نوافذ المخطط الطيفي المعروضة أثناء خطوة التحقق من الإشارة. تعرض اللوحات اليسرى بيانات EMG الأولية ، بينما تعرض اللوحات اليمنى نطاقات التردد المكتشفة. (أ) مثال على إشارة EMG صاخبة جدا مع تداخل قوي 50 هرتز و100 هرتز. (ب) مثال على نفس تسجيل إشارة مخطط كهربية العضل بعد إبعاد المشارك عن الأجهزة الكهربائية، مما يؤدي إلى إشارة مخطط كهربية العضل نظيفة بأقل قدر من التداخل. الرجاء النقر هنا لتنزيل هذا الملف.

Discussion

يحدد البروتوكول المقدم في هذه الدراسة الخطوات الحاسمة والتعديلات واستراتيجيات استكشاف الأخطاء وإصلاحها التي تهدف إلى تعزيز التعرف على إيماءات اليد من خلال الجمع بين إشارات sEMG و HKD. وهو يعالج القيود الرئيسية ويقارن هذا النهج بالبدائل القائمة، ويسلط الضوء على تطبيقاته المحتملة في مختلف مجالات البحث. أحد أهم جوانب البروتوكول هو ضمان تحديد المواقع الصحيحة ومحاذاة كاميرا التتبع اليدوي. يعتمد التقاط الإيماءات الدقيق بشكل كبير على زاوية الكاميرا وبعدها بالنسبة إلى يد المشارك. حتى الانحرافات الطفيفة في وضع الكاميرا يمكن أن تؤدي إلى عدم دقة التتبع ، مما يقلل من دقة بيانات الإيماءات. يجب تعديل هذه المحاذاة بعناية لكل مشارك وموضع اليد لضمان جمع البيانات بشكل متسق وموثوق. بالإضافة إلى ذلك ، من الأهمية بمكان أن يكون المشاركون على دراية جيدة بالبروتوكول لمنع البيانات غير المرغوب فيها - حيث يتم تنفيذ الإيماءات بشكل غير صحيح أو غير متوافقة مع التدفق التجريبي. يمكن أن يؤدي التأكد من أن المشاركين مرتاحين ومطلعين على الإيماءات والإعداد التجريبي إلى تقليل ضوضاء البيانات وتحسين جودة التسجيلات.

التحدي الشائع في هذا النوع من الدراسات هو التلوث الضوضائي في كل من sEMG و HKD. إشارات sEMG حساسة بشكل خاص لعوامل مثل إجهاد العضلات وقطع أثرية الحركة والضوضاء البيئية مثل التداخل الكهرومغناطيسي. تعد تقنيات المعالجة المسبقة ، مثل تصفية تمرير النطاق ، ضرورية لتقليل الضوضاء وتحسين وضوح الإشارة. يمكن أن يؤدي وضع القطب الكهربائي بشكل صحيح وتوجيه المشاركين للحفاظ على استرخاء العضلات أثناء مراحل الراحة إلى تخفيف القطع الأثرية للحركة. على الرغم من هذه الاحتياطات ، فإن بعض التباين في إشارات sEMG أمر لا مفر منه بسبب الاختلافات الفردية في التشريح وقوة اليد وأنماط تنشيط العضلات. يمكن معالجة هذا التباين من خلال خوارزميات مرنة قادرة على تطبيع هذه الاختلافات عبر الموضوعات والظروف.

أحد العوامل الرئيسية في تحقيق إشارات sEMG عالية الجودة هو التحقق الأولي من الإشارة. تتطلب البروتوكولات التقليدية التي تستخدم أقطاب الهلام تحضير الجلد ، مثل التقشير أو التنظيف بالكحول ، لتحسين وضوح الإشارة. ومع ذلك ، في دراسة سابقة أظهرنا أنه مع الأقطاب الكهربائية الجافة ، قد لا يؤثر تحضير الجلد بشكل كبير على جودة^{الإشارة 25}. في هذا البروتوكول ، يكون تنظيف البشرة اختياريا وبالتالي يبسط العملية. هناك مشكلة أخرى متعلقة بالجلد تؤثر على جودة الإشارة وهي شعر الذراع المفرط والسميك. في مثل هذه الحالات ، نقترح إما حلق المنطقة أو استبعاد الموضوع من الدراسة.

أحد التحديات الحاسمة في استخدام sEMG للتعرف على الإيماءات هو حساسيته لوضع اليد. حتى عند تنفيذ نفس الإيماءة ، يمكن أن تؤدي الاختلافات في اتجاه اليد إلى أنماط مختلفة لإشارات مخطط كهربية العضل. لمعالجة هذه المشكلة ، تعد نماذج التعلم الآلي التي يمكن أن تستوعب التباين في أوضاع اليد ضرورية²². يجب تدريب هذه النماذج ببيانات من أوضاع اليد المتعددة لتحسين المتانة وقابلية التعميم. تعد مزامنة البيانات المرئية وبيانات sEMG اعتبارا مهما آخر. يعد التوقيت المتسق للإيماءات أمرا بالغ الأهمية لتجنب التناقضات بين تنفيذ الإيماءات وتسجيل البيانات. يستخدم هذا البروتوكول العد التنازلي المرئي والإشارات السمعية للمساعدة في ضمان استخدام خطوات التوقيت وإعادة المعايرة الدقيقة عند الضرورة لتصحيح أي اختلال في المحاذاة أثناء جمع البيانات.

على الرغم من نقاط قوته ، فإن هذا البروتوكول له العديد من القيود. يتمثل أحد القيود الرئيسية في مجال الرؤية المحدود لكاميرا التتبع اليدوي ، مما يتطلب بقاء أيدي المشارك ضمن نطاق اكتشاف الكاميرا. هذا يقيد التحليل بمجموعة صغيرة من الحركات. بالنسبة للتجارب خارج المختبر ، ستكون هناك حاجة إلى تصوير فيديو أكثر تعقيدا أو استخدام قفازات ذكية. يشكل إجهاد المشاركين أيضا تحديا أثناء الجلسات الأطول ، مما قد يؤثر على دقة الإيماءات وتنشيط العضلات ، مما قد يؤدي إلى تدهور جودة بيانات مخطط كهربية العضلة. للتخفيف من هذه التأثيرات ، قد يكون من الضروري الحد من طول الجلسة أو إدخال فترات راحة لتقليل التعب. بالإضافة إلى ذلك ، يمكن أن يؤدي تداخل خط الطاقة إلى إدخال ضوضاء في إشارات sEMG ، خاصة عندما يكون المشاركون قريبين من جهاز الكمبيوتر لالتقاط البيانات. يمكن للنسخة اللاسلكية من النظام أن تقلل من هذا التداخل من خلال السماح للمشاركين بالابتعاد عن الكمبيوتر.

ينبع أحد القيود المنهجية الكبيرة لاكتشاف إيماءات الإصبع المستند إلى مخطط كهربية العضل من التباين العالي بين الموضوعات في إشارات sEMG ، الأمر الذي يتطلب تطوير نماذج مخصصة لكل مشارك. هذا النهج الخاص بالموضوع ، على الرغم من أنه أكثر دقة ، إلا أنه يحد من قابلية توسع البروتوكول ويتطلب معايرة إضافية ووقت تدريب لكل مستخدم جديد. تظهر تدفقات بيانات EMG و HKD اختلافات طفيفة في التزامن الزمني بسبب تسجيل العملية المزدوجة. هذه التناقضات في التوقيت لها تأثير ضئيل على تحليل الإيماءات الثابتة نظرا لأن الأوضاع التي يتم الحفاظ عليها مستقرة مؤقتا. توفر الطبيعة المستمرة للإيماءات الثابتة وقتا كافيا لكل من مخطط كهربية العضل والميزات الحركية للاستقرار ، على عكس الإيماءات الديناميكية ، التي تتطلب تزامننا أكثر دقة.

الميزة الرئيسية لهذه الطريقة هي مرونتها في التقاط الإيماءات. على عكس الأنظمة الأخرى التي تتطلب إعدادات صارمة ومعلمات إيماءات صارمة ، يستوعب هذا البروتوكول مواضع اليد الديناميكية والمرنة¹⁹. هذه المرونة مفيدة بشكل خاص في الدراسات التي تهدف إلى تحليل مجموعة واسعة من الحركات ، مما يجعلها أكثر قابلية للتكيف مع تطبيقات العالم الحقيقي. علاوة على ذلك ، يعد هذا البروتوكول فعالا من حيث التكلفة مقارنة بأنظمة التقاط الحركة وأنظمة sEMG الأكثر تقدما ، والتي غالبا ما تتضمن إعدادات معقدة²⁹. من خلال دمج كاميرا التتبع اليدوي مع خوارزميات sEMG شبه الآلية ، توفر هذه الطريقة بديلا قابلا للتطبيق لدراسات التعرف على الإيماءات دون المساس بجودة البيانات. بالإضافة إلى ذلك ، فإن إمكانات النظام لمعالجة البيانات في الوقت الفعلي تفتح إمكانيات للتغذية الراجعة الفورية في تطبيقات مثل الأطراف الاصطناعية العصبية وإعادة التأهيل ، حيث تكون الاستجابة في الوقت الفعلي ضرورية. هذا البروتوكول له آثار كبيرة على العديد من المجالات ، وخاصة الأطراف الاصطناعية العصبية. يعد التنبؤ الدقيق بإيماءات اليد من إشارات sEMG أمرا بالغ الأهمية للتحكم في الأطراف الاصطناعية ، كما أن المرونة في وضع اليد التي توفرها هذه الطريقة تجعلها مرشحا مثاليا للأجهزة الاصطناعية في الوقت الفعلي. في إعادة التأهيل ، يمكن استخدام هذا البروتوكول لمراقبة وتعزيز التعافي الحركي لدى المرضى الذين يعانون من إعاقات في اليد أو الأصابع. من خلال تحليل أنماط تنشيط العضلات أثناء أداء الإيماءات ، يمكن استخدام هذا النظام لتخصيص تمارين إعادة التأهيل وفقا للاحتياجات الفردية ، مما يوفر نهجا شخصيا للتعافي الحركي. بالنسبة للتفاعل بين الإنسان والحاسوب (HCI) ، تتيح هذه الطريقة أنظمة تحكم أكثر طبيعية قائمة على الإيماءات ، مما يحسن بديهية وفعالية واجهات المستخدم. أخيرا ، يمكن تطبيق البروتوكول على الدراسات المريحة لتقييم كيفية تأثير أوضاع وإيماءات اليد المختلفة على نشاط العضلات والتعب ، مما قد يؤدي إلى تقدم في تصميم مكان العمل وبيئة العمل للمستخدم.

لضمان قوة انكماش متسقة عبر المشاركين ، يمكن للدراسات المستقبلية تنفيذ قفاز بمقاومات حساسة للقوة لقياس القوة مباشرة. سيسمح ذلك ببذل جهد موحد عبر الموضوعات ، مما يحسن موثوقية بيانات مخطط كهربية العضل. بالإضافة إلى ذلك ، فإن دمج قياس القوة هذا كملصق في حركية المفاصل من شأنه أن يوفر تمثيلا أكثر تفصيلا للحالة الداخلية للعضلة ، مما قد يثري تحليل وظيفة العضلات وأنماط الحركة. لن يعزز هذا النهج اتساق البيانات فحسب ، بل سيوفر أيضا رؤى أعمق حول العلاقة بين تقلص العضلات وحركة المفاصل.

في الختام ، يوفر هذا البروتوكول نهجا جديدا ومرنا للتعرف على إيماءات اليد مع تطبيقات واسعة عبر الأطراف الاصطناعية العصبية وإعادة التأهيل و HCI وبيئة العمل. على الرغم من أن النظام له قيود ، إلا أن مرونته وفعاليته من حيث التكلفة وإمكانية استخدامه في الوقت الفعلي تمثل تقدما كبيرا مقارنة بالأساليب الحالية. نقاط القوة هذه تجعلها أداة واعدة لمزيد من التطوير والابتكار في تقنيات التعرف على الإيماءات.

Materials

Name	Company	Catalog Number	Comments
Adjustable Selfie Stick			Used to position and angle the hand-tracking camera in the desired orientation for optimal data capture during the experiment.
Alcohol pad			To clean the area for electrode placement.
Data acquisition unit (DAU)	X-trodes Ltd.	XTR-BT V1.3	Realtime compatible DAU 2.0.17 or 4.0.1
Finger Gestures Recognition library			https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2	Ultraleap	129-SP4-00005-03	Hand-tracking camera
Long Type-C to Type-C cable			Connection of the hand-tracking camera to the PC.
PC Monitors			One for guidelines, one for viewing the hand-tracking camera data
Personal Computer (PC)	Windows		Windows 10+; Processors: Inteli7 processor. BT receiver.
Python code			A script enabling seamless data streaming and recording up to 500 S/s when DAU is connected to PC via Bluetooth
Ultraleap Camera Python API	Ultraleap		Python API and instructions from Ultraleap’s GitHub repository (https://github.com/ultraleap/leapc-python-bindings) used to collect data from the Ultraleap unit during the experiment
Ultraleap Hyperion	Ultraleap		Tracking software
XTR EXG16	X-trodes Ltd.	XTELC0003405RM	16-channel wearable dry electrode array patch for EMG, ECG monitoring
X-trodes PC App	X-trodes Ltd.	1.1.35.0	An application for connecting X-trodes DAU to PC via BT