לכידת מחוות אצבע דינמיות עם אלקטרומיוגרפיה משטחית ברזולוציה גבוהה וראייה ממוחשבת

Summary

המאמר מציג פרוטוקול מקיף לרישום בו-זמנית של אלקטרומיוגרפיה ידנית (EMG) ומעקב אחר אצבעות חזותיות במהלך תנועות אצבע טבעיות. הנתונים החזותיים נועדו לשמש כאמת הקרקע לפיתוח מודלים חישוביים מדויקים מבוססי EMG לזיהוי מחוות אצבעות.

Abstract

מחוות אצבעות הן מרכיב קריטי בתקשורת אנושית, וככזה, זיהוי מחוות אצבע נחקר באופן נרחב כממשק אדם-מחשב לתותבות חדישות ושיקום אופטימלי. אלקטרומיוגרפיה של פני השטח (sEMG), בשילוב עם שיטות למידה עמוקה, נחשבת לשיטה מבטיחה בתחום זה. עם זאת, השיטות הנוכחיות מסתמכות לרוב על מערכי הקלטה מסורבלים וזיהוי עמדות ידיים סטטיות, מה שמגביל את יעילותן ביישומים בעולם האמיתי. הפרוטוקול שאנו מדווחים עליו כאן מציג גישה מתקדמת המשלבת EMG משטח לביש ומערכת מעקב אחר אצבעות כדי ללכוד נתונים מקיפים במהלך תנועות ידיים דינמיות. השיטה מתעדת את פעילות השרירים ממערכי אלקטרודות מודפסים רכים (16 אלקטרודות) המונחות על האמה כאשר הנבדקים מבצעים מחוות בתנוחות ידיים שונות ובמהלך תנועה. הוראות חזותיות מנחות את הנבדקים לבצע מחוות ספציפיות בזמן ש-EMG ומיקומי האצבעות מוקלטים. השילוב של הקלטות EMG מסונכרנות ונתוני מעקב אחר אצבעות מאפשר ניתוח מקיף של דפוסי פעילות השרירים והמחוות המתאימות. הגישה המדווחת מדגימה את הפוטנציאל של שילוב טכנולוגיות EMG ומעקב חזותי כמשאב חשוב לפיתוח מערכות זיהוי מחוות אינטואיטיביות ומגיבות עם יישומים בתותבות, שיקום וטכנולוגיות אינטראקטיביות. פרוטוקול זה נועד להדריך חוקרים ואנשי מקצוע, לטפח חדשנות נוספת ויישום של זיהוי מחוות בתרחישים דינמיים ובעולם האמיתי.

Introduction

מחוות ידיים חיוניות בתקשורת אנושית, מה שהופך את הזיהוי של תנועות אצבעות לתחום מחקר מכריע בתחומים כמו אינטראקציה בין אדם למחשב, תותבות מתקדמות ^1,2,3,4 וטכנולוגיות שיקום ^5,6. כתוצאה מכך, זיהוי מחוות אצבע זכה לתשומת לב משמעותית בשל הפוטנציאל שלו לשפר מערכות בקרה אינטואיטיביות ומכשירי עזר. אלקטרומיוגרפיה של פני השטח (sEMG) בשילוב עם אלגוריתמים של למידה עמוקה מסתמנת כגישה מבטיחה ביותר ללכידת ופירוש מחוות אלה בשל יכולתה לזהות את הפעילות החשמלית של השרירים הקשורים לתנועות ידיים 7,8,9,10,11,12,13,14,15.

עם זאת, למרות ההתקדמות הללו, הגישות הנוכחיות מתמודדות עם מגבלות ביישומים בעולם האמיתי. רוב המערכות הקיימות דורשות מערכי הקלטה מורכבים ומסורבלים עם אלקטרודות רבות 5,7,9,16,17 ומיקום מדויק ^3,18, שלעתים קרובות קשה ליישם מחוץ לסביבות מבוקרות. בנוסף, מערכות אלו נוטות להתמקד בתנוחות ידיים סטטיות 13,18,19,20,21, מה שמגביל את יכולתן לפרש מחוות דינמיות וזורמות המתרחשות בפעילויות יומיומיות. הפרוטוקול נועד לטפל במגבלות אלו על ידי תמיכה בזיהוי מחוות דינמי בתנאים טבעיים יותר. מתודולוגיה כזו תאפשר יישומים מעשיים וידידותיים יותר למשתמש בתחומים כמו תותבות ושיקום, שבהם פרשנות מחוות טבעית בזמן אמת חיונית.

כדי להתמודד עם אתגרים אלה, פיתוח אלגוריתמים מדויקים וניתנים להתאמה דורש מערכי נתונים המשקפים תנאים טבעיים ויומיומיים ^3,4. מערכי נתונים כאלה חייבים ללכוד מגוון רחב של תנועות דינמיות, מיקומי ידיים שונים וכמויות גדולות של נתונים כדי להבטיח את חוסן המודל. יתר על כן, השונות בין מערכי נתונים של אימון ובדיקה היא קריטית, ומאפשרת למודלים להכליל על פני תנוחות ידיים שונות, דפוסי הפעלת שרירים ותנועות. שילוב גיוון כזה בנתונים יאפשר לאלגוריתמים לבצע זיהוי מחוות בצורה מדויקת יותר ביישומים יומיומיים בעולם האמיתי²².

התגברות על אתגרים אלה תהיה חיונית לפיתוח עתידי של מערכות זיהוי מחוות מעשיות וישימות יותר. המחקר והפרוטוקול המתוארים כאן נובעים מהצורך במערך נייד וידידותי למשתמש שיכול ללכוד תנועות ידיים דינמיות בסביבות טבעיות. מערכי נתונים מקיפים ואלגוריתמים מתקדמים הם קריטיים למיצוי מלא של הפוטנציאל של sEMG ולמידה עמוקה בממשקי אדם-מחשב, תותבות עצביות וטכנולוגיות שיקום. אנו מצפים שפרוטוקול זה יתרום לתחום על ידי הקלה על איסוף נתונים מקיף כדי לאפשר עוד יותר פיתוח מודלים של אלגוריתמים המכלילים על פני עמדות ידיים מגוונות.

אתגר משמעותי בזיהוי מחוות טמון ברגישות של אותות sEMG למיקום היד. בעוד שמחקרים רבים מתמקדים בתנוחות ידיים קבועות לחיזוי מחוות, יישומים בעולם האמיתי דורשים מודלים המסוגלים לזהות תנועות אצבעות על פני תנוחות ידיים שונות. גישות אחרונות התייחסו לכך על ידי שילוב ראייה ממוחשבת כהתייחסות לאמת בסיסית, ושיפרו את הדיוק והגמישות של מודלים אלה^15,19. בנוסף, מודלים היברידיים המשלבים אותות sEMG עם נתונים חזותיים מציעים שיפורים נוספים בדיוק הזיהוי בתרחישים מגוונים²³.

בפרוטוקול זה, אנו מציגים גישה מסונכרנת לאיסוף נתונים המשפרת את זיהוי המחוות הדינמי על ידי שילוב נתוני EMG ומעקב אחר ידיים בתנאים דמויי העולם האמיתי. בניגוד לשיטות מסורתיות המגבילות את ביצועי המחוות למיקומים סטטיים, פרוטוקול זה כולל מחוות המבוצעות בארבעה מצבים נפרדים: יד למטה, יד למעלה, יד ישרה ותנועת יד. מצלמת מעקב היד עוקבת אחר תנועות הידיים בתוך אזור אינטראקטיבי תלת מימדי, מזהה אלמנטים מובהקים של היד ולוכדת תנועות דינמיות ברזולוציה גבוהה. מערך אלקטרודות רך של 16 אלקטרודות המונחות על האמה כדי לתעד את פעילות השרירים מציע הקלטות יציבות ואלחוטיות מבלי להפריע לניידות המשתתפים. הנתונים המסונכרנים משני מקורות אלה מספקים בסיס מקיף לפיתוח אלגוריתמים מתקדמים לזיהוי מחוות המסוגלים לפעול בתנאים בעולם האמיתי. הגישה מתייחסת באופן ספציפי למגבלות ההגדרות הנוכחיות על ידי הקלה על תנועה חופשית והקלטת אותות יציבה בתרחישים מציאותיים. התקדמות זו תומכת בטכנולוגיות זיהוי מחוות עבור יישומים בתותבות, שיקום וטכנולוגיות אינטראקטיביות, שבהן שליטה אינטואיטיבית וגמישות חיוניות.

Protocol

למחקר זה גויסו משתתפים בריאים (n = 18, בגילאי 18-32 שנים, גברים ונשים) שאושר על ידי ועדת האתיקה של אוניברסיטת תל אביב (אישור מס' 0004877-3). הפרוטוקול עומד בהנחיות המועצה למחקר הכולל משתתפים אנושיים. הסכמה מדעת הושגה מכל המשתתפים בהתאם לדרישות המוסד.

1. תדריך נסיין

1. בקשו מהמשתתפים לבצע סדרה של 14 מחוות אצבעות נפרדות (ראו איור 1) ולחזור על כל מחווה 7 פעמים ברצף אקראי. בקשו מהם לשמור על כל מחווה בחוזקה במשך 5 שניות, ולאחר מכן תקופת מנוחה של 3 שניות. משך הזמן הכולל לכל מפגש הוא 13:04 דקות.
2. תמונה גדולה של המחווה המוצגת על מסך מחשב מלווה בטיימר ספירה לאחור כדי לציין את ביצועי המחוות. במהלך תקופת המנוחה, בקשו מהמשתתף להסתכל על התמונה הקטנה של המחווה הקרובה המוצגת, יחד עם טיימר המציין את זמן המנוחה שנותר. שני צלילי צפצוף נפרדים מסמנים את ההתחלה והסיום של כל מחווה, ועוזרים למשתתפים להתכונן למחווה הבאה.
3. בקשו מכל משתתף לבצע את ההליך בארבע תנוחות שונות, בדומה^ל-22 שהוצגו קודם לכן:
   עמדה 1: משתתף עומד. היד למטה, ישר ונינוח.
   עמדה 2: משתתף יושב בכורסה. יד מושטת קדימה ב-90 מעלות, כף היד רפויה (ניתן להשתמש במכשיר תמיכה).
   תנוחה 3: יד מקופלת כלפי מעלה (עם מרפק מונח על הכורסה), כף היד רפויה.
   עמדה 4: המשתתף בוחר באחת מהעמדות הקודמות ויכול להזיז את היד בחופשיות בטווח הזיהוי של המצלמה, מנוטר בזמן אמת על מסך מחשב (ראה שלב 1.4 לפרטים נוספים).
4. בכל מפגש, בקשו מהמשתתף לענוד מכשיר אלקטרומיוגרפיה על הזרוע ומקמו לעברו מצלמת מעקב ידנית. בקשו מהמשתתפים לוודא שכפות הידיים שלהם תמיד פונות למצלמה. תוכנת מעקב הידיים מוצגת על מסך נפרד כך שגם המשתתף וגם המנצח יכולים לוודא שהיד מזוהה כהלכה.
5. עבור כל מיקום, התאימו את המיקום והזווית של מצלמת המעקב אחר היד כדי להבטיח זיהוי ידיים מדויק. בנוסף, העריכו את איכות האותות מהאלקטרודות באמצעות סקריפט הספקטרוגרמה.

איור 1: ייצוג סכמטי של תהליך איסוף הנתונים. הנבדק מצויד במערך אלקטרודות רך המונח על האמה (3), הלוכד אותות אלקטרומיוגרפיה של פני השטח ברזולוציה גבוהה (sEMG) במהלך ביצועי מחוות. הנבדק מבצע 14 תנועות אצבעות שונות המוצגות בסדר אקראי על צג מחשב (4). נתוני ה-EMG מוזרמים באופן אלחוטי למחשב אישי (PC) מיחידת איסוף הנתונים (DAU; 1). במקביל, נתונים קינמטיים של היד (HKD) המייצגים זוויות מפרקי אצבעות נלכדים באמצעות מצלמת מעקב ידנית (2). אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

2. הגדרת יחידות איסוף הנתונים

1. פתח את מאגר Github בכתובת https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git ופעל לפי ההוראות המפורטות בסעיף ההתקנה. אתר את data_collection.py קובץ Python הראשי בתיקיה finger_pose_estimation/data_acquisition. השתמש בזה כדי להריץ את הניסוי, השתמש spectrogram.py הסקריפט כדי להעריך את איכות אות ה-EMG לפני תחילת הניסוי, והתסריט data_analysis.py לסינון ופילוח אותות.
2. ודא שיחידת רכישת הנתונים של EMG (DAU) טעונה במלואה לפני כל הפעלה והפעל אותה.
3. חבר את ה-DAU למחשב באמצעות Bluetooth באמצעות האפליקציה הייעודית. הגדר את קצב התקשורת של Bluetooth ל-500 דגימות לשנייה (S/s).
4. התקן ופתח את תוכנת מצלמת המעקב הידני במחשב. חבר את מצלמת המעקב אחר היד למחשב באמצעות כבל.
5. השתמש במסך אחד כדי להציג תמיד תוכנת מצלמת מעקב ידני. בדרך זו, המנצח והמשתתף יוכלו לוודא שהמצלמה מזהה את היד בצורה נכונה במהלך הניסוי.

3. הכנת המשתתפים

1. מבוא והסכמה
   1. הסבירו בקצרה את הרלוונטיות של המחקר ואת הליך הניסוי למשתתף. קבל הסכמה מדעת בהתאם להנחיות מוסדיות למחקר בבני אדם.
2. מיקום אלקטרודות
   1. הנחו את המשתתף לכופף את ידו הימנית על ידי יצירת אגרוף חזק. בזמן שהמשתתף מתכופף, מיששו את האמה על ידי לחיצה עדינה לאורך השריר כדי לזהות את הנקודה שבה הפעלת השריר בולטת ביותר. ניתן לזהות מיקום זה בקלות על ידי תחושת האזור בו השריר מתנפח במהלך ההתכווצות.
   2. אופציונלי: הכינו את אזור העור המזוהה על ידי ניקוי עם מטלית נטולת סיבי אלכוהול, ג'ל הכנה או מים וסבון. הניחו לאזור להתייבש באוויר. הימנע מניקוי מוגזם עם אלכוהול, מכיוון שהוא עלול לייבש את העור. שלב זה הוא אופציונלי; ראה סעיף הדיון.
   3. קלף את שכבת המגן הלבנה ממערך האלקטרודות EMG והצמד בזהירות את האלקטרודות לאזור האמה המזוהה כפי שנקבע בשלב 3.2.1. (ראה איור 1). ודא שסרט ההדבקה קרוב יותר לכף היד. הצמידו את מערך האלקטרודות לעור על ידי טפיחה עדינה.
   4. לאחר חיבור מערך האלקטרודות לעור, קלף את שכבת התמיכה השקופה
   5. הכנס את כרטיס מחבר מערך האלקטרודות לשקע המחבר של ה-DAU. חבר את ה-DAU לסרט ההדבקה שליד האלקטרודות.
   6. הפעל סקריפט ספקטרוגרמה מותאם אישית של Python Spectrogram.py כדי לאמת את איכות האות בזמן אמת. יופיע חלון המציג נתונים גולמיים (משמאל) ותחום תדרים (מימין) עבור כל האלקטרודות (ראה איור משלים 1 לעיון).
      1. ודא שכל האלקטרודות מזוהות ופועלות כראוי ושהאות נקי מרעש מוגזם ורעש של 50 הרץ.
      2. במידת הצורך, הפחת רעש של 50 הרץ על ידי התרחקות ממכשירים אלקטרוניים שעלולים לגרום להפרעות וניתוק מכשירים מיותרים מהחשמל. אפשר זמן לאות להתייצב.
      3. אמת לכידת אות EMG: הנחו את המשתתף להניח מרפק על הכורסה ולהזיז אצבעות, ואז להירגע. ודא שמוצג אות EMG ברור ואחריו רעש בסיס סטטי.
      4. סגור את קובץ ה- Script לאחר השלמת אימות האות.
3. סקירת תנוחת מחוות וידיים
   1. פתח את תיקיית התמונות על ידי לחיצה על Finger_pose_estimation > Data_acquisition. סקור את תמונות המחוות עם המשתתפים.
   2. ודא שהם מבינים כל תנועה ויכולים לבצע אותה במדויק. הסבירו למשתתף את ארבע תנוחות הידיים בצורה ברורה.
   3. הדריכו את המשתתף כיצד להחזיק את היד לפני כל מפגש, תוך הקפדה על יציבה ומיקום נכונים.
4. מיקום המשתתפים והמצלמה
   1. עבור תנוחת יד 1, הנחו את המשתתף לעמוד זקוף במרחק של כמטר אחד מהשולחן. הנחו את המשתתף להחזיק את יד ימין כלפי מטה, ישרה ונינוחה, כאשר כף היד פונה למצלמת המעקב אחר היד. קבעו את מצלמת המעקב אחר היד על השולחן בעזרת מקל סלפי וכוונו אותה לכיוון ידו של המשתתף.
   2. לתנוחת יד 2, הנחו את המשתתף לשבת בנוחות בכורסה הממוקמת 40-70 ס"מ מהמסכים. הנחו את המשתתף להושיט את יד ימין קדימה ב-90 מעלות עם כף יד רגועה מול מצלמת מעקב היד. השתמש במכשיר תמיכה, במידת הצורך, כדי להחזיק את היד יציבה. הנח את מצלמת מעקב היד על השולחן עם הפנים כלפי מעלה.
      הערה: מכיוון שהמשתתף מתבקש להישאר בתנוחה קבועה, חשוב למצוא תנוחה נוחה שהוא יכול לשמור עליה לאורך כל הפגישה.
   3. עבור תנוחת יד 3, הנחו את המשתתף לשבת כמתואר בשלב 3.4.2. הנחו את המשתתף לקפל את היד כלפי מעלה תוך הנחת המרפק על הכורסה. כף היד צריכה להיות רגועה, והמשתתף צריך לפנות למצלמת מעקב הידיים. קבעו את מצלמת המעקב אחר הידיים על השולחן מול ידו של המשתתף (השתמשו במקל סלפי במידת הצורך). ודא שמיקום המשתתף אופטימלי הן לצפייה במסכים והן להימצאות בשדה הראייה של המצלמה.
   4. נטר באופן רציף את המסך המציג נתוני מעקב אחר ידיים כדי להבטיח שהמצלמה מזהה את היד והאצבעות לאורך כל הניסוי. אופציונלי: ודא את איכות האות של EMG (שלב 3.2.6.) בכל מיקום יד לפני תחילת הניסוי.

4. איסוף נתונים

1. הפעלת הניסוי
   1. פתח את Python וטען data_collection.py. ודא שהפרמטרים num_repetition, gesture_duration rest_duration מוגדרים כרצונך.
      1. num_repetition: הגדירו את מספר הפעמים שכל תמונת מחווה מוצגת. עבור הניסוי הזה, הגדירו אותו ל-7, כלומר כל תמונה מוצגת 7 פעמים. gesture_duration: ציין את משך הזמן (בשניות) שבו המשתתף מבצע את תנועת היד. עבור ניסוי זה, הגדר אותו ל-5 שניות, וקבע כמה זמן כל תמונת מחווה מוצגת. Rest_duration: ציין את משך הזמן (ב-s) שבו המשתתף מרפה את כף ידו בין המחוות. עבור ניסוי זה, הגדר אותו ל -3 שניות.
   2. התאימו את המיקום והזווית של המצלמה העוקבת אחר היד למיקום היד של המשתתף.
   3. הפעל את קובץ ה- Script של data_collection.py. יופיע חלון להזנת פרטי המשתתף (מספר סידורי, גיל, מין, מספר מפגש ומיקום היד). השלם מידע זה ולחץ על אישור כדי להתחיל את הניסוי באופן אוטומטי.
2. איסוף נתונים
   1. עבור כל מפגש, רשום נתוני EMG ומעקב ידני שנשמרים אוטומטית. חזור על הניסוי 4 פעמים עבור כל משתתף, פעם אחת בכל תנוחת יד.

5. סיום הניסוי וטיפול בנתונים לאחר הניסוי

1. עם השלמת הניסוי, הנתונים נשמרים אוטומטית. ודא שהנתונים נשמרים בתיקייה עם התווית עם המספר הסידורי של המשתתף. כל סשן מאוחסן בתיקיית משנה בשם S# (למשל, S1), עם ארבע תיקיות משנה עבור כל מיקום יד P# (P1, P2, P3 ו-P4). גודל התיקיה עבור הפעלה בודדת הוא כ- 160 MB.
2. אם משתתף משלים מספר מפגשים, ודא שכל הנתונים נשמרים בתיקיית ההפעלה המתאימה (למשל, S1, S2).
3. קבצי נתונים
   ודא שכל תיקיית מיקום ידני (P#) מכילה את הקבצים הבאים: נתוני EMG שנשמרו בקובץ EDF, בשם הבא: fpe_pos{position number}_{subject number}_S{session number}_rep0_BT; נתוני מעקב ידני שנשמרו בקובץ CSV, בשם fpe_pos{position number}_{subject number}_S{session number}_rep0_BT_full; וקובץ יומן רישום, log.txt, המכיל מטה-נתונים אודות ההפעלה.
4. עיבוד נתונים
   הערה: משתמש יכול לבחור כיצד להמשיך בניתוח אותות ובאילו כלים להשתמש. כאן, אנו מספקים סקריפט לביצוע סינון אותות ופילוח נתונים ב-Python. בעת שימוש ב-Python, ודא שכל התלות (למשל, Numpy, Pandas, SciPy, MNE, Sklearn) מותקנות.
   1. פתח את Python, טען data_analysis.py והפעל את הסקריפט.
   2. הבקשה תופיע במסוף כדי לספק פרמטרים נחוצים לעיבוד נתונים: נתיב לקובץ EMG, נתיב לנתונים קינמטיים ידניים, נתיב שבו יישמרו הנתונים המעובדים, קצב הדגימה ב-Hz, משך החלון באלפיות השנייה ומרווח צעד באלפיות השנייה.
   3. לאחר שלב זה, קובץ ה- Script יבצע את עיבוד הנתונים.
   4. סינון אותות EMG: הפעל את הסקריפט כמפורט לעיל. הסקריפט מסנן תחילה את אות ה-sEMG על ידי החלת מסנן מעביר-גבוה מסדר רביעי של באטרוורת' עם ניתוק של 20 הרץ להסרת אותות שאינם EMG, ולאחר מכן מסנן חריץ להסרת הרמוניות של 50 הרץ ו-100 הרץ. בנוסף, קובץ ה- Script מחיל נורמליזציה של אות EMG.
   5. EMG, נתוני HKD ופילוח מחוות לפי הוראות: הפעל את קובץ ה- Script כמפורט לעיל. הסקריפט מחיל סגמנטציה, תוך שימוש בטכניקת חלון מתגלגל המוגדרת על ידי משך החלון ומרווח הצעד שצוינו. בניסוי זה, הגדר אותם ל-512 ו-2 אלפיות השנייה, בהתאמה. לאחר מכן, הסקריפט הופך את ארגון ערוץ sEMG לתצורת רשת מרחבית של 4 x 4 תוך שמירה על פריסת מערך האלקטרודות. לבסוף, הסקריפט יוצר מילון המכיל מטא נתונים כקובץ מלפפון חמוץ.
   6. שלבי ניקוי ואימות נתונים
      1. זהה ואל תכלול מקטעים המכילים חפצים, רעש או תוויות מחוות לא עקביות ממערך הנתונים.
      2. הבטח שלמות מקטעים והמשכיות זמנית בחלונות שונים כדי לשמור על מהימנות הנתונים.
      3. בדוק את נתוני המחוות מול ה-HKD לעקביות. הסר חלונות המציגים דפוסי מחוות החורגים מתקני ההפעלה של HKD.
      4. זהה והשליך מקטעים חריגים שאינם תואמים לדפוסים הקינמטיים הצפויים עבור ההפעלה.
      5. ביצוע ניתוח נתונים נוסף באמצעות אלגוריתמים מתקדמים. אלה אינם מסופקים בפרוטוקול הנוכחי.

תוצאות

מערך הנתונים מורכב משני רכיבים מסונכרנים בזמן: מערך נתונים של EMG בן 16 ערוצים ונתונים ממערכת מצלמות מעקב ידני. נתוני ה-EMG של 16 הערוצים לוכדים את פעילות השרירים על ידי רישום אותות חשמליים משרירים שונים לאורך זמן. מערכת מעקב היד מספקת 16 ערוצי נתונים המתאימים לנקודות מפתח במודל השלד של היד. בעוד שלדגם יש 21 נקודות, לא כולל פרק כף היד, מספר זה הצטמצם ל-16 עקב אילוצי תנועה²⁴. ה-EMG והנתונים החזותיים נאספו על ידי הפעלת שני תהליכים נפרדים באותו מחשב במהלך ההקלטה כדי ליצור סנכרון. חותמת זמן שימשה לסימון תחילתו של כל תהליך, ואפשרה לקוד ניתוח נתונים ליישר את פעילות השרירים ונתוני תנועת הידיים בסוף ההקלטה. הערות חותמת זמן נשמרו אוטומטית הן בקבצי EDF והן בקבצי CSV, מה שסימן את הזמן המדויק שבו הונחו מחוות אצבע ספציפיות והקל על היישור במהלך ניתוח הנתונים. אות ה-EMG המסונן (20 הרץ מסנן מעביר גבוה מסדר רביעי של באטרוורת') מאופיין בקו בסיס נמוך (אזורים בגוון אפור), הנופל בדרך כלל בטווח של 3-9 μV²⁵. קו בסיס זה נצפה כאשר ידו של הנבדק נייחת והשרירים במנוחה. עם זאת, אם טונוס השרירים קיים אפילו במצב מנוחה, ניתן לזהות אות EMG מובהק. חפצים מכניים הנגרמים על ידי תנועה באים לידי ביטוי בדרך כלל בטווח של 10-20 הרץ ויש לסנן אותם בהתאם. ערכי בסיס מוגברים משמעותית עשויים להצביע על הפרעות קו של 50 הרץ ויש להימנע מהם במהלך שלב ההתקנה הניסיונית. במקרים בהם רעש בינוני של 50 הרץ נמשך; מוחל פילטר חריץ. חפצי תנועה חדים, שקשה יותר להסירם, מופיעים לעתים קרובות כקוצים בולטים באמפליטודה גבוהה באות (ראה כוכבית באיור 2A). משרעת אות ה-EMG על פני מערך 16 האלקטרודות משתנה, ומשקפת את ההתפלגות המרחבית של פעילות השרירים על פני האזור הנמדד. שונות זו מספקת תובנה חשובה לגבי ההטרוגניות של התכווצות השרירים במהלך תנועות ידיים.

מצלמת המעקב אחר היד מספקת מידע ישיר על זוויות האצבעות (נתונים קינמטיים של היד, HKD), שצפויים להיות בקורלציה הדוקה עם אותות ה-EMG המוקלטים. במהלך מחוות, זוויות האצבעות בטווח הנורמלי²⁶, תלוי במחווה הספציפית. כאשר הנתיב החזותי בין מצלמת מעקב היד לבין היד אינו חסום, האות המתקבל יציב ומדויק, כפי שמודגם באיור 2. עם זאת, במקרים בהם אובד קשר חזותי או כאשר המערכת חווה מגבלות טכניות, ה-HKD עלול להיות לא יציב, ולהציג קפיצות בין ערכים שגויים. יש למזער נתונים חריגים כאלה במהלך איסוף הנתונים ולהשליך אותם בניתוח הסופי כדי לשמור על שלמות התוצאות.

ה-HKD הוא אינטואיטיבי ומספק השוואה ישירה למחוות שבוצעו בפועל. הוא מציג שונות נמוכה בין נבדקים ובין תנוחות ידיים שונות. לעומת זאת, נתוני ה-EMG נוטים להשתנות באופן משמעותי בין אנשים בשל הבדלים אנטומיים כגון גודל היד והתפתחות השרירים²⁷. בנוסף, ניתן להבחין בשונות בין ידיים דומיננטיות ולא דומיננטיות. ניתן לטפל בשונות ספציפית לנושא זה במהלך ניתוח לא מקוון.

באיור 2, ניכר שגם ה-EMG וגם ה-HKD מתקזזים ביחס לטריגר המחווה שהונחה. פער זה נובע מזמן התגובה וביצוע התנועה הטבעי²⁸. במשימות רגרסיה, שונות כזו יכולה לתרום לעושר הנתונים, בעוד שבמשימות סיווג, ניתן לנהל אותה באמצעות גישת יחס סבירות כללית, כפי שיושמה בתרחישים דומים²⁸.

איור 2: sEMG ו-HKD מייצגים במהלך חטיפת אצבעות. אותות אלקטרומיוגרפיה של פני השטח (sEMG) ונתונים קינמטיים של היד (HKD) שנרשמו במהלך חטיפת אצבעות דינמית ומנוחה המבוצעת במהלך תנוחת יד 1 (יד למטה, ישרה ורגועה) על ידי משתתף יחיד. (A) אותות EMG מסוננים מ-16 ערוצים כפונקציה של זמן. כוכבית (*) מציינת חפץ מכני שזוהה בהקלטת EMG של ערוץ 5. (B) HKD, המציג את זוויות המפרק כפונקציה של זמן. זוויות המפרקים נמדדות במפרקים שונים: טרפזיומטקרפל (TMC), מטקרפופלנגאל (MCP) ואינטרפלנגאלי פרוקסימלי (PIP). שלבי הניסוי (מנוחה וחטיפה) מסומנים לאורך ציר ה-x. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

תוצאות מייצגות אלה הדגימו את התועלת של נתוני EMG ו-HKD המסונכרנים בלכידת תנועות ידיים. יישור אותות EMG עם HKD מתאים מאפשר מיפוי פעילות השרירים לתנועות אצבעות ספציפיות. בעת בניית מודל חיזוי, חוקרים יכולים להשתמש ב-HKD כאמת בסיסית, לאמת ולחדד באופן איטרטיבי תחזיות מחוות מבוססות EMG. גישה זו מדגישה את היישום המעשי של הפרוטוקול ומציעה את הצורך במחקר נוסף בסביבות טבעיות יותר.

איור משלים 1: חלונות ספקטרוגרמה המוצגים במהלך שלב אימות האות. הפאנלים השמאליים מציגים נתוני EMG גולמיים, בעוד שהפאנלים הימניים מציגים את תחומי התדרים שזוהו. (א) דוגמה לאות EMG רועש מאוד עם הפרעות חזקות של 50 הרץ ו-100 הרץ. (B) דוגמה לאותה הקלטת אות EMG לאחר הרחקת המשתתף ממכשירים חשמליים, וכתוצאה מכך אות EMG נקי עם הפרעות מינימליות. אנא לחץ כאן להורדת קובץ זה.

Discussion

הפרוטוקול המוצג במחקר זה מתאר צעדים קריטיים, שינויים ואסטרטגיות לפתרון בעיות שמטרתן לשפר את זיהוי מחוות היד באמצעות שילוב של אותות sEMG ו-HKD. הוא מתייחס למגבלות מרכזיות ומשווה גישה זו לחלופות קיימות, ומדגיש את היישומים הפוטנציאליים שלה בתחומי מחקר שונים. אחד ההיבטים החשובים ביותר של הפרוטוקול הוא הבטחת המיקום והיישור הנכונים של מצלמת המעקב אחר הידיים. לכידת מחוות מדויקת תלויה מאוד בזווית ובמרחק של המצלמה ביחס ליד המשתתף. אפילו סטיות קלות במיקום המצלמה עלולות להוביל לאי דיוקים במעקב, ולהפחית את הנאמנות של נתוני המחוות. יש להתאים בקפידה יישור זה לכל משתתף ותנוחת היד כדי להבטיח איסוף נתונים עקבי ואמין. בנוסף, חיוני שהמשתתפים יכירו היטב את הפרוטוקול כדי למנוע נתוני זבל - כאשר המחוות מבוצעות בצורה שגויה או לא מיושרות עם זרימת הניסוי. הקפדה על נוחות והיכרות עם המחוות והגדרת הניסוי יכולה למזער את רעשי הנתונים ולשפר את איכות ההקלטות.

אתגר נפוץ במחקר מסוג זה הוא זיהום רעש הן ב-sEMG והן ב-HKD. אותות sEMG רגישים במיוחד לגורמים כמו עייפות שרירים, חפצי תנועה ורעש סביבתי כמו הפרעות אלקטרומגנטיות. טכניקות עיבוד מקדים, כגון סינון פס-פס, חיוניות להפחתת רעש ולשיפור בהירות האות. מיקום נכון של אלקטרודות והדרכה למשתתפים לשמור על שרירים רפויים במהלך שלבי מנוחה יכולים להפחית עוד יותר את חפצי התנועה. למרות אמצעי הזהירות הללו, שונות מסוימת באותות sEMG היא בלתי נמנעת עקב הבדלים אינדיבידואליים באנטומיה, כוח הידיים ודפוסי הפעלת השרירים. ניתן לטפל בשונות זו באמצעות אלגוריתמים גמישים המסוגלים לנרמל את ההבדלים הללו בין נושאים ותנאים.

גורם מפתח בהשגת אותות sEMG באיכות גבוהה הוא אימות אותות ראשוני. פרוטוקולים מסורתיים המשתמשים באלקטרודות ג'ל דורשים הכנת העור, כגון פילינג או ניקוי באלכוהול, כדי לשפר את בהירות האות. עם זאת, במחקר קודם הראינו שעם אלקטרודות יבשות, הכנת העור עשויה שלא להשפיע באופן משמעותי על איכות האות²⁵. בפרוטוקול זה, ניקוי העור הוא אופציונלי ובכך מפשט את התהליך. בעיה נוספת הקשורה לעור המשפיעה על איכות האות היא שיער זרוע מוגזם ועבה. במקרים כאלה, אנו מציעים לגלח את האזור או להוציא את הנבדק מהמחקר.

אחד האתגרים הקריטיים בשימוש ב-sEMG לזיהוי מחוות הוא הרגישות שלו למיקום הידיים. גם בעת ביצוע אותה מחווה, שינויים בכיוון היד יכולים להוביל לדפוסי אות EMG שונים. כדי לטפל בבעיה זו, מודלים של למידת מכונה שיכולים להתאים לשונות במיקומי הידיים הם חיוניים²². יש לאמן מודלים אלה עם נתונים מתנוחות ידיים מרובות כדי לשפר את החוסן וההכללה. סנכרון של נתונים חזותיים ו-sEMG הוא שיקול חשוב נוסף. תזמון עקבי של מחוות הוא קריטי כדי למנוע פערים בין ביצוע המחווה לבין הקלטת הנתונים. פרוטוקול זה משתמש בספירה לאחור חזותית וברמזים שמיעתיים כדי להבטיח שימוש בשלבי תזמון וכיול מחדש מדויקים בעת הצורך כדי לתקן כל חוסר יישור במהלך איסוף הנתונים.

למרות חוזקותיו, לפרוטוקול זה יש מספר מגבלות. אילוץ עיקרי אחד הוא שדה הראייה המוגבל של מצלמת המעקב אחר הידיים, הדורש שידיו של המשתתף יישארו בטווח הזיהוי של המצלמה. זה מגביל את הניתוח לקבוצה קטנה של תנועות. לניסויים מחוץ למעבדה תידרש הדמיית וידאו מורכבת יותר או שימוש בכפפות חכמות. עייפות המשתתפים מהווה אתגר גם במהלך מפגשים ארוכים יותר, מה שעלול להשפיע על דיוק המחוות והפעלת השרירים, מה שעלול לפגוע באיכות נתוני ה-sEMG. כדי להפחית את ההשפעות הללו, ייתכן שיהיה צורך להגביל את משך הפגישה או להכניס הפסקות כדי למזער עייפות. בנוסף, הפרעות בקו החשמל עלולות להכניס רעש לאותות ה-sEMG, במיוחד כאשר המשתתפים קרובים למחשב לצורך לכידת נתונים. גרסה אלחוטית של המערכת יכולה להפחית הפרעות כאלה על ידי מתן אפשרות למשתתפים להיות רחוקים יותר מהמחשב.

מגבלה מתודולוגית משמעותית של זיהוי מחוות אצבע מבוססות EMG נובעת מהשונות הגבוהה בין הנבדקים באותות sEMG, המחייבת פיתוח מודלים מותאמים אישית לכל משתתף. גישה ספציפית לנושא זו, למרות שהיא מדויקת יותר, מגבילה את יכולת ההרחבה של הפרוטוקול ודורשת זמן כיול והדרכה נוספים עבור כל משתמש חדש. זרמי נתונים EMG ו-HKD מראים הבדלי סנכרון זמניים קלים עקב הקלטת תהליך כפול. לפערי תזמון אלה יש השפעה מינימלית על ניתוח המחוות הסטטיות מכיוון שהתנוחות המתוחזקות יציבות מבחינה זמנית. האופי המתמשך של מחוות סטטיות מספק זמן מספיק הן ל-EMG והן לתכונות קינמטיות להתייצב, בניגוד למחוות דינמיות, הדורשות סנכרון מדויק יותר.

יתרון מרכזי של שיטה זו הוא הגמישות שלה בלכידת מחוות. בניגוד למערכות אחרות הדורשות הגדרות קשיחות ופרמטרים קפדניים של תנועות, פרוטוקול זה מתאים לתנוחות ידיים דינמיות וגמישות¹⁹. גמישות זו שימושית במיוחד במחקרים שמטרתם לנתח מגוון רחב של תנועות, מה שהופך אותו למתאים יותר ליישומים בעולם האמיתי. יתר על כן, פרוטוקול זה חסכוני בהשוואה למערכות לכידת תנועה ו-sEMG מתקדמות יותר, הכוללות לעתים קרובות הגדרות מורכבות²⁹. על ידי שילוב מצלמת מעקב ידנית עם אלגוריתמים אוטומטיים למחצה של sEMG, שיטה זו מספקת אלטרנטיבה בת קיימא למחקרי זיהוי מחוות מבלי לפגוע באיכות הנתונים. בנוסף, הפוטנציאל של המערכת לעיבוד נתונים בזמן אמת פותח אפשרויות למשוב מיידי ביישומים כגון תותבות עצביות ושיקום, שבהם היענות בזמן אמת חיונית. לפרוטוקול זה השלכות משמעותיות על מספר תחומים, במיוחד תותבות עצביות. חיזוי מדויק של תנועות ידיים מאותות sEMG הוא חיוני לשליטה בגפיים תותבות, והגמישות במיקום הידיים שמציעה שיטה זו הופכת אותה למועמדת אידיאלית למכשירים תותבים בזמן אמת. בשיקום, ניתן להשתמש בפרוטוקול זה כדי לנטר ולשפר את ההתאוששות המוטורית בחולים עם ליקויים ביד או באצבעות. על ידי ניתוח דפוסי הפעלת שרירים במהלך ביצוע מחוות, ניתן להשתמש במערכת זו כדי להתאים תרגילי שיקום לצרכים האישיים, ולהציע גישה מותאמת אישית להתאוששות מוטורית. עבור אינטראקציה בין אדם למחשב (HCI), שיטה זו מאפשרת מערכות בקרה טבעיות יותר מבוססות מחוות, ומשפרת את האינטואיטיביות והיעילות של ממשקי משתמש. לבסוף, ניתן ליישם את הפרוטוקול במחקרים ארגונומיים כדי להעריך כיצד תנוחות ידיים ומחוות שונות משפיעות על פעילות השרירים ועייפות, מה שעלול להוביל להתקדמות בעיצוב מקום העבודה ובארגונומיה של המשתמש.

כדי להבטיח חוזק כיווץ עקבי בין המשתתפים, מחקרים עתידיים יוכלו ליישם כפפה עם נגדים רגישים לכוח כדי למדוד כוח ישירות. זה יאפשר מאמץ סטנדרטי בין נבדקים, וישפר את האמינות של נתוני EMG. בנוסף, שילוב מדידת כוח זו כתווית בקינמטיקה של המפרקים יספק ייצוג מפורט יותר של המצב הפנימי של השריר, מה שעשוי להעשיר את ניתוח תפקוד השרירים ודפוסי התנועה. גישה זו לא רק תשפר את עקביות הנתונים אלא גם תציע תובנות עמוקות יותר לגבי הקשר בין התכווצות שרירים לתנועת המפרקים.

לסיכום, פרוטוקול זה מספק גישה חדשה וגמישה לזיהוי מחוות ידיים עם יישומים רחבים על פני תותבות עצביות, שיקום, HCI וארגונומיה. למרות שלמערכת יש מגבלות, הגמישות, העלות-תועלת והפוטנציאל לשימוש בזמן אמת שלה מייצגים התקדמות משמעותית לעומת השיטות הקיימות. חוזקות אלו הופכות אותו לכלי מבטיח להמשך פיתוח וחדשנות בטכנולוגיות זיהוי מחוות.

Materials

Name	Company	Catalog Number	Comments
Adjustable Selfie Stick			Used to position and angle the hand-tracking camera in the desired orientation for optimal data capture during the experiment.
Alcohol pad			To clean the area for electrode placement.
Data acquisition unit (DAU)	X-trodes Ltd.	XTR-BT V1.3	Realtime compatible DAU 2.0.17 or 4.0.1
Finger Gestures Recognition library			https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2	Ultraleap	129-SP4-00005-03	Hand-tracking camera
Long Type-C to Type-C cable			Connection of the hand-tracking camera to the PC.
PC Monitors			One for guidelines, one for viewing the hand-tracking camera data
Personal Computer (PC)	Windows		Windows 10+; Processors: Inteli7 processor. BT receiver.
Python code			A script enabling seamless data streaming and recording up to 500 S/s when DAU is connected to PC via Bluetooth
Ultraleap Camera Python API	Ultraleap		Python API and instructions from Ultraleap’s GitHub repository (https://github.com/ultraleap/leapc-python-bindings) used to collect data from the Ultraleap unit during the experiment
Ultraleap Hyperion	Ultraleap		Tracking software
XTR EXG16	X-trodes Ltd.	XTELC0003405RM	16-channel wearable dry electrode array patch for EMG, ECG monitoring
X-trodes PC App	X-trodes Ltd.	1.1.35.0	An application for connecting X-trodes DAU to PC via BT