Acquisizione di gesti dinamici delle dita con l'elettromiografia di superficie ad alta risoluzione e la visione artificiale

Riepilogo

L'articolo presenta un protocollo completo per la registrazione simultanea dell'elettromiografia manuale (EMG) e del tracciamento visivo delle dita durante la gestualità naturale delle dita. I dati visivi sono progettati per fungere da base per lo sviluppo di modelli computazionali accurati basati su EMG per il riconoscimento dei gesti delle dita.

Abstract

I gesti delle dita sono un elemento critico nella comunicazione umana e, come tale, il riconoscimento dei gesti delle dita è ampiamente studiato come interfaccia uomo-computer per protesi all'avanguardia e riabilitazione ottimizzata. L'elettromiografia di superficie (sEMG), in combinazione con i metodi di deep learning, è considerata un metodo promettente in questo settore. Tuttavia, i metodi attuali si basano spesso su configurazioni di registrazione ingombranti e sull'identificazione di posizioni statiche delle mani, limitandone l'efficacia nelle applicazioni del mondo reale. Il protocollo che riportiamo qui presenta un approccio avanzato che combina un EMG di superficie indossabile e un sistema di tracciamento delle dita per acquisire dati completi durante i movimenti dinamici della mano. Il metodo registra l'attività muscolare da array di elettrodi stampati morbidi (16 elettrodi) posizionati sull'avambraccio mentre i soggetti eseguono gesti in diverse posizioni della mano e durante il movimento. Le istruzioni visive invitano i soggetti a eseguire gesti specifici mentre vengono registrati l'EMG e le posizioni delle dita. L'integrazione di registrazioni EMG sincronizzate e dati di tracciamento delle dita consente un'analisi completa dei modelli di attività muscolare e dei gesti corrispondenti. L'approccio riportato dimostra il potenziale della combinazione di EMG e tecnologie di tracciamento visivo come risorsa importante per lo sviluppo di sistemi di riconoscimento dei gesti intuitivi e reattivi con applicazioni in protesi, riabilitazione e tecnologie interattive. Questo protocollo mira a guidare ricercatori e professionisti, promuovendo ulteriori innovazioni e applicazioni del riconoscimento dei gesti in scenari dinamici e del mondo reale.

Introduzione

La gestualità della mano è essenziale nella comunicazione umana, rendendo il riconoscimento dei gesti delle dita un'area cruciale di ricerca in campi come l'interazione uomo-computer, le protesi avanzate 1,2,3,4 e le tecnologie di riabilitazione ^5,6. Di conseguenza, il riconoscimento dei gesti delle dita ha attirato un'attenzione significativa per il suo potenziale nel migliorare i sistemi di controllo intuitivi e i dispositivi di assistenza. L'elettromiografia di superficie (sEMG) combinata con algoritmi di deep learning sta emergendo come un approccio molto promettente per l'acquisizione e l'interpretazione di questi gesti grazie alla sua capacità di rilevare l'attività elettrica dei muscoli associati ai movimenti della mano 7,8,9,10,11,12,13,14,15.

Tuttavia, nonostante questi progressi, gli approcci attuali incontrano limitazioni nelle applicazioni del mondo reale. La maggior parte dei sistemi esistenti richiede configurazioni di registrazione complesse e ingombranti con numerosi elettrodi 5,7,9,16,17 e posizionamento preciso ^3,18, che sono spesso difficili da implementare al di fuori di ambienti controllati. Inoltre, questi sistemi tendono a concentrarsi sulle posizioni statiche delle mani 13,18,19,20,21, limitando la loro capacità di interpretare gesti dinamici e fluidi che si verificano nelle attività quotidiane. Il protocollo mira ad affrontare queste limitazioni supportando il riconoscimento dinamico dei gesti in condizioni più naturali. Tale metodologia consentirebbe applicazioni più pratiche e di facile utilizzo in settori come la protesi e la riabilitazione, dove l'interpretazione naturale e in tempo reale dei gesti è essenziale.

Per affrontare queste sfide, lo sviluppo di algoritmi più accurati e adattabili richiede set di dati che riflettano le condizioni naturali e quotidiane ^3,4. Tali set di dati devono acquisire un'ampia gamma di movimenti dinamici, varie posizioni delle mani e grandi volumi di dati per garantire la robustezza del modello. Inoltre, la variabilità tra i set di dati di allenamento e di test è fondamentale, consentendo ai modelli di generalizzare tra diverse posture della mano, modelli di attivazione muscolare e movimenti. L'integrazione di tale diversità nei dati consentirà agli algoritmi di eseguire il riconoscimento dei gesti in modo più accurato nelle applicazioni quotidiane e nel mondo reale²².

Il superamento di queste sfide sarà essenziale per lo sviluppo futuro di sistemi di riconoscimento dei gesti più pratici e ampiamente applicabili. Lo studio e il protocollo qui descritti derivano dalla necessità di disporre di una configurazione portatile e facile da usare in grado di catturare i movimenti dinamici della mano in ambienti naturali. Set di dati completi e algoritmi avanzati sono fondamentali per sbloccare appieno il potenziale del sEMG e del deep learning nelle interfacce uomo-computer, nelle neuroprotesi e nelle tecnologie di riabilitazione. Ci aspettiamo che questo protocollo contribuisca al campo facilitando la raccolta completa dei dati per consentire ulteriormente lo sviluppo di modelli algoritmici che si generalizzano tra diverse posizioni della mano.

Una sfida significativa nel riconoscimento dei gesti risiede nella sensibilità dei segnali sEMG al posizionamento della mano. Mentre molti studi si concentrano sulle posizioni fisse delle mani per la previsione dei gesti, le applicazioni del mondo reale richiedono modelli in grado di riconoscere i movimenti delle dita in varie posture della mano. Approcci recenti hanno affrontato questo problema incorporando la visione artificiale come riferimento di base, migliorando l'accuratezza e la flessibilità di questi modelli^15,19. Inoltre, i modelli ibridi che integrano i segnali sEMG con i dati visivi offrono ulteriori miglioramenti nell'accuratezza del riconoscimento in diversi scenari²³.

In questo protocollo, presentiamo un approccio sincronizzato alla raccolta dei dati che migliora il riconoscimento dinamico dei gesti incorporando sia i dati EMG che quelli di tracciamento della mano in condizioni simili al mondo reale. A differenza dei metodi tradizionali che limitano l'esecuzione dei gesti a posizioni statiche, questo protocollo include i gesti eseguiti in quattro posizioni distinte: mano giù, mano su, mano dritta e movimento della mano. La telecamera di tracciamento della mano traccia i movimenti della mano all'interno di una zona interattiva tridimensionale, identificando elementi distinti della mano e catturando movimenti dinamici ad alta risoluzione. Una serie di elettrodi morbidi di 16 elettrodi posizionati sull'avambraccio per registrare l'attività muscolare offre registrazioni stabili e wireless senza ostacolare la mobilità dei partecipanti. I dati sincronizzati provenienti da queste due fonti forniscono una base completa per lo sviluppo di algoritmi avanzati di riconoscimento dei gesti in grado di operare in condizioni reali. L'approccio affronta in modo specifico i limiti delle configurazioni attuali facilitando la libera circolazione e la registrazione stabile del segnale in scenari realistici. Questo progresso supporta le tecnologie di riconoscimento dei gesti per applicazioni in protesi, riabilitazione e tecnologie interattive, dove il controllo intuitivo e la flessibilità sono essenziali.

Protocollo

I partecipanti sani (n = 18, di età compresa tra 18 e 32 anni, sia maschi che femmine) sono stati reclutati per questo studio, che è stato approvato dal Comitato di revisione etica dell'Università di Tel Aviv (approvazione n. 0004877-3). Il protocollo aderisce alle linee guida del consiglio per la ricerca che coinvolge partecipanti umani. Il consenso informato è stato ottenuto da tutti i partecipanti in conformità con i requisiti istituzionali.

1. Briefing per gli sperimentatori

1. Chiedi ai partecipanti di eseguire una serie di 14 gesti distinti con le dita (vedi Figura 1) e di ripetere ogni gesto 7 volte in una sequenza casuale. Chiedi loro di mantenere saldamente ogni gesto per 5 secondi, seguiti da un periodo di riposo di 3 secondi. La durata totale di ogni sessione è di 13:04 min.
2. Un'immagine di grandi dimensioni del gesto visualizzata sullo schermo di un computer è accompagnata da un timer per il conto alla rovescia per indicare l'esecuzione del gesto. Durante il periodo di riposo, chiedi al partecipante di guardare la piccola immagine del gesto imminente mostrata, insieme a un timer che indica il tempo di riposo rimanente. Due distinti segnali acustici segnalano l'inizio e la fine di ogni gesto, aiutando i partecipanti a prepararsi per il gesto successivo.
3. Chiedi a ciascun partecipante di eseguire la procedura in quattro diverse posizioni, simili alle²² presentate in precedenza:
   Posizione 1: Partecipante in piedi. Mano bassa, dritto e rilassato.
   Posizione 2: Partecipante seduto sulla poltrona. Mano tesa in avanti a 90°, palmo rilassato (può essere utilizzato un dispositivo di supporto).
   Posizione 3: Mano piegata verso l'alto (con il gomito appoggiato sulla poltrona), palmo rilassato.
   Posizione 4: il partecipante sceglie una delle posizioni precedenti e può muovere liberamente la mano all'interno del raggio di rilevamento della telecamera, monitorato in tempo reale sullo schermo di un PC (vedere il passaggio 1.4 per maggiori dettagli).
4. Per ogni sessione, fai indossare al partecipante un dispositivo di elettromiografia sul braccio e posiziona una telecamera di tracciamento manuale verso di lui. Chiedi ai partecipanti di assicurarsi che i loro palmi siano sempre rivolti verso la fotocamera. Il software di tracciamento delle mani viene visualizzato su uno schermo separato in modo che sia il partecipante che il conduttore possano verificare che la mano sia riconosciuta correttamente.
5. Per ogni posizione, regolare la posizione e l'angolazione della telecamera di tracciamento manuale per garantire un riconoscimento accurato della mano. Inoltre, valutare la qualità dei segnali provenienti dagli elettrodi utilizzando lo script dello spettrogramma.

Figura 1: Rappresentazione schematica del processo di raccolta dei dati. Il soggetto è dotato di un array di elettrodi morbidi posizionato sull'avambraccio (3), che cattura i segnali dell'elettromiografia di superficie ad alta risoluzione (sEMG) durante l'esecuzione dei gesti. Il soggetto esegue 14 diversi gesti delle dita presentati in ordine casuale sul display di un computer (4). I dati EMG vengono trasmessi in modalità wireless a un personal computer (PC) dall'unità di acquisizione dati (DAU; 1). Contemporaneamente, i dati cinematici della mano (HKD) che rappresentano gli angoli delle articolazioni delle dita vengono acquisiti utilizzando una telecamera di tracciamento manuale (2). Clicca qui per visualizzare una versione più grande di questa figura.

2. Impostazione delle unità di acquisizione dati

1. Apri il repository Github all https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git e segui le istruzioni dettagliate nella sezione Installazione. Individua il file Python primario data_collection.py nella cartella finger_pose_estimation/data_acquisition. Utilizzare questa opzione per eseguire l'esperimento, utilizzare lo script spectrogram.py per valutare la qualità del segnale EMG prima dell'inizio dell'esperimento e lo script data_analysis.py per il filtraggio e la segmentazione del segnale.
2. Assicurarsi che l'unità di acquisizione dati (DAU) EMG sia completamente carica prima di ogni sessione e accenderla.
3. Collegare la DAU al PC tramite Bluetooth utilizzando l'applicazione dedicata. Impostare la velocità di comunicazione Bluetooth su 500 campioni al secondo (S/s).
4. Installa e apri il software della telecamera per il rilevamento della mano sul PC. Collegare la telecamera di rilevamento della mano al PC utilizzando un cavo.
5. Usa uno schermo per visualizzare sempre il software della telecamera per il tracciamento della mano. In questo modo, il conduttore e il partecipante saranno in grado di assicurarsi che la telecamera riconosca correttamente la mano durante l'esperimento.

3. Preparazione dei partecipanti

1. Introduzione e consenso
   1. Spiegare brevemente la rilevanza dello studio e la procedura sperimentale al partecipante. Ottenere il consenso informato seguendo le linee guida istituzionali per la ricerca che coinvolge l'uomo.
2. Posizionamento degli elettrodi
   1. Chiedi al partecipante di flettere la mano destra formando un pugno forte. Mentre il partecipante si flette, palpare l'avambraccio premendo delicatamente lungo il muscolo per identificare il punto in cui l'attivazione muscolare è più prominente. Questa posizione è facilmente identificabile sentendo l'area in cui il muscolo si gonfia durante la contrazione.
   2. Facoltativo: preparare l'area della pelle identificata pulendola con un panno privo di fibre imbevute di alcol, gel di preparazione o acqua e sapone. Lasciare asciugare l'area all'aria. Evitare una pulizia eccessiva con alcol, poiché potrebbe seccare la pelle. Questo passaggio è facoltativo; Vedi la sezione di discussione.
   3. Staccare lo strato protettivo bianco dall'array di elettrodi EMG e fissare con cura gli elettrodi all'area identificata dell'avambraccio come determinato al punto 3.2.1. (vedi Figura 1). Assicurati che il nastro adesivo sia più vicino al palmo. Fissare l'array di elettrodi alla pelle picchiettando delicatamente.
   4. Una volta che l'array di elettrodi è attaccato alla pelle, staccare lo strato di supporto trasparente.
   5. Inserire la scheda del connettore dell'array di elettrodi nella presa del connettore del DAU. Fissare la DAU al nastro adesivo accanto agli elettrodi.
   6. Esegui Spectrogram.py script di spettrogramma Python personalizzati per verificare la qualità del segnale in tempo reale. Apparirà una finestra che mostra i dati grezzi (a sinistra) e il dominio della frequenza (a destra) per tutti gli elettrodi (vedere la Figura 1 supplementare per riferimento).
      1. Verificare che tutti gli elettrodi siano rilevati e funzionino correttamente e che il segnale sia pulito da rumore eccessivo e rumore a 50 Hz.
      2. Se necessario, ridurre il rumore a 50 Hz allontanandosi dai dispositivi elettronici che potrebbero causare interferenze e scollegando i dispositivi non necessari dall'alimentazione. Attendere che il segnale si stabilizzi.
      3. Verificare l'acquisizione del segnale EMG: chiedere al partecipante di posizionare un gomito sulla poltrona e muovere le dita, quindi rilassarsi. Assicurarsi che venga visualizzato un segnale EMG chiaro seguito da rumore statico di base.
      4. Chiudere lo script una volta completata la verifica del segnale.
3. Revisione dei gesti e della posizione delle mani
   1. Apri la cartella Immagini cliccando su Finger_pose_estimation > Data_acquisition. Rivedi le immagini dei gesti con i partecipanti.
   2. Assicurati che comprendano ogni movimento e possano eseguirli con precisione. Spiega chiaramente le quattro posizioni delle mani al partecipante.
   3. Istruisci il partecipante su come tenere la mano prima di ogni sessione, assicurandoti una postura e un posizionamento corretti.
4. Posizionamento dei partecipanti e della telecamera
   1. Per la posizione delle mani 1, chiedere al partecipante di stare in posizione eretta a circa 1 m di distanza dal tavolo. Chiedi al partecipante di tenere la mano destra abbassata, dritta e rilassata, con il palmo rivolto verso la telecamera di tracciamento della mano. Fissa la fotocamera di tracciamento della mano sul tavolo con un selfie stick e indirizzala verso la mano del partecipante.
   2. Per la posizione delle mani 2, chiedi al partecipante di sedersi comodamente su una poltrona posizionata a 40-70 cm dai monitor. Chiedi al partecipante di estendere la mano destra in avanti a 90° con il palmo rilassato rivolto verso la telecamera di tracciamento della mano. Utilizzare un dispositivo di supporto, se necessario, per tenere stabile la mano. Posiziona la telecamera di tracciamento manuale sul tavolo rivolta verso l'alto.
      NOTA: Poiché al partecipante viene richiesto di rimanere in una postura fissa, è importante trovare una posizione comoda che possa mantenere durante la sessione.
   3. Per la posizione delle mani 3, istruire il partecipante a sedersi come descritto nel passaggio 3.4.2. Chiedi al partecipante di piegare la mano verso l'alto mentre appoggia il gomito sulla poltrona. Il palmo della mano deve essere rilassato e il partecipante deve essere rivolto verso la telecamera di tracciamento manuale. Fissa la telecamera di tracciamento della mano sul tavolo rivolto verso la mano del partecipante (usa un selfie stick se necessario). Assicurati che la posizione del partecipante sia ottimale sia per viewing gli schermi che per essere all'interno del campo visivo della telecamera.
   4. Monitora continuamente lo schermo che visualizza i dati di tracciamento della mano per assicurarti che la fotocamera rilevi la mano e le dita durante l'esperimento. Opzionale: verificare la qualità del segnale EMG (passaggio 3.2.6.) in ciascuna posizione della mano prima di iniziare l'esperimento.

4. Raccolta dei dati

1. Esecuzione dell'esperimento
   1. Apri Python e carica data_collection.py. Verificare che i parametri num_repetition, gesture_duration rest_duration siano impostati come desiderato.
      1. num_repetition: Definisce il numero di volte in cui viene mostrata ogni immagine gestuale. Per questo esperimento, impostalo su 7, il che significa che ogni immagine viene mostrata 7 volte. gesture_duration: specificare la durata (in s) durante la quale il partecipante esegue il gesto della mano. Per questo esperimento, impostarlo su 5 s, determinando per quanto tempo viene visualizzata ogni immagine gestuale. Rest_duration: specificare la durata (in s) durante la quale il partecipante rilassa il palmo della mano tra un gesto e l'altro. Per questo esperimento, impostarlo su 3 s.
   2. Regolare la posizione e l'angolazione della telecamera di tracciamento della mano in base alla posizione della mano del partecipante.
   3. Eseguire lo script data_collection.py. Apparirà una finestra per inserire i dettagli del partecipante (numero di serie, età, sesso, numero di sessione e posizione della mano). Completa queste informazioni e premi OK per avviare automaticamente l'esperimento.
2. Raccolta dei dati
   1. Per ogni sessione, registrare i dati EMG e di tracciamento manuale che vengono salvati automaticamente. Ripeti l'esperimento 4 volte per ogni partecipante, una volta per posizione della mano.

5. Fine dell'esperimento e gestione dei dati post-esperimento

1. Al termine dell'esperimento, i dati vengono salvati automaticamente. Assicurarsi che i dati siano salvati in una cartella etichettata con il numero di serie del partecipante. Ogni sessione è memorizzata in una sottocartella denominata S# (ad esempio, S1), con quattro sottocartelle per ogni posizione della mano P# (P1, P2, P3 e P4). La dimensione della cartella per una singola sessione è di circa 160 MB.
2. Se un partecipante completa più sessioni, assicurarsi che tutti i dati siano salvati nella cartella della sessione corrispondente (ad esempio, S1, S2).
3. File di dati
   Assicurarsi che ogni cartella di posizione della mano (P#) contenga i seguenti file: Dati EMG salvati in un file EDF, denominato come segue: fpe_pos{numero di posizione}_{numero di soggetto}_S{numero di sessione}_rep0_BT; dati di tracciamento manuale salvati in un file CSV, denominato fpe_pos{numero di posizione}_{numero soggetto}_S{numero di sessione}_rep0_BT_full; e un file di registro, log.txt, contenente i metadati relativi alla sessione.
4. Elaborazione dati
   NOTA: L'utente può scegliere come procedere con l'analisi del segnale e quali strumenti utilizzare. Qui, forniamo uno script per eseguire il filtraggio del segnale e la segmentazione dei dati in Python. Quando si utilizza Python, assicurarsi che tutte le dipendenze (ad esempio, Numpy, Pandas, SciPy, MNE, Sklearn) siano installate.
   1. Apri Python, carica data_analysis.py ed esegui lo script.
   2. Nella console apparirà la richiesta di fornire i parametri necessari per l'elaborazione dei dati: percorso del file EMG, percorso dei dati cinematici della mano, percorso in cui verranno salvati i dati elaborati, frequenza di campionamento in Hz, durata della finestra in ms e intervallo di falcata in ms.
   3. Seguendo questo passaggio, lo script eseguirà l'elaborazione dei dati.
   4. Filtraggio del segnale EMG: eseguire lo script come sopra. Lo script filtra prima il segnale sEMG applicando un filtro passa-alto Butterworth di 4° ordine con un cutoff di 20 Hz per rimuovere i segnali non EMG, quindi un filtro notch per rimuovere le armoniche a 50 Hz e 100 Hz. Inoltre, lo script applica la normalizzazione del segnale EMG.
   5. EMG, dati HKD e segmentazione dei gesti istruiti: eseguire lo script come sopra. Lo script applica la segmentazione, utilizzando una tecnica di finestra mobile definita dalla durata della finestra e dall'intervallo di falcata specificati. In questo esperimento, impostarli rispettivamente su 512 e 2 ms. Lo script trasforma quindi l'organizzazione del canale sEMG in una configurazione a griglia spaziale 4 x 4, mantenendo il layout dell'array di elettrodi. Infine, lo script genera un dizionario contenente metadati come file di sottaceti.
   6. Fasi di pulizia e convalida dei dati
      1. Identifica ed escludi dal set di dati i segmenti contenenti artefatti, rumore o etichette di gesti incoerenti.
      2. Garantisci la completezza dei segmenti e la continuità temporale tra le finestre per mantenere l'affidabilità dei dati.
      3. Confrontate i dati dei gesti con l'HKD per verificarne la coerenza. Rimuovi le finestre che mostrano modelli di gesti che si discostano dagli standard di sessione HKD.
      4. Rileva ed elimina i segmenti anomali che non sono conformi ai modelli cinematici previsti per la sessione.
      5. Esegui ulteriori analisi dei dati utilizzando algoritmi avanzati. Questi non sono forniti nel protocollo corrente.

Risultati

Il set di dati è costituito da due componenti sincronizzati nel tempo: un set di dati EMG a 16 canali e i dati provenienti da un sistema di telecamere di tracciamento manuale. I dati EMG a 16 canali catturano l'attività muscolare registrando i segnali elettrici provenienti da diversi muscoli nel tempo. Il sistema di tracciamento della mano fornisce 16 canali di dati corrispondenti ai punti chiave su un modello scheletrico della mano. Mentre il modello ha 21 punti, escluso il polso, questo numero è stato ridotto a 16 a causa dei limiti di movimento²⁴. L'EMG e i dati visivi sono stati raccolti eseguendo due processi separati sullo stesso computer durante la registrazione per stabilire la sincronia. Un timestamp è stato utilizzato per contrassegnare l'inizio di ogni processo, consentendo al codice di analisi dei dati di allineare l'attività muscolare e i dati di movimento della mano alla fine della registrazione. Le annotazioni di timestamp sono state salvate automaticamente sia in file EDF che in file CSV, segnando l'ora esatta in cui sono stati istruiti i gesti specifici delle dita e facilitando l'allineamento durante l'analisi dei dati. Il segnale EMG filtrato (filtro passa-alto Butterworth del 4° ordine a 20 Hz) è caratterizzato da una linea di base bassa (aree ombreggiate in grigio), che in genere rientra nell'intervallo di 3-9 μV²⁵. Questa linea di base si osserva quando la mano del soggetto è ferma e i muscoli sono a riposo. Tuttavia, se il tono muscolare è presente anche in posizione di riposo, è possibile rilevare un segnale EMG distinto. Gli artefatti meccanici causati dal movimento di solito si manifestano nell'intervallo 10-20 Hz e dovrebbero essere filtrati di conseguenza. Valori di base significativamente elevati possono indicare un'interferenza di linea a 50 Hz e dovrebbero essere evitati durante la fase di configurazione sperimentale. Nei casi in cui persiste un rumore moderato a 50 Hz; Viene applicato un filtro notch. Gli artefatti di movimento bruschi, che sono più difficili da rimuovere, appaiono spesso come picchi pronunciati di alta ampiezza nel segnale (vedere l'asterisco nella Figura 2A). L'ampiezza del segnale EMG attraverso l'array di 16 elettrodi varia, riflettendo la distribuzione spaziale dell'attività muscolare sulla regione misurata. Questa varianza fornisce preziose informazioni sull'eterogeneità della contrazione muscolare durante i gesti delle mani.

La telecamera di tracciamento manuale fornisce informazioni dirette sugli angoli delle dita (dati cinematici della mano, HKD), che dovrebbero essere strettamente correlati con i segnali EMG registrati. Durante i gesti, gli angoli delle dita sono nell'intervallo normale²⁶, a seconda del gesto specifico. Quando il percorso visivo tra la telecamera di tracciamento della mano e la mano non è ostruito, il segnale risultante è stabile e preciso, come dimostrato nella Figura 2. Tuttavia, nei casi in cui si perde il contatto visivo o quando il sistema presenta limitazioni tecniche, l'HKD può diventare irregolare, visualizzando salti tra valori errati. Tali dati anomali dovrebbero essere ridotti al minimo durante la raccolta dei dati e scartati nell'analisi finale per mantenere l'integrità dei risultati.

L'HKD è intuitivo e fornisce un confronto diretto con le gesti effettivamente eseguite. Presenta una bassa variabilità tra i soggetti e tra le diverse posizioni delle mani. Al contrario, i dati EMG tendono a variare in modo significativo tra gli individui a causa di differenze anatomiche come le dimensioni della mano e lo sviluppo muscolare²⁷. Inoltre, si può osservare variabilità tra mani dominanti e non dominanti. Questa variabilità specifica per argomento può essere affrontata durante l'analisi offline.

Nella Figura 2, è evidente che sia l'EMG che l'HKD sono sfalsati rispetto al trigger del gesto indicato. Questa discrepanza deriva dal tempo di risposta e dall'esecuzione naturale del movimento²⁸. Nelle attività di regressione, tale variabilità potrebbe contribuire alla ricchezza dei dati, mentre nelle attività di classificazione può essere gestita utilizzando un approccio del rapporto di verosimiglianza generalizzato, come applicato in scenari simili²⁸.

Figura 2: SEMG e HKD rappresentativi durante l'abduzione delle dita. Segnali di elettromiografia di superficie (sEMG) e dati cinematici della mano (HKD) registrati durante l'abduzione dinamica delle dita e il riposo eseguiti durante la posizione della mano 1 (mano in basso, dritta e rilassata) da un singolo partecipante. (A) Segnali EMG filtrati da 16 canali in funzione del tempo. L'asterisco (*) indica un artefatto meccanico rilevato nella registrazione EMG del canale 5. (B) HKD, che mostra gli angoli dei giunti in funzione del tempo. Gli angoli articolari sono misurati in varie articolazioni: trapeziometacarpale (TMC), metacarpo-falangea (MCP) e interfalangea prossimale (PIP). Le fasi dell'esperimento (riposo e abduzione) sono indicate lungo l'asse x. Clicca qui per visualizzare una versione più grande di questa figura.

Questi risultati rappresentativi hanno dimostrato l'utilità dei dati EMG e HKD sincronizzati nell'acquisizione dei gesti delle mani. L'allineamento dei segnali EMG con il corrispondente HKD consente di mappare l'attività muscolare su specifici movimenti delle dita. Durante la costruzione di un modello predittivo, i ricercatori possono utilizzare l'HKD come verità di base, verificando e perfezionando iterativamente le previsioni dei gesti basate sull'EMG. Questo approccio evidenzia l'applicabilità pratica del protocollo e suggerisce la necessità di ulteriori ricerche in contesti più naturali.

Figura 1 supplementare: Finestre dello spettrogramma visualizzate durante la fase di verifica del segnale. I pannelli di sinistra mostrano i dati EMG grezzi, mentre i pannelli di destra mostrano i domini di frequenza rilevati. (A) Esempio di un segnale EMG molto rumoroso con forti interferenze a 50 Hz e 100 Hz. (B) Esempio della stessa registrazione del segnale EMG dopo aver allontanato il partecipante dai dispositivi elettrici, ottenendo un segnale EMG pulito con interferenze minime. Clicca qui per scaricare questo file.

Discussione

Il protocollo presentato in questo studio delinea i passaggi critici, le modifiche e le strategie di risoluzione dei problemi volte a migliorare il riconoscimento dei gesti della mano attraverso la combinazione di segnali sEMG e HKD. Affronta i limiti chiave e confronta questo approccio con le alternative esistenti, evidenziando le sue potenziali applicazioni in vari domini di ricerca. Uno degli aspetti più importanti del protocollo è garantire il corretto posizionamento e allineamento della telecamera di tracciamento della mano. L'acquisizione accurata dei gesti dipende fortemente dall'angolazione e dalla distanza della fotocamera rispetto alla mano del partecipante. Anche lievi deviazioni nel posizionamento della fotocamera possono portare a imprecisioni di tracciamento, riducendo la fedeltà dei dati gestuali. Questo allineamento deve essere regolato con attenzione per ogni partecipante e posizione della mano per garantire una raccolta dati coerente e affidabile. Inoltre, è fondamentale che i partecipanti conoscano bene il protocollo per prevenire la perdita di dati spazzatura, in cui i gesti vengono eseguiti in modo errato o non allineati con il flusso sperimentale. Assicurarsi che i partecipanti si sentano a proprio agio e abbiano familiarità con i gesti e la configurazione sperimentale può ridurre al minimo il rumore dei dati e migliorare la qualità delle registrazioni.

Una sfida comune in questo tipo di studio è la contaminazione da rumore sia nella sEMG che nell'HKD. I segnali sEMG sono particolarmente sensibili a fattori come l'affaticamento muscolare, gli artefatti da movimento e il rumore ambientale come le interferenze elettromagnetiche. Le tecniche di pre-elaborazione, come il filtraggio passa-banda, sono essenziali per ridurre il rumore e migliorare la chiarezza del segnale. Il corretto posizionamento degli elettrodi e l'istruzione ai partecipanti di mantenere i muscoli rilassati durante le fasi di riposo possono mitigare ulteriormente gli artefatti di movimento. Nonostante queste precauzioni, una certa variabilità nei segnali sEMG è inevitabile a causa delle differenze individuali nell'anatomia, nella forza della mano e nei modelli di attivazione muscolare. Questa variabilità può essere affrontata attraverso algoritmi flessibili in grado di normalizzare queste differenze tra soggetti e condizioni.

Un fattore chiave per ottenere segnali sEMG di alta qualità è la verifica iniziale del segnale. I protocolli tradizionali che utilizzano elettrodi in gel richiedono una preparazione della pelle, come l'esfoliazione o la pulizia con alcol, per migliorare la chiarezza del segnale. Tuttavia, in uno studio precedente abbiamo dimostrato che con gli elettrodi asciutti, la preparazione della pelle potrebbe non influire in modo significativo sulla qualità del segnale²⁵. In questo protocollo, la pulizia della pelle è facoltativa e quindi semplifica il processo. Un altro problema legato alla pelle che influisce sulla qualità del segnale è l'eccessiva e folta peluria delle braccia. In questi casi, suggeriamo di radersi l'area o di escludere il soggetto dallo studio.

Una delle sfide critiche nell'utilizzo di sEMG per il riconoscimento dei gesti è la sua sensibilità al posizionamento delle mani. Anche quando si esegue lo stesso gesto, le variazioni nell'orientamento della mano possono portare a diversi modelli di segnale EMG. Per affrontare questo problema, sono essenziali modelli di apprendimento automatico in grado di adattarsi alla variabilità nelle posizioni delle mani²². Questi modelli devono essere addestrati con i dati provenienti da più posture della mano per migliorare la robustezza e la generalizzabilità. La sincronizzazione dei dati visivi e sEMG è un'altra considerazione importante. La temporizzazione coerente dei gesti è fondamentale per evitare discrepanze tra l'esecuzione dei gesti e la registrazione dei dati. Questo protocollo utilizza conti alla rovescia visivi e segnali acustici per garantire che vengano impiegati tempi accurati e passaggi di ricalibrazione quando necessario per correggere eventuali disallineamenti durante la raccolta dei dati.

Nonostante i suoi punti di forza, questo protocollo presenta diverse limitazioni. Uno dei principali vincoli è il campo visivo limitato della telecamera di tracciamento manuale, che richiede che le mani del partecipante rimangano all'interno del raggio di rilevamento della telecamera. Ciò limita l'analisi a un piccolo insieme di movimenti. Per gli esperimenti al di fuori del laboratorio sarà necessaria un'imaging video più complessa o l'uso di guanti intelligenti. L'affaticamento dei partecipanti rappresenta una sfida anche durante le sessioni più lunghe, influenzando potenzialmente l'accuratezza dei gesti e l'attivazione muscolare, che possono degradare la qualità dei dati sEMG. Per mitigare questi effetti, potrebbe essere necessario limitare la durata della sessione o introdurre pause per ridurre al minimo l'affaticamento. Inoltre, l'interferenza della linea elettrica può introdurre rumore nei segnali sEMG, in particolare quando i partecipanti sono vicini al PC per l'acquisizione dei dati. Una versione wireless del sistema potrebbe ridurre tali interferenze consentendo ai partecipanti di essere più lontani dal computer.

Una significativa limitazione metodologica del rilevamento dei gesti delle dita basato su EMG deriva dall'elevata variabilità inter-soggetto nei segnali sEMG, che richiede lo sviluppo di modelli personalizzati per ciascun partecipante. Questo approccio specifico per materia, sebbene più accurato, limita la scalabilità del protocollo e richiede ulteriore tempo di calibrazione e formazione per ogni nuovo utente. I flussi di dati EMG e HKD mostrano differenze minime di sincronizzazione temporale dovute alla registrazione a doppio processo. Queste discrepanze temporali hanno un impatto minimo sull'analisi dei gesti statici poiché le pose mantenute sono temporalmente stabili. La natura sostenuta dei gesti statici fornisce un tempo adeguato per la stabilizzazione sia dell'EMG che delle caratteristiche cinematiche, a differenza dei gesti dinamici, che richiedono una sincronizzazione più precisa.

Un vantaggio chiave di questo metodo è la sua flessibilità nell'acquisizione dei gesti. A differenza di altri sistemi che richiedono configurazioni rigide e parametri gestuali rigorosi, questo protocollo si adatta a posizioni delle mani dinamiche e flessibili¹⁹. Questa flessibilità è particolarmente utile negli studi volti ad analizzare un'ampia gamma di movimenti, rendendoli più adattabili alle applicazioni del mondo reale. Inoltre, questo protocollo è conveniente rispetto ai sistemi di motion capture e sEMG più avanzati, che spesso comportano configurazioni complesse²⁹. Integrando una telecamera di tracciamento manuale con algoritmi sEMG semi-automatici, questo metodo fornisce una valida alternativa per gli studi di riconoscimento dei gesti senza compromettere la qualità dei dati. Inoltre, il potenziale del sistema per l'elaborazione dei dati in tempo reale apre possibilità di feedback immediato in applicazioni come la neuroprotesi e la riabilitazione, dove la reattività in tempo reale è essenziale. Questo protocollo ha implicazioni significative per diversi campi, in particolare per la neuroprotesi. La previsione accurata dei gesti delle mani dai segnali sEMG è fondamentale per il controllo degli arti protesici e la flessibilità nel posizionamento della mano offerta da questo metodo lo rende un candidato ideale per i dispositivi protesici in tempo reale. In riabilitazione, questo protocollo potrebbe essere impiegato per monitorare e migliorare il recupero motorio in pazienti con disabilità della mano o delle dita. Analizzando i modelli di attivazione muscolare durante l'esecuzione dei gesti, questo sistema potrebbe essere utilizzato per adattare gli esercizi di riabilitazione alle esigenze individuali, offrendo un approccio personalizzato al recupero motorio. Per l'interazione uomo-computer (HCI), questo metodo consente sistemi di controllo basati sui gesti più naturali, migliorando l'intuitività e l'efficacia delle interfacce utente. Infine, il protocollo potrebbe essere applicato a studi ergonomici per valutare in che modo le diverse posizioni e gesti delle mani influenzano l'attività muscolare e l'affaticamento, portando potenzialmente a progressi nella progettazione del posto di lavoro e nell'ergonomia dell'utente.

Per garantire una forza di contrazione costante tra i partecipanti, studi futuri potrebbero implementare un guanto con resistori sensibili alla forza per misurare direttamente la forza. Ciò consentirebbe uno sforzo standardizzato tra le materie, migliorando l'affidabilità dei dati EMG. Inoltre, l'integrazione di questa misurazione della forza come etichetta nella cinematica articolare fornirebbe una rappresentazione più dettagliata dello stato interno del muscolo, arricchendo potenzialmente l'analisi della funzione muscolare e dei modelli di movimento. Questo approccio non solo migliorerebbe la coerenza dei dati, ma offrirebbe anche informazioni più approfondite sulla relazione tra contrazione muscolare e movimento articolare.

In conclusione, questo protocollo fornisce un approccio nuovo e flessibile al riconoscimento dei gesti delle mani con ampie applicazioni in neuroprotesi, riabilitazione, HCI ed ergonomia. Sebbene il sistema presenti dei limiti, la sua flessibilità, l'economicità e il potenziale di utilizzo in tempo reale rappresentano progressi sostanziali rispetto ai metodi esistenti. Questi punti di forza lo rendono uno strumento promettente per l'ulteriore sviluppo e innovazione delle tecnologie di riconoscimento dei gesti.

Materiali

Name	Company	Catalog Number	Comments
Adjustable Selfie Stick			Used to position and angle the hand-tracking camera in the desired orientation for optimal data capture during the experiment.
Alcohol pad			To clean the area for electrode placement.
Data acquisition unit (DAU)	X-trodes Ltd.	XTR-BT V1.3	Realtime compatible DAU 2.0.17 or 4.0.1
Finger Gestures Recognition library			https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2	Ultraleap	129-SP4-00005-03	Hand-tracking camera
Long Type-C to Type-C cable			Connection of the hand-tracking camera to the PC.
PC Monitors			One for guidelines, one for viewing the hand-tracking camera data
Personal Computer (PC)	Windows		Windows 10+; Processors: Inteli7 processor. BT receiver.
Python code			A script enabling seamless data streaming and recording up to 500 S/s when DAU is connected to PC via Bluetooth
Ultraleap Camera Python API	Ultraleap		Python API and instructions from Ultraleap’s GitHub repository (https://github.com/ultraleap/leapc-python-bindings) used to collect data from the Ultraleap unit during the experiment
Ultraleap Hyperion	Ultraleap		Tracking software
XTR EXG16	X-trodes Ltd.	XTELC0003405RM	16-channel wearable dry electrode array patch for EMG, ECG monitoring
X-trodes PC App	X-trodes Ltd.	1.1.35.0	An application for connecting X-trodes DAU to PC via BT