Capture dynamique des gestes du doigt grâce à l’électromyographie de surface haute résolution et à la vision par ordinateur

Résumé

L’article présente un protocole complet pour enregistrer simultanément l’électromyographie de la main (EMG) et le suivi visuel des doigts pendant la gestuelle naturelle des doigts. Les données visuelles sont conçues pour servir de vérité de terrain pour le développement de modèles informatiques précis basés sur l’EMG pour la reconnaissance des gestes des doigts.

Résumé

Les gestes du doigt sont un élément essentiel de la communication humaine et, à ce titre, la reconnaissance des gestes du doigt est largement étudiée en tant qu’interface homme-machine pour des prothèses de pointe et une rééducation optimisée. L’électromyographie de surface (sEMG), en conjonction avec les méthodes d’apprentissage profond, est considérée comme une méthode prometteuse dans ce domaine. Cependant, les méthodes actuelles reposent souvent sur des configurations d’enregistrement lourdes et l’identification de positions statiques des mains, ce qui limite leur efficacité dans les applications réelles. Le protocole que nous rapportons ici présente une approche avancée combinant un EMG de surface portable et un système de suivi des doigts pour capturer des données complètes lors de mouvements dynamiques de la main. La méthode enregistre l’activité musculaire à partir de réseaux d’électrodes imprimées souples (16 électrodes) placés sur l’avant-bras pendant que les sujets effectuent des gestes dans différentes positions de la main et pendant le mouvement. Des instructions visuelles incitent les sujets à effectuer des gestes spécifiques pendant que l’EMG et les positions des doigts sont enregistrés. L’intégration d’enregistrements EMG synchronisés et de données de suivi des doigts permet une analyse complète des modèles d’activité musculaire et des gestes correspondants. L’approche présentée démontre le potentiel de la combinaison des technologies EMG et de suivi visuel en tant que ressource importante pour le développement de systèmes de reconnaissance gestuelle intuitifs et réactifs avec des applications dans les prothèses, la réadaptation et les technologies interactives. Ce protocole vise à guider les chercheurs et les praticiens, en favorisant l’innovation et l’application de la reconnaissance gestuelle dans des scénarios dynamiques et réels.

Introduction

La gestuelle de la main est essentielle dans la communication humaine, ce qui fait de la reconnaissance des gestes des doigts un domaine de recherche crucial dans des domaines tels que l’interaction homme-machine, les prothèses avancées 1,2,3,4 et les technologies de réadaptation ^5,6. Par conséquent, la reconnaissance gestuelle des doigts a suscité beaucoup d’attention en raison de son potentiel à améliorer les systèmes de contrôle intuitifs et les appareils d’assistance. L’électromyographie de surface (sEMG) combinée à des algorithmes d’apprentissage profond apparaît comme une approche très prometteuse pour capturer et interpréter ces gestes en raison de sa capacité à détecter l’activité électrique des muscles associés aux mouvements de la main 7,8,9,10,11,12,13,14,15.

Cependant, malgré ces avancées, les approches actuelles se heurtent à des limites dans les applications réelles. La plupart des systèmes existants nécessitent des configurations d’enregistrement complexes et encombrantes avec de nombreuses électrodes 5,7,9,16,17 et un positionnement précis ^3,18, qui sont souvent difficiles à mettre en œuvre en dehors des environnements contrôlés. De plus, ces systèmes ont tendance à se concentrer sur les positions statiques des mains 13,18,19,20,21, limitant leur capacité à interpréter les gestes dynamiques et fluides qui se produisent dans les activités quotidiennes. Le protocole vise à remédier à ces limitations en prenant en charge la reconnaissance dynamique des gestes dans des conditions plus naturelles. Une telle méthodologie permettrait des applications plus pratiques et plus conviviales dans des domaines tels que les prothèses et la rééducation, où l’interprétation naturelle des gestes en temps réel est essentielle.

Pour relever ces défis, le développement d’algorithmes plus précis et adaptables nécessite des ensembles de données qui reflètent les conditions naturelles et quotidiennes ^3,4. Ces ensembles de données doivent capturer un large éventail de mouvements dynamiques, différentes positions des mains et de grands volumes de données pour garantir la robustesse du modèle. De plus, la variabilité entre les ensembles de données d’entraînement et de test est cruciale, car elle permet aux modèles de généraliser à différentes postures de la main, modèles d’activation musculaire et mouvements. L’intégration d’une telle diversité dans les données permettra aux algorithmes d’effectuer la reconnaissance gestuelle avec plus de précision dans des applications quotidiennes et réelles²².

Surmonter ces défis sera essentiel pour le développement futur de systèmes de reconnaissance gestuelle plus pratiques et largement applicables. L’étude et le protocole décrits ici découlent de la nécessité d’avoir une configuration portable et conviviale capable de capturer les mouvements dynamiques de la main dans des environnements naturels. Des ensembles de données complets et des algorithmes avancés sont essentiels pour libérer pleinement le potentiel du sEMG et de l’apprentissage profond dans les interfaces homme-machine, les neuroprothèses et les technologies de réadaptation. Nous nous attendons à ce que ce protocole contribue au domaine en facilitant la collecte complète de données afin de permettre le développement de modèles d’algorithmes qui se généralisent à diverses positions de la main.

Un défi important dans la reconnaissance des gestes réside dans la sensibilité des signaux sEMG au positionnement de la main. Alors que de nombreuses études se concentrent sur les positions des mains fixes pour la prédiction des gestes, les applications du monde réel exigent des modèles capables de reconnaître les mouvements des doigts dans diverses postures de la main. Des approches récentes ont résolu ce problème en incorporant la vision par ordinateur comme référence de vérité terrain, améliorant ainsi la précision et la flexibilité de ces modèles^15,19. De plus, les modèles hybrides qui intègrent des signaux sEMG avec des données visuelles offrent des améliorations supplémentaires en termes de précision de reconnaissance dans divers scénarios²³.

Dans ce protocole, nous présentons une approche synchronisée de la collecte de données qui améliore la reconnaissance dynamique des gestes en incorporant à la fois des données EMG et de suivi des mains dans des conditions réelles. Contrairement aux méthodes traditionnelles qui limitent la performance des gestes à des positions statiques, ce protocole comprend des gestes effectués sur quatre positions distinctes : main vers le bas, main vers le haut, main droite et main en mouvement. La caméra de suivi des mains suit les mouvements de la main dans une zone interactive tridimensionnelle, identifiant les éléments distincts de la main et capturant des mouvements dynamiques avec une haute résolution. Un réseau d’électrodes souples de 16 électrodes placé sur l’avant-bras pour enregistrer l’activité musculaire offre des enregistrements stables et sans fil sans entraver la mobilité des participants. Les données synchronisées provenant de ces deux sources constituent une base complète pour le développement d’algorithmes avancés de reconnaissance gestuelle capables de fonctionner dans des conditions réelles. L’approche s’attaque spécifiquement aux limites des configurations actuelles en facilitant la libre circulation et l’enregistrement stable du signal dans des scénarios réalistes. Cette avancée prend en charge les technologies de reconnaissance gestuelle pour les applications dans les prothèses, la réadaptation et les technologies interactives, où le contrôle intuitif et la flexibilité sont essentiels.

Protocole

Des participants en bonne santé (n = 18, âgés de 18 à 32 ans, hommes et femmes) ont été recrutés pour cette étude, qui a été approuvée par le comité d’éthique de l’Université de Tel Aviv (n° d’approbation 0004877-3). Le protocole respecte les lignes directrices du conseil pour la recherche impliquant des participants humains. Le consentement éclairé de tous les participants a été obtenu, conformément aux exigences de l’établissement.

1. Briefing de l’expérimentateur

1. Demandez aux participants d’effectuer une série de 14 gestes distincts du doigt (voir la figure 1) et de répéter chaque geste 7 fois dans une séquence aléatoire. Demandez-leur de maintenir fermement chaque geste pendant 5 s, suivis d’une période de repos de 3 s. La durée totale de chaque séance est de 13:04 min.
2. Une grande image du geste affichée sur un écran d’ordinateur est accompagnée d’un compte à rebours pour indiquer la performance du geste. Pendant la période de repos, demandez au participant de regarder la petite image du geste à venir affichée, ainsi qu’une minuterie indiquant le temps de repos restant. Deux bips sonores distincts signalent le début et la fin de chaque geste, aidant les participants à se préparer pour le geste suivant.
3. Demandez à chaque participant d’exécuter la procédure dans quatre positions différentes, similaires aux²² précédemment présentées :
   Position 1 : Participant debout. De la main, droit et détendu.
   Position 2 : Participant assis dans le fauteuil. Main tendue vers l’avant à 90°, paume détendue (un dispositif de soutien peut être utilisé).
   Position 3 : Main repliée vers le haut (avec un coude posé sur le fauteuil), paume détendue.
   Position 4 : Le participant choisit l’une des positions précédentes et peut déplacer librement la main dans la plage de détection de la caméra, surveillée en temps réel sur un écran de PC (voir l’étape 1.4 pour plus de détails).
4. Pour chaque séance, faites porter au participant un appareil d’électromyographie sur le bras et positionnez une caméra de suivi de la main vers lui. Demandez aux participants de s’assurer que leurs paumes sont toujours face à la caméra. Le logiciel de suivi des mains est affiché sur un écran séparé afin que le participant et le chef d’orchestre puissent vérifier que la main est correctement reconnue.
5. Pour chaque position, ajustez la position et l’angle de la caméra de suivi des mains pour assurer une reconnaissance précise des mains. De plus, évaluez la qualité des signaux des électrodes à l’aide du script du spectrogramme.

Figure 1 : Représentation schématique du processus de collecte de données. Le sujet est équipé d’un réseau d’électrodes souples placé sur l’avant-bras (3), qui capte les signaux d’électromyographie de surface à haute résolution (sEMG) pendant la performance gestuelle. Le sujet effectue 14 gestes différents présentés dans un ordre aléatoire sur un écran d’ordinateur (4). Les données EMG sont transmises sans fil à un ordinateur personnel (PC) à partir de l’unité d’acquisition de données (DAU ; 1). Simultanément, les données cinématiques de la main (HKD) représentant les angles d’articulation des doigts sont capturées à l’aide d’une caméra de suivi de la main (2). Veuillez cliquer ici pour voir une version agrandie de cette figure.

2. Mise en place des unités d’acquisition de données

1. Ouvrez le dépôt Github à l’https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git et suivez les instructions détaillées dans la section Installation. Localisez le fichier Python principal data_collection.py dans le dossier finger_pose_estimation/data_acquisition. Utilisez cette spectrogram.py pour exécuter l’expérience, utilisez le script pour évaluer la qualité du signal EMG avant le début de l’expérience, et le script data_analysis.py pour le filtrage et la segmentation du signal.
2. Assurez-vous que l’unité d’acquisition de données (DAU) EMG est complètement chargée avant chaque session et allumez-la.
3. Connectez le DAU au PC via Bluetooth à l’aide de l’application dédiée. Réglez le débit de communication Bluetooth sur 500 échantillons par seconde (S/s).
4. Installez et ouvrez le logiciel de la caméra de suivi des mains sur le PC. Connectez la caméra de suivi des mains au PC à l’aide d’un câble.
5. Utilisez un seul écran pour toujours afficher le logiciel de la caméra de suivi des mains. De cette façon, le chef d’orchestre et le participant pourront s’assurer que la caméra reconnaît correctement la main pendant l’expérience.

3. Préparation du participant

1. Introduction et consentement
   1. Expliquez brièvement la pertinence de l’étude et la procédure expérimentale au participant. Obtenir un consentement éclairé conformément aux lignes directrices de l’établissement pour la recherche avec des êtres humains.
2. Placement des électrodes
   1. Demandez au participant de fléchir sa main droite en formant un poing fort. Pendant que le participant fléchit, palpez l’avant-bras en appuyant doucement le long du muscle pour identifier l’endroit où l’activation musculaire est la plus proéminente. Cet emplacement est facilement identifiable en sentant la zone où le muscle gonfle lors de la contraction.
   2. Facultatif : Préparez la zone cutanée identifiée en la nettoyant avec un chiffon sans fibres d’alcool, un gel de préparation ou de l’eau et du savon. Laissez la zone sécher à l’air. Évitez un nettoyage excessif avec de l’alcool, car cela pourrait assécher la peau. Cette étape est facultative ; Voir la section Discussion.
   3. Décollez la couche protectrice blanche du réseau d’électrodes EMG et fixez soigneusement les électrodes à la zone identifiée de l’avant-bras, comme déterminé à l’étape 3.2.1. (voir Figure 1). Assurez-vous que le ruban adhésif est plus proche de la paume. Fixez le réseau d’électrodes à la peau en tapotant doucement.
   4. Une fois le réseau d’électrodes fixé à la peau, décollez la couche de support transparente.
   5. Insérez la carte de connecteur du réseau d’électrodes dans la prise de connecteur du DAU. Fixez le DAU au ruban adhésif à côté des électrodes.
   6. Exécutez un script de spectrogramme Python personnalisé Spectrogram.py pour vérifier la qualité du signal en temps réel. Une fenêtre apparaîtra affichant les données brutes (à gauche) et le domaine fréquentiel (à droite) pour toutes les électrodes (voir la figure supplémentaire 1 pour référence).
      1. Vérifiez que toutes les électrodes sont détectées et fonctionnent correctement et que le signal est exempt de bruit excessif et de bruit de 50 Hz.
      2. Si nécessaire, réduisez le bruit de 50 Hz en vous éloignant des appareils électroniques susceptibles de provoquer des interférences et en débranchant les appareils inutiles de l’alimentation. Laissez le temps au signal de se stabiliser.
      3. Vérifiez la capture du signal EMG : demandez au participant de placer un coude sur le fauteuil et de bouger les doigts, puis de se détendre. Assurez-vous qu’un signal EMG clair est affiché, suivi d’un bruit de base statique.
      4. Fermez le script une fois la vérification du signal terminée.
3. Examen du geste et de la position de la main
   1. Ouvrez le dossier Images en cliquant sur Finger_pose_estimation > Data_acquisition. Passez en revue les images gestuelles avec les participants.
   2. Assurez-vous qu’ils comprennent chaque mouvement et qu’ils peuvent les exécuter avec précision. Expliquez clairement les quatre positions des mains au participant.
   3. Expliquez au participant comment tenir la main avant chaque séance, en veillant à ce qu’il adopte une posture et un positionnement appropriés.
4. Positionnement du participant et de la caméra
   1. Pour la position de la main 1, demandez au participant de se tenir droit à environ 1 m de la table. Demandez au participant de tenir la main droite vers le bas, droite et détendue, la paume face à la caméra de suivi des mains. Fixez la caméra de suivi des mains sur la table à l’aide d’une perche à selfie et dirigez-la vers la main du participant.
   2. Pour la position des mains 2, demandez au participant de s’asseoir confortablement dans un fauteuil positionné à 40-70 cm des moniteurs. Demandez au participant d’étendre la main droite vers l’avant à 90° avec une paume détendue face à la caméra de suivi des mains. Utilisez un dispositif de support, si nécessaire, pour maintenir la main stable. Placez la caméra de suivi des mains sur la table vers le haut.
      REMARQUE : Comme le participant est prié de rester dans une posture fixe, il est important de trouver une position confortable qu’il peut maintenir tout au long de la session.
   3. Pour la position 3 de la main, demandez au participant de s’asseoir comme décrit à l’étape 3.4.2. Demandez au participant de plier la main vers le haut tout en posant le coude sur le fauteuil. La paume doit être détendue et le participant doit faire face à la caméra de suivi des mains. Fixez la caméra de suivi des mains sur la table face à la main du participant (utilisez une perche à selfie si nécessaire). Assurez-vous que la position du participant est optimale pour regarder les écrans et être dans le champ de vision de la caméra.
   4. Surveillez en permanence l’écran affichant les données de suivi des mains pour vous assurer que la caméra détecte la main et les doigts tout au long de l’expérience. Facultatif : vérifiez la qualité du signal EMG (étape 3.2.6.) dans chaque position de la main avant de commencer l’expérience.

4. Collecte des données

1. Déroulement de l’expérience
   1. Ouvrez Python et chargez-data_collection.py. Vérifiez que les paramètres num_repetition, gesture_duration rest_duration sont définis comme vous le souhaitez.
      1. num_repetition : Définissez le nombre de fois que chaque image de mouvement est affichée. Pour cette expérience, réglez-la sur 7, ce qui signifie que chaque image est affichée 7 fois. gesture_duration : Indiquez la durée (en s) pendant laquelle le participant effectue le geste de la main. Pour cette expérience, réglez-la sur 5 s, en déterminant la durée d’affichage de chaque image de mouvement. Rest_duration : Spécifiez la durée (en s) pendant laquelle le participant détend sa paume entre les gestes. Pour cette expérience, réglez-la sur 3 s.
   2. Ajustez la position et l’angle de la caméra de suivi des mains en fonction de la position de la main du participant.
   3. Exécutez le script data_collection.py. Une fenêtre apparaîtra pour saisir les coordonnées du participant (numéro de série, âge, sexe, numéro de session et position de la main). Complétez ces informations et appuyez sur OK pour démarrer l’expérience automatiquement.
2. Collecte de données
   1. Pour chaque séance, enregistrez les données EMG et de suivi des mains qui sont automatiquement enregistrées. Répétez l’expérience 4 fois pour chaque participant, une fois par position de la main.

5. Fin de l’expérience et traitement des données post-expérience

1. Une fois l’expérience terminée, les données sont automatiquement enregistrées. Assurez-vous que les données sont enregistrées dans un dossier étiqueté avec le numéro de série du participant. Chaque session est stockée dans un sous-dossier nommé S# (par exemple, S1), avec quatre sous-dossiers pour chaque position de main P# (P1, P2, P3 et P4). La taille du dossier pour une seule session est d’environ 160 Mo.
2. Si un participant termine plusieurs sessions, assurez-vous que toutes les données sont enregistrées dans le dossier de session correspondant (par exemple, S1, S2).
3. Fichiers de données
   Assurez-vous que chaque dossier de position de la main (P#) contient les fichiers suivants : Données EMG enregistrées dans un fichier EDF, nommé comme suit : fpe_pos{numéro de position}_{numéro de sujet}_S{numéro de session}_rep0_BT ; les données de suivi des mains enregistrées dans un fichier CSV, nommé fpe_pos{numéro de poste}_{numéro de sujet}_S{numéro de session}_rep0_BT_full ; et un fichier journal, log.txt, contenant des métadonnées sur la session.
4. Traitement des données
   REMARQUE : L’utilisateur peut choisir la façon de procéder à l’analyse du signal et les outils à utiliser. Ici, nous fournissons un script pour effectuer le filtrage du signal et la segmentation des données en Python. Lorsque vous utilisez Python, assurez-vous que toutes les dépendances (par exemple, Numpy, Pandas, SciPy, MNE, Sklearn) sont installées.
   1. Ouvrez Python, chargez-data_analysis.py et exécutez le script.
   2. La demande apparaîtra dans la console pour fournir les paramètres nécessaires au traitement des données : chemin vers le fichier EMG, chemin vers les données cinématiques de la main, chemin où les données traitées seront enregistrées, fréquence d’échantillonnage en Hz, durée de la fenêtre en ms et intervalle de foulée en ms.
   3. Après cette étape, le script effectuera le traitement des données.
   4. Filtrage du signal EMG : exécutez le script comme ci-dessus. Le script filtre d’abord le signal sEMG en appliquant un filtre passe-haut Butterworth de 4e ordre avec une coupure de 20 Hz pour supprimer les signaux non EMG, puis un filtre coupe-bande pour supprimer les harmoniques de 50 Hz et 100 Hz. De plus, le script applique la normalisation du signal EMG.
   5. Segmentation des mouvements EMG, HKD et instructions : exécutez le script comme ci-dessus. Le script applique la segmentation, en utilisant une technique de fenêtre mobile définie par la durée de la fenêtre spécifiée et l’intervalle de foulée. Dans cette expérience, réglez-les sur 512 et 2 ms, respectivement. Le script transforme ensuite l’organisation des canaux sEMG en une configuration de grille spatiale 4 x 4 tout en conservant la disposition du réseau d’électrodes. Enfin, le script génère un dictionnaire contenant des métadonnées sous la forme d’un fichier pickle.
   6. Étapes de nettoyage et de validation des données
      1. Identifiez et excluez du jeu de données les segments contenant des artefacts, du bruit ou des étiquettes de mouvement incohérentes.
      2. Assurez l’exhaustivité des segments et la continuité temporelle entre les fenêtres pour maintenir la fiabilité des données.
      3. Vérifiez la cohérence des données de mouvement par rapport au HKD. Supprimez les fenêtres affichant des modèles de mouvement qui s’écartent des normes de session HKD.
      4. Détectez et éliminez les segments aberrants qui ne sont pas conformes aux modèles cinématiques attendus pour la session.
      5. Effectuez une analyse plus approfondie des données à l’aide d’algorithmes avancés. Ceux-ci ne sont pas prévus dans le protocole actuel.

Résultats

L’ensemble de données se compose de deux composants synchronisés dans le temps : un ensemble de données EMG à 16 canaux et des données provenant d’un système de caméra de suivi manuel. Les données EMG à 16 canaux capturent l’activité musculaire en enregistrant les signaux électriques de différents muscles au fil du temps. Le système de suivi de la main fournit 16 canaux de données correspondant à des points clés sur un modèle squelettique de la main. Alors que le modèle comporte 21 points, hors poignet, ce nombre a été réduit à 16 en raison des contraintes de mouvement²⁴. Les données EMG et visuelles ont été collectées en exécutant deux processus distincts sur le même ordinateur pendant l’enregistrement afin d’établir la synchronie. Un horodatage a été utilisé pour marquer le début de chaque processus, ce qui a permis au code d’analyse des données d’aligner les données d’activité musculaire et de mouvement de la main à la fin de l’enregistrement. Les annotations d’horodatage ont été enregistrées automatiquement dans les fichiers EDF et CSV, marquant l’heure exacte à laquelle des gestes spécifiques du doigt ont été instruits et facilitant l’alignement lors de l’analyse des données. Le signal EMG filtré (filtre passe-haut Butterworth de 4e ordre 20 Hz) est caractérisé par une ligne de base basse (zones grisées), qui se situe généralement dans la plage de 3 à 9 μV²⁵. Cette ligne de base est observée lorsque la main du sujet est immobile et que les muscles sont au repos. Cependant, si le tonus musculaire est présent même en position de repos, un signal EMG distinct peut être détecté. Les artefacts mécaniques causés par le mouvement se manifestent généralement dans la gamme 10-20 Hz et doivent être filtrés en conséquence. Des valeurs de référence significativement élevées peuvent indiquer un brouillage de ligne de 50 Hz et doivent être évitées pendant la phase de configuration expérimentale. Dans les cas où un bruit modéré de 50 Hz persiste ; Un filtre à encoche est appliqué. Les artefacts de mouvement brusques, qui sont plus difficiles à éliminer, apparaissent souvent sous la forme de pics prononcés de haute amplitude dans le signal (voir astérisque dans la figure 2A). L’amplitude du signal EMG à travers le réseau de 16 électrodes varie, reflétant la distribution spatiale de l’activité musculaire sur la région mesurée. Cette variance fournit des informations précieuses sur l’hétérogénéité de la contraction musculaire lors des gestes de la main.

La caméra de suivi de la main fournit des informations directes sur les angles des doigts (données cinématiques de la main, HKD), qui sont censées être étroitement corrélées avec les signaux EMG enregistrés. Pendant les gestes, les angles des doigts dans la plage normale^{sont de 26}, en fonction du geste spécifique. Lorsque le chemin visuel entre la caméra de suivi de la main et la main n’est pas obstrué, le signal résultant est stable et précis, comme le montre la figure 2. Cependant, dans les cas où le contact visuel est perdu ou lorsque le système connaît des limitations techniques, le HKD peut devenir erratique, affichant des sauts entre des valeurs incorrectes. Ces données aberrantes doivent être minimisées lors de la collecte des données et éliminées dans l’analyse finale afin de préserver l’intégrité des résultats.

Le HKD est intuitif et permet une comparaison directe avec les gestes réels effectués. Il présente une faible variabilité entre les sujets et entre les différentes positions des mains. En revanche, les données EMG ont tendance à varier considérablement entre les individus en raison de différences anatomiques telles que la taille de la main et le développement musculaire²⁷. De plus, une variabilité peut être observée entre les mains dominantes et non dominantes. Cette variabilité spécifique au sujet peut être abordée lors de l’analyse hors ligne.

Dans la figure 2, il est évident que l’EMG et le HKD sont tous deux décalés par rapport au déclencheur de mouvement indiqué. Cet écart est dû au temps de réponse et à l’exécution naturelle du mouvement²⁸. Dans les tâches de régression, une telle variabilité pourrait contribuer à la richesse des données, tandis que dans les tâches de classification, elle peut être gérée à l’aide d’une approche de rapport de vraisemblance généralisé, telle qu’appliquée dans des scénarios similaires²⁸.

Figure 2 : SEMG et HKD représentatifs lors de l’abduction d’un doigt. Signaux d’électromyographie de surface (sEMG) et données cinématiques de la main (HKD) enregistrés pendant l’abduction dynamique des doigts et le repos effectués pendant la position 1 de la main (main vers le bas, droite et détendue) par un seul participant. (A) Signaux EMG filtrés à partir de 16 canaux en fonction du temps. L’astérisque (*) désigne un artefact mécanique détecté dans l’enregistrement EMG du canal 5. (B) HKD, montrant les angles des articulations en fonction du temps. Les angles articulaires sont mesurés au niveau de diverses articulations : trapézo-métacarpienne (TMC), métacarpo-phalangienne (MCP) et interphalangienne proximale (PIP). Les phases de l’expérience (repos et abduction) sont indiquées le long de l’axe des abscisses. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Ces résultats représentatifs ont démontré l’utilité des données EMG et HKD synchronisées dans la capture des gestes de la main. L’alignement des signaux EMG avec la HKD correspondante permet de cartographier l’activité musculaire sur des mouvements spécifiques des doigts. Lors de la construction d’un modèle prédictif, les chercheurs peuvent utiliser HKD comme vérité terrain, en vérifiant et en affinant de manière itérative les prédictions de gestes basées sur l’EMG. Cette approche met en évidence l’applicabilité pratique du protocole et suggère la nécessité de poursuivre les recherches dans des contextes plus naturels.

Figure supplémentaire 1 : Fenêtres du spectrogramme affichées pendant l’étape de vérification du signal. Les panneaux de gauche affichent les données EMG brutes, tandis que les panneaux de droite affichent les domaines fréquentiels détectés. (A) Exemple d’un signal EMG très bruyant avec de forts brouillages de 50 Hz et 100 Hz. (B) Exemple du même enregistrement du signal EMG après avoir éloigné le participant des appareils électriques, ce qui a donné un signal EMG propre avec un minimum d’interférences. Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Le protocole présenté dans cette étude décrit les étapes critiques, les modifications et les stratégies de dépannage visant à améliorer la reconnaissance des gestes de la main grâce à la combinaison des signaux sEMG et HKD. Il aborde les principales limites et compare cette approche aux alternatives existantes, en mettant en évidence ses applications potentielles dans divers domaines de recherche. L’un des aspects les plus importants du protocole est d’assurer le positionnement et l’alignement corrects de la caméra de suivi des mains. La précision de la capture gestuelle dépend fortement de l’angle et de la distance de la caméra par rapport à la main du participant. Même de légers écarts dans le positionnement de la caméra peuvent entraîner des inexactitudes de suivi, réduisant ainsi la fidélité des données gestuelles. Cet alignement doit être soigneusement ajusté pour chaque participant et la position de la main afin d’assurer une collecte de données cohérente et fiable. De plus, il est crucial que les participants connaissent bien le protocole afin d’éviter les données indésirables, c’est-à-dire lorsque les gestes sont soit mal exécutés, soit mal alignés avec le flux expérimental. S’assurer que les participants sont à l’aise et familiers avec les gestes et la configuration expérimentale peut minimiser le bruit des données et améliorer la qualité des enregistrements.

Un défi commun dans ce type d’étude est la contamination par le bruit dans le sEMG et le HKD. Les signaux sEMG sont particulièrement sensibles à des facteurs tels que la fatigue musculaire, les artefacts de mouvement et le bruit ambiant comme les interférences électromagnétiques. Les techniques de prétraitement, telles que le filtrage passe-bande, sont essentielles pour réduire le bruit et améliorer la clarté du signal. Le placement approprié des électrodes et l’instruction aux participants de maintenir des muscles détendus pendant les phases de repos peuvent atténuer davantage les artefacts de mouvement. Malgré ces précautions, une certaine variabilité des signaux sEMG est inévitable en raison des différences individuelles dans l’anatomie, la force de la main et les modèles d’activation musculaire. Cette variabilité peut être abordée à l’aide d’algorithmes flexibles capables de normaliser ces différences entre les sujets et les conditions.

La vérification initiale du signal est un facteur clé pour obtenir des signaux sEMG de haute qualité. Les protocoles traditionnels utilisant des électrodes en gel nécessitent une préparation de la peau, comme l’exfoliation ou le nettoyage à l’alcool, pour améliorer la clarté du signal. Cependant, dans une étude précédente, nous avons montré qu’avec des électrodes sèches, la préparation de la peau peut ne pas avoir d’impact significatif sur la qualité du signal²⁵. Dans ce protocole, le nettoyage de la peau est facultatif et simplifie ainsi le processus. Un autre problème lié à la peau affectant la qualité du signal est la pilosité excessive et épaisse des bras. Dans ce cas, nous vous suggérons soit de raser la zone, soit d’exclure le sujet de l’étude.

L’un des principaux défis de l’utilisation du sEMG pour la reconnaissance gestuelle est sa sensibilité au positionnement de la main. Même lors de l’exécution du même geste, les variations d’orientation de la main peuvent entraîner différents modèles de signaux EMG. Pour résoudre ce problème, il est essentiel de disposer de modèles d’apprentissage automatique capables de s’adapter à la variabilité des positions des mains²². Ces modèles doivent être entraînés avec des données provenant de plusieurs postures de la main pour améliorer la robustesse et la généralisabilité. La synchronisation des données visuelles et sEMG est une autre considération importante. Il est essentiel d’assurer un timing cohérent des gestes pour éviter les écarts entre l’exécution du geste et l’enregistrement des données. Ce protocole utilise des comptes à rebours visuels et des repères auditifs pour garantir que des étapes de chronométrage et de réétalonnage précises sont utilisées si nécessaire pour corriger tout désalignement lors de la collecte de données.

Malgré ses points forts, ce protocole présente plusieurs limites. L’une des principales contraintes est le champ de vision limité de la caméra de suivi des mains, qui oblige les mains du participant à rester dans la portée de détection de la caméra. Cela limite l’analyse à un petit ensemble de mouvements. Pour les expériences en dehors du laboratoire, une imagerie vidéo plus complexe sera nécessaire ou l’utilisation de gants intelligents. La fatigue des participants pose également un défi lors de sessions plus longues, affectant potentiellement la précision des gestes et l’activation musculaire, ce qui peut dégrader la qualité des données sEMG. Pour atténuer ces effets, il peut être nécessaire de limiter la durée de la séance ou d’introduire des pauses pour minimiser la fatigue. De plus, les interférences CPL peuvent introduire du bruit dans les signaux sEMG, en particulier lorsque les participants sont à proximité du PC pour la capture de données. Une version sans fil du système pourrait réduire ces interférences en permettant aux participants d’être plus éloignés de l’ordinateur.

Une limitation méthodologique importante de la détection des mouvements du doigt basée sur l’EMG provient de la grande variabilité inter-sujets des signaux sEMG, ce qui nécessite le développement de modèles personnalisés pour chaque participant. Cette approche spécifique au sujet, bien que plus précise, limite l’évolutivité du protocole et nécessite un étalonnage et un temps de formation supplémentaires pour chaque nouvel utilisateur. Les flux de données EMG et HKD présentent des différences mineures de synchronisation temporelle en raison de l’enregistrement à double processus. Ces écarts de timing ont un impact minime sur l’analyse des gestes statiques puisque les poses maintenues sont temporellement stables. La nature soutenue des gestes statiques laisse suffisamment de temps pour que les caractéristiques EMG et cinématiques se stabilisent, contrairement aux gestes dynamiques, qui nécessitent une synchronisation plus précise.

L’un des principaux avantages de cette méthode est sa flexibilité dans la capture des gestes. Contrairement à d’autres systèmes qui nécessitent des configurations rigides et des paramètres de geste stricts, ce protocole s’adapte aux positions de main dynamiques et flexibles¹⁹. Cette flexibilité est particulièrement utile dans les études visant à analyser une large gamme de mouvements, ce qui la rend plus adaptable aux applications du monde réel. De plus, ce protocole est rentable par rapport aux systèmes de capture de mouvement et sEMG plus avancés, qui impliquent souvent des configurations complexes²⁹. En intégrant une caméra de suivi des mains à des algorithmes sEMG semi-automatisés, cette méthode offre une alternative viable pour les études de reconnaissance gestuelle sans compromettre la qualité des données. De plus, le potentiel du système pour le traitement des données en temps réel ouvre des possibilités de retour d’information immédiat dans des applications telles que les neuroprothèses et la rééducation, où la réactivité en temps réel est essentielle. Ce protocole a des implications importantes pour plusieurs domaines, notamment les neuroprothèses. La prédiction précise des gestes de la main à partir des signaux sEMG est cruciale pour le contrôle des membres prothétiques, et la flexibilité de positionnement de la main offerte par cette méthode en fait un candidat idéal pour les dispositifs prothétiques en temps réel. En réadaptation, ce protocole pourrait être utilisé pour surveiller et améliorer la récupération motrice chez les patients atteints de déficiences de la main ou des doigts. En analysant les schémas d’activation musculaire pendant la performance gestuelle, ce système pourrait être utilisé pour adapter les exercices de rééducation aux besoins individuels, offrant une approche personnalisée de la récupération motrice. Pour l’interaction homme-machine (IHM), cette méthode permet des systèmes de contrôle basés sur les gestes plus naturels, améliorant ainsi l’intuitivité et l’efficacité des interfaces utilisateur. Enfin, le protocole pourrait être appliqué à des études ergonomiques afin d’évaluer comment différentes positions et gestes des mains influencent l’activité musculaire et la fatigue, ce qui pourrait mener à des progrès dans la conception du lieu de travail et l’ergonomie de l’utilisateur.

Pour assurer une force de contraction constante chez tous les participants, des études futures pourraient mettre en œuvre un gant avec des résistances sensibles à la force pour mesurer directement la force. Cela permettrait de normaliser l’effort entre les sujets, ce qui améliorerait la fiabilité des données EMG. De plus, l’intégration de cette mesure de force en tant qu’étiquette dans la cinématique articulaire fournirait une représentation plus détaillée de l’état interne du muscle, enrichissant potentiellement l’analyse de la fonction musculaire et des schémas de mouvement. Cette approche permettrait non seulement d’améliorer la cohérence des données, mais aussi d’offrir des informations plus approfondies sur la relation entre la contraction musculaire et le mouvement articulaire.

En conclusion, ce protocole offre une approche nouvelle et flexible de la reconnaissance des gestes de la main avec de larges applications dans les neuroprothèses, la réadaptation, l’HCI et l’ergonomie. Bien que le système ait des limites, sa flexibilité, sa rentabilité et son potentiel d’utilisation en temps réel représentent des avancées substantielles par rapport aux méthodes existantes. Ces points forts en font un outil prometteur pour le développement et l’innovation dans les technologies de reconnaissance gestuelle.

matériels

Name	Company	Catalog Number	Comments
Adjustable Selfie Stick			Used to position and angle the hand-tracking camera in the desired orientation for optimal data capture during the experiment.
Alcohol pad			To clean the area for electrode placement.
Data acquisition unit (DAU)	X-trodes Ltd.	XTR-BT V1.3	Realtime compatible DAU 2.0.17 or 4.0.1
Finger Gestures Recognition library			https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2	Ultraleap	129-SP4-00005-03	Hand-tracking camera
Long Type-C to Type-C cable			Connection of the hand-tracking camera to the PC.
PC Monitors			One for guidelines, one for viewing the hand-tracking camera data
Personal Computer (PC)	Windows		Windows 10+; Processors: Inteli7 processor. BT receiver.
Python code			A script enabling seamless data streaming and recording up to 500 S/s when DAU is connected to PC via Bluetooth
Ultraleap Camera Python API	Ultraleap		Python API and instructions from Ultraleap’s GitHub repository (https://github.com/ultraleap/leapc-python-bindings) used to collect data from the Ultraleap unit during the experiment
Ultraleap Hyperion	Ultraleap		Tracking software
XTR EXG16	X-trodes Ltd.	XTELC0003405RM	16-channel wearable dry electrode array patch for EMG, ECG monitoring
X-trodes PC App	X-trodes Ltd.	1.1.35.0	An application for connecting X-trodes DAU to PC via BT