Captura de gestos dinámicos con los dedos con electromiografía de superficie de alta resolución y visión artificial

Resumen

El artículo presenta un protocolo integral para registrar simultáneamente la electromiografía de mano (EMG) y el seguimiento visual de los dedos durante el gesto natural de los dedos. Los datos visuales están diseñados para servir como la verdad fundamental para el desarrollo de modelos computacionales precisos basados en EMG para el reconocimiento de gestos con los dedos.

Resumen

Los gestos con los dedos son un elemento crítico en la comunicación humana y, como tal, el reconocimiento de gestos con los dedos se ha estudiado ampliamente como una interfaz humano-computadora para prótesis de última generación y rehabilitación optimizada. La electromiografía de superficie (sEMG), junto con los métodos de aprendizaje profundo, se considera un método prometedor en este dominio. Sin embargo, los métodos actuales a menudo se basan en configuraciones de grabación engorrosas y la identificación de posiciones estáticas de las manos, lo que limita su efectividad en aplicaciones del mundo real. El protocolo que presentamos aquí presenta un enfoque avanzado que combina una EMG de superficie portátil y un sistema de seguimiento de dedos para capturar datos completos durante los movimientos dinámicos de la mano. El método registra la actividad muscular a partir de matrices de electrodos impresas en papel blando (16 electrodos) colocadas en el antebrazo mientras los sujetos realizan gestos en diferentes posiciones de las manos y durante el movimiento. Las instrucciones visuales indican a los sujetos que realicen gestos específicos mientras se registran las posiciones de EMG y de los dedos. La integración de registros EMG sincronizados y datos de seguimiento de dedos permite un análisis exhaustivo de los patrones de actividad muscular y los gestos correspondientes. El enfoque reportado demuestra el potencial de la combinación de tecnologías EMG y de seguimiento visual como un recurso importante para desarrollar sistemas de reconocimiento de gestos intuitivos y receptivos con aplicaciones en prótesis, rehabilitación y tecnologías interactivas. Este protocolo tiene como objetivo guiar a los investigadores y profesionales, fomentando una mayor innovación y aplicación del reconocimiento de gestos en escenarios dinámicos y del mundo real.

Introducción

Los gestos con las manos son esenciales en la comunicación humana, por lo que el reconocimiento de los gestos con los dedos es un área crucial de investigación en campos como la interacción humano-computadora, las prótesis avanzadas 1,2,3,4 y las tecnologías de rehabilitación ^5,6. Como resultado, el reconocimiento de gestos con los dedos ha atraído una atención significativa por su potencial para mejorar los sistemas de control intuitivos y los dispositivos de asistencia. La electromiografía de superficie (sEMG) combinada con algoritmos de aprendizaje profundo se perfila como un enfoque muy prometedor para capturar e interpretar estos gestos debido a su capacidad para detectar la actividad eléctrica de los músculos asociada a los movimientos de las manos 7,8,9,10,11,12,13,14,15.

Sin embargo, a pesar de estos avances, los enfoques actuales enfrentan limitaciones en las aplicaciones del mundo real. La mayoría de los sistemas existentes requieren configuraciones de registro complejas y engorrosas con numerosos electrodos 5,7,9,16,17 y posicionamiento preciso ^3,18, que a menudo son difíciles de implementar fuera de entornos controlados. Además, estos sistemas tienden a centrarse en las posiciones estáticas de las manos 13,18,19,20,21, lo que limita su capacidad para interpretar los gestos dinámicos y fluidos que se producen en las actividades diarias. El protocolo tiene como objetivo abordar estas limitaciones al apoyar el reconocimiento dinámico de gestos en condiciones más naturales. Esta metodología permitiría aplicaciones más prácticas y fáciles de usar en áreas como las prótesis y la rehabilitación, donde la interpretación de gestos naturales en tiempo real es esencial.

Para abordar estos desafíos, el desarrollo de algoritmos más precisos y adaptables requiere conjuntos de datos que reflejen las condiciones naturales y cotidianas ^3,4. Dichos conjuntos de datos deben capturar una amplia gama de movimientos dinámicos, varias posiciones de la mano y grandes volúmenes de datos para garantizar la solidez del modelo. Además, la variabilidad entre los conjuntos de datos de entrenamiento y prueba es crucial, lo que permite a los modelos generalizar a través de diferentes posturas de manos, patrones de activación muscular y movimientos. La incorporación de esta diversidad en los datos permitirá a los algoritmos realizar el reconocimiento de gestos con mayor precisión en aplicaciones cotidianas del mundo real²².

La superación de estos desafíos será esencial para el desarrollo futuro de sistemas de reconocimiento de gestos más prácticos y ampliamente aplicables. El estudio y el protocolo descritos aquí surgen de la necesidad de contar con una configuración portátil y fácil de usar que pueda capturar los movimientos dinámicos de la mano en entornos naturales. Los conjuntos de datos completos y los algoritmos avanzados son fundamentales para aprovechar al máximo el potencial de la sEMG y el aprendizaje profundo en las interfaces humano-ordenador, las neuroprótesis y las tecnologías de rehabilitación. Esperamos que este protocolo contribuya al campo al facilitar la recopilación integral de datos para permitir aún más el desarrollo de modelos de algoritmos que se generalicen en diversas posiciones de la mano.

Un desafío importante en el reconocimiento de gestos radica en la sensibilidad de las señales sEMG a la posición de la mano. Si bien muchos estudios se centran en las posiciones fijas de las manos para la predicción de gestos, las aplicaciones del mundo real exigen modelos capaces de reconocer los movimientos de los dedos en varias posturas de las manos. Enfoques recientes han abordado esto mediante la incorporación de la visión por computadora como referencia de la realidad fundamental, mejorando la precisión y flexibilidad de estos modelos^15,19. Además, los modelos híbridos que integran señales sEMG con datos visuales ofrecen nuevas mejoras en la precisión del reconocimiento en diversos escenarios²³.

En este protocolo, presentamos un enfoque sincronizado para la recopilación de datos que mejora el reconocimiento dinámico de gestos mediante la incorporación de datos de EMG y seguimiento de manos en condiciones similares al mundo real. A diferencia de los métodos tradicionales que restringen la ejecución de gestos a posiciones estáticas, este protocolo incluye gestos realizados en cuatro posiciones distintas: mano abajo, mano arriba, mano recta y mano en movimiento. La cámara de seguimiento de manos rastrea los movimientos de la mano dentro de una zona interactiva tridimensional, identificando distintos elementos de la mano y capturando movimientos dinámicos con alta resolución. Un conjunto de electrodos blandos de 16 electrodos colocados en el antebrazo para registrar la actividad muscular ofrece grabaciones estables e inalámbricas sin impedir la movilidad de los participantes. Los datos sincronizados de estas dos fuentes proporcionan una base completa para el desarrollo de algoritmos avanzados de reconocimiento de gestos capaces de operar en condiciones del mundo real. El enfoque aborda específicamente las limitaciones de las configuraciones actuales al facilitar el movimiento libre y la grabación estable de la señal en escenarios realistas. Este avance es compatible con las tecnologías de reconocimiento de gestos para aplicaciones en prótesis, rehabilitación y tecnologías interactivas, donde el control intuitivo y la flexibilidad son esenciales.

Protocolo

Se reclutaron participantes sanos (n = 18, de 18 a 32 años, tanto hombres como mujeres) para este estudio, que fue aprobado por la Junta de Revisión de Ética de la Universidad de Tel Aviv (Aprobación No. 0004877-3). El protocolo se adhiere a las pautas de la junta para la investigación que involucra participantes humanos. Se obtuvo el consentimiento informado de todos los participantes de acuerdo con los requisitos institucionales.

1. Sesión informativa para experimentadores

1. Pida a los participantes que realicen una serie de 14 gestos distintos con los dedos (véase la Figura 1) y que repitan cada gesto 7 veces en una secuencia aleatoria. Pídales que mantengan cada gesto firmemente durante 5 segundos, seguidos de un período de descanso de 3 segundos. La duración total de cada sesión es de 13:04 min.
2. Una imagen grande del gesto que se muestra en la pantalla de una computadora va acompañada de un temporizador de cuenta regresiva para indicar el rendimiento del gesto. Durante el período de descanso, pida al participante que mire la pequeña imagen del próximo gesto que se muestra, junto con un temporizador que indica el tiempo de descanso restante. Dos pitidos distintos señalan el inicio y el final de cada gesto, lo que ayuda a los participantes a prepararse para el siguiente gesto.
3. Pida a cada participante que ejecute el procedimiento en cuatro posiciones diferentes, similares a las²² presentadas anteriormente:
   Posición 1: Participante de pie. Con la mano hacia abajo, recto y relajado.
   Posición 2: Participante sentado en el sillón. Mano extendida hacia adelante a 90°, palma relajada (se puede usar un dispositivo de soporte).
   Posición 3: Mano doblada hacia arriba (con el codo apoyado en el sillón), palma relajada.
   Posición 4: El participante elige una de las posiciones anteriores y puede mover la mano libremente dentro del rango de detección de la cámara, monitoreado en tiempo real en la pantalla de una PC (consulte el paso 1.4 para obtener más detalles).
4. Para cada sesión, haga que el participante use un dispositivo de electromiografía en el brazo y coloque una cámara de seguimiento de mano hacia él. Pida a los participantes que se aseguren de que sus palmas siempre miren hacia la cámara. El software de seguimiento de la mano se muestra en una pantalla separada para que tanto el participante como el conductor puedan verificar que la mano se reconoce correctamente.
5. Para cada posición, ajuste la posición y el ángulo de la cámara de seguimiento de manos para garantizar un reconocimiento preciso de la mano. Además, evalúe la calidad de las señales de los electrodos utilizando el script del espectrograma.

Figura 1: Representación esquemática del proceso de recolección de datos. El sujeto está equipado con una guía de electrodos blandos colocada en el antebrazo (3), que captura señales de electromiografía de superficie (sEMG) de alta resolución durante la realización de gestos. El sujeto realiza 14 gestos diferentes con los dedos presentados en orden aleatorio en la pantalla de una computadora (4). Los datos EMG se transmiten de forma inalámbrica a un ordenador personal (PC) desde la unidad de adquisición de datos (DAU; 1). Al mismo tiempo, los datos cinemáticos de la mano (HKD) que representan los ángulos de las articulaciones de los dedos se capturan utilizando una cámara de seguimiento de la mano (2). Haga clic aquí para ver una versión más grande de esta figura.

2. Configuración de las unidades de adquisición de datos

1. Abra el repositorio de Github en https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git y siga las instrucciones detalladas en la sección Instalación. Localice el archivo principal de Python data_collection.py en la carpeta finger_pose_estimation/data_acquisition. Utilícelo para ejecutar el experimento, utilice el spectrogram.py de script para evaluar la calidad de la señal EMG antes de que comience el experimento, y el script data_analysis.py para el filtrado y la segmentación de señales.
2. Asegúrese de que la unidad de adquisición de datos (DAU) EMG esté completamente cargada antes de cada sesión y enciéndala.
3. Conecte el DAU a la PC a través de Bluetooth usando la aplicación dedicada. Establezca la velocidad de comunicación Bluetooth en 500 muestras por segundo (S/s).
4. Instale y abra el software de la cámara de seguimiento de manos en la PC. Conecte la cámara de seguimiento manual a la PC mediante un cable.
5. Utilice una pantalla para mostrar siempre el software de la cámara de seguimiento manual. De esta manera, el conductor y el participante podrán asegurarse de que la cámara reconoce correctamente la mano durante el experimento.

3. Preparación de los participantes

1. Introducción y consentimiento
   1. Explique brevemente la relevancia del estudio y el procedimiento experimental al participante. Obtener el consentimiento informado siguiendo los lineamientos institucionales para la investigación con seres humanos.
2. Colocación de electrodos
   1. Indique al participante que flexione su mano derecha formando un puño fuerte. Mientras el participante se flexiona, palpa el antebrazo presionando suavemente a lo largo del músculo para identificar el punto donde la activación muscular es más prominente. Esta ubicación es fácilmente identificable al palpar el área donde el músculo se abulta durante la contracción.
   2. Opcional: Prepare el área de la piel identificada limpiándola con un paño sin fibra de alcohol, gel de preparación o agua y jabón. Deje que el área se seque al aire. Evite la limpieza excesiva con alcohol, ya que puede resecar la piel. Este paso es opcional; Consulte la sección de discusión.
   3. Retire la capa protectora blanca de la guía de electrodos EMG y fije cuidadosamente los electrodos al área del antebrazo identificada como se determinó en el paso 3.2.1. (ver Figura 1). Asegúrese de que la cinta adhesiva esté más cerca de la palma. Fije la guía de electrodos a la piel dando golpecitos suaves.
   4. Una vez que la guía de electrodos esté unida a la piel, retire la capa de soporte transparente.
   5. Inserte la tarjeta del conector de la guía de electrodos en el zócalo del conector de la DAU. Fije el DAU a la cinta adhesiva junto a los electrodos.
   6. Ejecute Spectrogram.py de script de espectrograma de Python personalizado para verificar la calidad de la señal en tiempo real. Aparecerá una ventana que muestra los datos brutos (a la izquierda) y el dominio de frecuencia (a la derecha) para todos los electrodos (consulte la Figura complementaria 1 como referencia).
      1. Verifique que todos los electrodos se detecten y funcionen correctamente y que la señal esté limpia de ruido excesivo y ruido de 50 Hz.
      2. Si es necesario, reduzca el ruido de 50 Hz alejándose de los dispositivos electrónicos que puedan causar interferencias y desconectando los dispositivos innecesarios de la alimentación. Deje tiempo para que la señal se estabilice.
      3. Verifique la captura de la señal EMG: indique al participante que coloque un codo en el sillón y mueva los dedos, luego relájese. Asegúrese de que se muestre una señal EMG clara seguida de ruido de referencia estático.
      4. Cierre el script una vez que se complete la verificación de la señal.
3. Revisión de la posición de los gestos y las manos
   1. Abra la carpeta Imágenes haciendo clic en Finger_pose_estimation > Data_acquisition. Revisa las imágenes de los gestos con los participantes.
   2. Asegúrese de que entiendan cada movimiento y puedan realizarlo con precisión. Explique claramente al participante las cuatro posiciones de las manos.
   3. Instruya al participante sobre cómo sostener la mano antes de cada sesión, asegurando la postura y el posicionamiento adecuados.
4. Posicionamiento de los participantes y de la cámara
   1. Para la posición de la mano 1, indique al participante que se pare derecho a aproximadamente 1 m de distancia de la mesa. Indique al participante que mantenga la mano derecha hacia abajo, recta y relajada, con la palma hacia la cámara de seguimiento de manos. Fije la cámara de seguimiento de manos en la mesa con un palo de selfie y diríjala a la mano del participante.
   2. Para la posición de la mano 2, indique al participante que se siente cómodamente en un sillón colocado a 40-70 cm de los monitores. Indique al participante que extienda la mano derecha hacia adelante a 90° con la palma relajada frente a la cámara de seguimiento de manos. Use un dispositivo de soporte, si es necesario, para mantener la mano firme. Coloque la cámara de seguimiento de manos sobre la mesa boca arriba.
      NOTA: Como se solicita al participante que permanezca en una postura fija, es importante encontrar una posición cómoda que pueda mantener durante toda la sesión.
   3. Para la posición de la mano 3, indique al participante que se siente como se describe en el paso 3.4.2. Indique al participante que doble la mano hacia arriba mientras apoya el codo en el sillón. La palma de la mano debe estar relajada y el participante debe mirar hacia la cámara de seguimiento de manos. Fije la cámara de seguimiento de manos en la mesa frente a la mano del participante (use un palo de selfie si es necesario). Asegúrese de que la posición del participante sea óptima tanto para ver las pantallas como para estar dentro del campo de visión de la cámara.
   4. Supervise continuamente la pantalla que muestra los datos de seguimiento de la mano para asegurarse de que la cámara detecte la mano y los dedos durante todo el experimento. Opcional: verifique la calidad de la señal EMG (paso 3.2.6.) en cada posición de la mano antes de comenzar el experimento.

4. Recopilación de datos

1. Ejecución del experimento
   1. Abra Python y cargue data_collection.py. Verifique que los parámetros num_repetition, gesture_duration rest_duration estén configurados como se desee.
      1. num_repetition: Define el número de veces que se muestra cada imagen de gesto. Para este experimento, establézcalo en 7, lo que significa que cada imagen se muestra 7 veces. gesture_duration: Especifique la duración (en s) durante la cual el participante realiza el gesto con la mano. Para este experimento, establézcalo en 5 s, determinando cuánto tiempo se muestra cada imagen de gesto. Rest_duration: Especifique el tiempo (en s) durante el cual el participante relaja la palma de la mano entre gestos. Para este experimento, ajústelo a 3 s.
   2. Ajuste la posición y el ángulo de la cámara de seguimiento de la mano a la posición de la mano del participante.
   3. Ejecute el data_collection.py script. Aparecerá una ventana para introducir los datos del participante (número de serie, edad, sexo, número de sesión y posición de la mano). Complete esta información y pulse OK para iniciar el experimento automáticamente.
2. Recogida de datos
   1. Para cada sesión, registre los datos de EMG y seguimiento de manos que se guardan automáticamente. Repita el experimento 4 veces para cada participante, una vez por posición de la mano.

5. Manejo de datos de fin de experimento y post-experimento

1. A medida que se completa el experimento, los datos se guardan automáticamente. Asegúrese de que los datos se guarden en una carpeta etiquetada con el número de serie del participante. Cada sesión se almacena en una subcarpeta denominada S# (por ejemplo, S1), con cuatro subcarpetas para cada posición de mano P# (P1, P2, P3 y P4). El tamaño de la carpeta para una sola sesión es de aproximadamente 160 MB.
2. Si un participante completa varias sesiones, asegúrese de que todos los datos se guarden en la carpeta de sesión correspondiente (por ejemplo, S1, S2).
3. Archivos de datos
   Asegúrese de que cada carpeta de posición manual (P#) contenga los siguientes archivos: Datos EMG guardados en un archivo EDF, denominados de la siguiente manera: fpe_pos{número de posición}_{número de asunto}_S{número de sesión}_rep0_BT; datos de seguimiento manual guardados en un archivo CSV, llamado fpe_pos{número de posición}_{número de asunto}_S{número de sesión}_rep0_BT_full; y un archivo de registro, log.txt, que contiene metadatos sobre la sesión.
4. Procesamiento de datos
   NOTA: Un usuario puede elegir cómo proceder con el análisis de la señal y qué herramientas utilizar. Aquí, proporcionamos un script para realizar el filtrado de señales y la segmentación de datos en Python. Cuando use Python, asegúrese de que todas las dependencias (por ejemplo, Numpy, Pandas, SciPy, MNE, Sklearn) estén instaladas.
   1. Abra Python, cargue data_analysis.py y ejecute el script.
   2. Aparecerá una solicitud en la consola para proporcionar los parámetros necesarios para el procesamiento de datos: ruta al archivo EMG, ruta a los datos cinemáticos manuales, ruta donde se guardarán los datos procesados, frecuencia de muestreo en Hz, duración de la ventana en ms e intervalo de zancada en ms.
   3. Después de ese paso, el script realizará el procesamiento de datos.
   4. Filtrado de señal EMG: Ejecute el script como se indicó anteriormente. El script primero filtra la señal sEMG aplicando un filtro de paso alto Butterworth de 4º orden con un corte de 20 Hz para eliminar las señales que no son EMG, luego un filtro de muesca para eliminar los armónicos de 50 Hz y 100 Hz. Además, el script aplica la normalización de la señal EMG.
   5. EMG, datos HKD y segmentación de gestos instruidos: Ejecute el script como se indicó anteriormente. El script aplica la segmentación, utilizando una técnica de ventana móvil definida por la duración de la ventana y el intervalo de zancada especificados. En este experimento, establézcalos en 512 y 2 ms, respectivamente. A continuación, el script transforma la organización del canal sEMG en una configuración de cuadrícula espacial de 4 x 4 mientras se mantiene el diseño de la guía de electrodos. Por último, el script genera un diccionario que contiene metadatos como un archivo pickle.
   6. Pasos de limpieza y validación de datos
      1. Identifique y excluya segmentos que contengan artefactos, ruido o etiquetas de gestos incoherentes del conjunto de datos.
      2. Garantice la integridad de los segmentos y la continuidad temporal en todas las ventanas para mantener la fiabilidad de los datos.
      3. Comprueba la coherencia de los datos de los gestos con el HKD. Elimine las ventanas que muestran patrones de gestos que se desvían de los estándares de sesión de HKD.
      4. Detecte y descarte los segmentos atípicos que no se ajusten a los patrones cinemáticos esperados para la sesión.
      5. Realice más análisis de datos utilizando algoritmos avanzados. Estos no están previstos en el protocolo actual.

Resultados

El conjunto de datos consta de dos componentes sincronizados en el tiempo: un conjunto de datos EMG de 16 canales y datos de un sistema de cámara de seguimiento manual. Los datos EMG de 16 canales capturan la actividad muscular mediante el registro de señales eléctricas de diferentes músculos a lo largo del tiempo. El sistema de seguimiento de la mano proporciona 16 canales de datos correspondientes a puntos clave en un modelo esquelético de la mano. Si bien el modelo tiene 21 puntos, excluyendo la muñeca, este número se redujo a 16 debido a las restricciones de movimiento²⁴. Los datos EMG y visuales se recopilaron ejecutando dos procesos separados en la misma computadora durante el registro para establecer la sincronía. Se utilizó una marca de tiempo para marcar el inicio de cada proceso, lo que permitió que el código de análisis de datos alineara la actividad muscular y los datos de movimiento de la mano al final de la grabación. Las anotaciones de marca de tiempo se guardaron automáticamente en archivos EDF y CSV, marcando el momento exacto en que se instruyeron gestos específicos con los dedos y facilitando la alineación durante el análisis de datos. La señal EMG filtrada (filtro de paso alto Butterworth de 4º orden de 20 Hz) se caracteriza por una línea de base baja (áreas sombreadas en gris), que normalmente se encuentra dentro del rango de 3-9 μV²⁵. Esta línea de base se observa cuando la mano del sujeto está inmóvil y los músculos están en reposo. Sin embargo, si el tono muscular está presente incluso en la posición de reposo, se puede detectar una señal EMG distinta. Los artefactos mecánicos causados por el movimiento generalmente se manifiestan en el rango de 10-20 Hz y deben filtrarse en consecuencia. Los valores de referencia significativamente elevados pueden indicar interferencia de línea de 50 Hz y deben evitarse durante la etapa de configuración experimental. En los casos en que persista un ruido moderado de 50 Hz; Se aplica un filtro de muesca. Los artefactos de movimiento brusco, que son más difíciles de eliminar, a menudo aparecen como picos pronunciados de alta amplitud en la señal (ver asterisco en la Figura 2A). La amplitud de la señal EMG a través de la guía de 16 electrodos varía, reflejando la distribución espacial de la actividad muscular en la región medida. Esta variación proporciona información valiosa sobre la heterogeneidad de la contracción muscular durante los gestos con las manos.

La cámara de seguimiento de manos proporciona información directa de los ángulos de los dedos (datos cinemáticos de la mano, HKD), que se espera que se correlacionen estrechamente con las señales EMG registradas. Durante los gestos, los ángulos de los dedos están en el rango normal^{de 26}, dependiendo del gesto específico. Cuando la trayectoria visual entre la cámara de seguimiento manual y la mano no está obstruida, la señal resultante es estable y precisa, como se muestra en la Figura 2. Sin embargo, en los casos en que se pierde el contacto visual o cuando el sistema experimenta limitaciones técnicas, el HKD puede volverse errático, mostrando saltos entre valores incorrectos. Estos datos atípicos deben minimizarse durante la recopilación de datos y descartarse en el análisis final para mantener la integridad de los resultados.

El HKD es intuitivo y proporciona una comparación directa con los gestos reales realizados. Presenta una baja variabilidad entre sujetos y en las diferentes posiciones de la mano. Por el contrario, los datos de EMG tienden a variar significativamente entre individuos debido a diferencias anatómicas como el tamaño de la mano y el desarrollo muscular²⁷. Además, se puede observar variabilidad entre manos dominantes y no dominantes. Esta variabilidad específica del tema se puede abordar durante el análisis fuera de línea.

En la Figura 2, es evidente que tanto el EMG como el HKD están desplazados en relación con el disparador de gestos instruido. Esta discrepancia surge debido al tiempo de respuesta y a la ejecución natural del movimiento²⁸. En las tareas de regresión, dicha variabilidad podría contribuir a la riqueza de los datos, mientras que en las tareas de clasificación, puede gestionarse utilizando un enfoque de razón de verosimilitud generalizada, como se aplica en escenarios similares²⁸.

Figura 2: Representativos de sEMG y HKD durante la abducción de los dedos. Señales de electromiografía de superficie (sEMG) y datos cinemáticos de la mano (HKD) registrados durante la abducción dinámica del dedo y el descanso realizado durante la posición de la mano 1 (mano abajo, recta y relajada) por un solo participante. (A) Señales EMG filtradas de 16 canales en función del tiempo. El asterisco (*) denota un artefacto mecánico detectado en la grabación EMG del canal 5. (B) HKD, mostrando los ángulos de unión en función del tiempo. Los ángulos articulares se miden en varias articulaciones: trapeciometacarpiana (TMC), metacarpofalángica (MCP) e interfalángica proximal (PIP). Las fases del experimento (reposo y abducción) se indican a lo largo del eje x. Haga clic aquí para ver una versión más grande de esta figura.

Estos resultados representativos demostraron la utilidad de los datos sincronizados de EMG y HKD en la captura de gestos con las manos. La alineación de las señales EMG con el HKD correspondiente permite mapear la actividad muscular con movimientos específicos de los dedos. Al construir un modelo predictivo, los investigadores pueden usar HKD como verdad fundamental, verificando y refinando iterativamente las predicciones de gestos basadas en EMG. Este enfoque pone de relieve la aplicabilidad práctica del protocolo y sugiere la necesidad de seguir investigando en entornos más naturales.

Figura complementaria 1: Ventanas de espectrograma mostradas durante el paso de verificación de la señal. Los paneles de la izquierda muestran los datos EMG sin procesar, mientras que los paneles de la derecha muestran los dominios de frecuencia detectados. (A) Ejemplo de una señal EMG muy ruidosa con fuertes interferencias de 50 Hz y 100 Hz. (B) Ejemplo de la misma grabación de la señal EMG después de alejar al participante de los dispositivos eléctricos, lo que resulta en una señal EMG limpia con una interferencia mínima. Haga clic aquí para descargar este archivo.

Discusión

El protocolo presentado en este estudio describe pasos críticos, modificaciones y estrategias de solución de problemas destinadas a mejorar el reconocimiento de gestos con las manos a través de la combinación de señales sEMG y HKD. Aborda las limitaciones clave y compara este enfoque con las alternativas existentes, destacando sus posibles aplicaciones en varios dominios de investigación. Uno de los aspectos más importantes del protocolo es garantizar el correcto posicionamiento y alineación de la cámara de seguimiento de manos. La captura precisa de gestos depende en gran medida del ángulo y la distancia de la cámara en relación con la mano del participante. Incluso ligeras desviaciones en la posición de la cámara pueden dar lugar a imprecisiones en el seguimiento, lo que reduce la fidelidad de los datos de gestos. Esta alineación debe ajustarse cuidadosamente para cada participante y la posición de la mano para garantizar una recopilación de datos consistente y confiable. Además, es crucial que los participantes estén familiarizados con el protocolo para evitar datos basura, donde los gestos se ejecutan incorrectamente o no están alineados con el flujo experimental. Asegurarse de que los participantes se sientan cómodos y familiarizados con los gestos y la configuración experimental puede minimizar el ruido de los datos y mejorar la calidad de las grabaciones.

Un desafío común en este tipo de estudio es la contaminación acústica tanto en sEMG como en HKD. Las señales sEMG son particularmente sensibles a factores como la fatiga muscular, los artefactos de movimiento y el ruido ambiental como las interferencias electromagnéticas. Las técnicas de preprocesamiento, como el filtrado de paso de banda, son esenciales para reducir el ruido y mejorar la claridad de la señal. La colocación adecuada de los electrodos y las instrucciones a los participantes para que mantengan los músculos relajados durante las fases de descanso pueden mitigar aún más los artefactos de movimiento. A pesar de estas precauciones, es inevitable cierta variabilidad en las señales de sEMG debido a las diferencias individuales en la anatomía, la fuerza de la mano y los patrones de activación muscular. Esta variabilidad se puede abordar a través de algoritmos flexibles capaces de normalizar estas diferencias entre sujetos y condiciones.

Un factor clave para lograr señales sEMG de alta calidad es la verificación inicial de la señal. Los protocolos tradicionales que utilizan electrodos de gel requieren la preparación de la piel, como la exfoliación o la limpieza con alcohol, para mejorar la claridad de la señal. Sin embargo, en un estudio previo demostramos que con electrodos secos, la preparación de la piel puede no afectar significativamente la calidad de la señal²⁵. En este protocolo, la limpieza de la piel es opcional y, por lo tanto, simplifica el proceso. Otro problema relacionado con la piel que afecta a la calidad de la señal es el vello excesivo y grueso de los brazos. En tales casos, sugerimos afeitar el área o excluir al sujeto del estudio.

Uno de los desafíos críticos en el uso de sEMG para el reconocimiento de gestos es su sensibilidad a la posición de la mano. Incluso cuando se realiza el mismo gesto, las variaciones en la orientación de la mano pueden dar lugar a diferentes patrones de señal EMG. Para abordar este problema, son esenciales los modelos de aprendizaje automático que puedan adaptarse a la variabilidad en las posiciones de las manos²². Estos modelos deben entrenarse con datos de múltiples posturas de las manos para mejorar la robustez y la generalización. La sincronización de los datos visuales y sEMG es otra consideración importante. La sincronización constante de los gestos es fundamental para evitar discrepancias entre la ejecución del gesto y el registro de datos. Este protocolo utiliza cuentas regresivas visuales y señales auditivas para ayudar a garantizar que se empleen pasos precisos de temporización y recalibración cuando sea necesario para corregir cualquier desalineación durante la recopilación de datos.

A pesar de sus fortalezas, este protocolo tiene varias limitaciones. Una limitación importante es el campo de visión limitado de la cámara de seguimiento manual, que requiere que las manos del participante permanezcan dentro del rango de detección de la cámara. Esto restringe el análisis a un pequeño conjunto de movimientos. Para experimentos fuera del laboratorio, se requerirá una imagen de video más compleja o el uso de guantes inteligentes. La fatiga de los participantes también supone un reto durante las sesiones más largas, ya que puede afectar a la precisión de los gestos y a la activación muscular, lo que puede degradar la calidad de los datos del sEMG. Para mitigar estos efectos, puede ser necesario limitar la duración de la sesión o introducir pausas para minimizar la fatiga. Además, la interferencia de la línea eléctrica puede introducir ruido en las señales sEMG, especialmente cuando los participantes están cerca del PC para la captura de datos. Una versión inalámbrica del sistema podría reducir dicha interferencia al permitir que los participantes estén más lejos de la computadora.

Una limitación metodológica significativa de la detección de gestos con los dedos basada en EMG se deriva de la alta variabilidad entre sujetos en las señales de sEMG, lo que requiere el desarrollo de modelos personalizados para cada participante. Este enfoque específico del tema, aunque más preciso, limita la escalabilidad del protocolo y requiere tiempo adicional de calibración y capacitación para cada nuevo usuario. Los flujos de datos EMG y HKD muestran pequeñas diferencias de sincronización temporal debido a la grabación de procesos duales. Estas discrepancias de tiempo tienen un impacto mínimo en el análisis de gestos estáticos, ya que las poses mantenidas son temporalmente estables. La naturaleza sostenida de los gestos estáticos proporciona el tiempo adecuado para que tanto el EMG como las características cinemáticas se estabilicen, a diferencia de los gestos dinámicos, que requieren una sincronización más precisa.

Una ventaja clave de este método es su flexibilidad para capturar gestos. A diferencia de otros sistemas que requieren configuraciones rígidas y parámetros de gestos estrictos, este protocolo se adapta a posiciones dinámicas y flexibles de la mano¹⁹. Esta flexibilidad es especialmente útil en estudios destinados a analizar una amplia gama de movimientos, lo que lo hace más adaptable a aplicaciones del mundo real. Además, este protocolo es rentable en comparación con los sistemas más avanzados de captura de movimiento y sEMG, que a menudo implican configuraciones complejas²⁹. Al integrar una cámara de seguimiento de manos con algoritmos sEMG semiautomatizados, este método proporciona una alternativa viable para los estudios de reconocimiento de gestos sin comprometer la calidad de los datos. Además, el potencial del sistema para el procesamiento de datos en tiempo real abre posibilidades para la retroalimentación inmediata en aplicaciones como la neuroprótesis y la rehabilitación, donde la capacidad de respuesta en tiempo real es esencial. Este protocolo tiene implicaciones significativas para varios campos, particularmente para la neuroprótesis. La predicción precisa de los gestos de las manos a partir de señales sEMG es crucial para controlar las prótesis, y la flexibilidad en la posición de la mano que ofrece este método lo convierte en un candidato ideal para los dispositivos protésicos en tiempo real. En rehabilitación, este protocolo podría emplearse para monitorear y mejorar la recuperación motora en pacientes con discapacidades en las manos o los dedos. Al analizar los patrones de activación muscular durante la ejecución de gestos, este sistema podría utilizarse para adaptar los ejercicios de rehabilitación a las necesidades individuales, ofreciendo un enfoque personalizado para la recuperación motora. Para la interacción humano-computadora (HCI), este método permite sistemas de control basados en gestos más naturales, mejorando la intuición y la eficacia de las interfaces de usuario. Por último, el protocolo podría aplicarse a estudios ergonómicos para evaluar cómo las diferentes posiciones y gestos de las manos influyen en la actividad muscular y la fatiga, lo que podría conducir a avances en el diseño del lugar de trabajo y la ergonomía del usuario.

Para garantizar una fuerza de contracción constante entre los participantes, estudios futuros podrían implementar un guante con resistencias sensibles a la fuerza para medir la fuerza directamente. Esto permitiría estandarizar el esfuerzo entre los sujetos, mejorando la fiabilidad de los datos de EMG. Además, la integración de esta medición de fuerza como una etiqueta en la cinemática de las articulaciones proporcionaría una representación más detallada del estado interno del músculo, lo que podría enriquecer el análisis de la función muscular y los patrones de movimiento. Este enfoque no solo mejoraría la consistencia de los datos, sino que también ofrecería información más profunda sobre la relación entre la contracción muscular y el movimiento de las articulaciones.

En conclusión, este protocolo proporciona un enfoque novedoso y flexible para el reconocimiento de gestos con manos con amplias aplicaciones en neuroprótesis, rehabilitación, HCI y ergonomía. Aunque el sistema tiene limitaciones, su flexibilidad, rentabilidad y potencial de uso en tiempo real representan avances sustanciales con respecto a los métodos existentes. Estas fortalezas lo convierten en una herramienta prometedora para un mayor desarrollo e innovación en tecnologías de reconocimiento de gestos.

Materiales

Name	Company	Catalog Number	Comments
Adjustable Selfie Stick			Used to position and angle the hand-tracking camera in the desired orientation for optimal data capture during the experiment.
Alcohol pad			To clean the area for electrode placement.
Data acquisition unit (DAU)	X-trodes Ltd.	XTR-BT V1.3	Realtime compatible DAU 2.0.17 or 4.0.1
Finger Gestures Recognition library			https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2	Ultraleap	129-SP4-00005-03	Hand-tracking camera
Long Type-C to Type-C cable			Connection of the hand-tracking camera to the PC.
PC Monitors			One for guidelines, one for viewing the hand-tracking camera data
Personal Computer (PC)	Windows		Windows 10+; Processors: Inteli7 processor. BT receiver.
Python code			A script enabling seamless data streaming and recording up to 500 S/s when DAU is connected to PC via Bluetooth
Ultraleap Camera Python API	Ultraleap		Python API and instructions from Ultraleap’s GitHub repository (https://github.com/ultraleap/leapc-python-bindings) used to collect data from the Ultraleap unit during the experiment
Ultraleap Hyperion	Ultraleap		Tracking software
XTR EXG16	X-trodes Ltd.	XTELC0003405RM	16-channel wearable dry electrode array patch for EMG, ECG monitoring
X-trodes PC App	X-trodes Ltd.	1.1.35.0	An application for connecting X-trodes DAU to PC via BT