Iniciar sesión

Se requiere una suscripción a JoVE para ver este contenido. Inicie sesión o comience su prueba gratuita.

En este artículo

  • Resumen
  • Resumen
  • Introducción
  • Protocolo
  • Resultados
  • Discusión
  • Divulgaciones
  • Agradecimientos
  • Materiales
  • Referencias
  • Reimpresiones y Permisos

Resumen

Este documento analiza cómo construir una interfaz cerebro-computadora confiando en equipos de grado de consumidor y potenciales evocados visualmente en estado estacionario. Para ello, se integró un electroencefalógrafo monocanal que aprovecha electrodos secos con gafas de realidad aumentada para la presentación de estímulos y la visualización de datos de salida. El sistema final fue no invasivo, portátil y portátil.

Resumen

El presente trabajo se centra en cómo construir una interfaz cerebro-computadora portátil (BCI). Las BCI son un nuevo medio de interacción humano-computadora que se basa en mediciones directas de señales cerebrales para ayudar tanto a las personas con discapacidades como a las que están sanas. Los ejemplos de aplicación incluyen control robótico, inspección industrial y neurorehabilitación. En particular, estudios recientes han demostrado que los potenciales evocados visualmente en estado estacionario (SSVEP) son particularmente adecuados para aplicaciones de comunicación y control, y actualmente se están realizando esfuerzos para llevar la tecnología BCI a la vida diaria. Para lograr este objetivo, el sistema final debe basarse en instrumentación portátil, portátil y de bajo costo. En la explotación de SSVEPs, se requiere un estímulo visual parpadeante con frecuencias fijas. Por lo tanto, al considerar las limitaciones de la vida cotidiana, la posibilidad de proporcionar estímulos visuales por medio de gafas inteligentes fue explorada en este estudio. Además, para detectar los potenciales provocados, se consideró un dispositivo comercial para electroencefalografía (EEG). Este consiste en un único canal diferencial con electrodos secos (sin gel conductor), consiguiendo así la máxima portabilidad y portabilidad. En tal BCI, el usuario puede interactuar con las gafas inteligentes simplemente mirando los iconos que aparecen en la pantalla. Sobre este simple principio, se construyó una BCI fácil de usar y de bajo costo integrando gafas de realidad extendida (XR) con un dispositivo de EEG disponible comercialmente. La funcionalidad de este XR-BCI portátil se examinó con una campaña experimental que involucró a 20 sujetos. La precisión de la clasificación fue entre 80% -95% en promedio dependiendo del tiempo de estimulación. Dados estos resultados, el sistema se puede utilizar como una interfaz hombre-máquina para la inspección industrial, pero también para la rehabilitación en el TDAH y el autismo.

Introducción

Una interfaz cerebro-computadora (BCI) es un sistema que permite la comunicación y/o el control de dispositivos sin vías neuronales naturales1. La tecnología BCI es lo más cercano que tiene la humanidad a controlar objetos con el poder de la mente. Desde un punto de vista técnico, la operación del sistema funciona midiendo la actividad cerebral inducida o evocada, que podría ser generada involuntaria o voluntariamente a partir del sujeto2. Históricamente, la investigación se centró en ayudar a las personas con discapacidades motoras a través de BCI3, pero un número creciente de empresas hoy en día ofrecen instrumentación basada en BCI para juegos4, robótica5, industria6 y otras aplicaciones que involucran la interacción hombre-máquina. En particular, las BCI pueden desempeñar un papel en la cuarta revolución industrial, a saber, la industria 4.07, donde los sistemas de producción ciberfísicos están cambiando la interacción entre los humanos y el entornocircundante 8. En términos generales, el proyecto europeo BNCI Horizon 2020 identificó escenarios de aplicación como reemplazar, restaurar, mejorar, mejorar o complementar las funciones naturales perdidas del sistema nervioso central, así como el uso de BCI en la investigación del cerebro9.

En este marco, los avances tecnológicos recientes significan que las interfaces cerebro-computadora pueden ser aplicables para su uso en la vida diaria10,11. Para lograr este objetivo, el primer requisito es la no invasividad, que es importante para evitar los riesgos de la intervención quirúrgica y aumentar la aceptación del usuario. Sin embargo, vale la pena señalar que la elección de la neuroimagen no invasiva afecta la calidad de las señales cerebrales medidas, y el diseño de BCI debe tratar con los escollos asociados12. Además, se requiere portabilidad y portabilidad. Estos requisitos están en línea con la necesidad de un sistema fácil de usar, pero también plantean algunas limitaciones. En general, las restricciones de hardware mencionadas se abordan mediante el uso de un sistema electroencefalográfico (EEG) con electrodos sin gel6. Tal BCI basada en EEG también sería de bajo costo. Mientras tanto, en términos del software, se desearía una capacitación mínima del usuario (o idealmente ninguna capacitación); es decir, sería mejor evitar largos períodos para ajustar el algoritmo de procesamiento antes de que el usuario pueda usar el sistema. Este aspecto es crítico en las ICC debido a la no estacionariedad intersujeto e intrasujeto13,14.

La literatura previa ha demostrado que la detección de potenciales cerebrales evocados es robusta con respecto a la no estacionariedad y el ruido en la adquisición de señales. En otras palabras, las BCI que dependen de la detección del potencial evocado se denominan reactivas y son las BCI de mejor desempeño en términos de reconocimiento de patrones cerebrales15. Sin embargo, requieren estimulación sensorial, que es probablemente el principal inconveniente de tales interfaces. El objetivo del método propuesto es, por lo tanto, construir una BCI altamente portátil y portátil que dependa de la instrumentación portátil y estándar. Los estímulos sensoriales aquí consisten en luces parpadeantes, generadas por gafas inteligentes, que son capaces de provocar potenciales evocados visualmente en estado estacionario (SSVEP). Trabajos anteriores ya han considerado la integración de BCI con realidad virtual, ya sea sola o en conjunto con realidad aumentada16. Por ejemplo, se propuso un sistema BCI-AR para controlar un quadcopter con SSVEP17. La realidad virtual, la realidad aumentada y otros paradigmas se conocen con el término realidad extendida. En tal escenario, la elección de gafas inteligentes cumple con los requisitos de portabilidad y portabilidad, y las gafas inteligentes se pueden integrar con una configuración mínima de adquisición de EEG. Este documento muestra que la BCI basada en SSVEP también requiere una capacitación mínima al tiempo que logra un rendimiento de clasificación aceptable para aplicaciones de comunicación y control de velocidad baja-media. Por lo tanto, la técnica se aplica a BCI para aplicaciones de la vida diaria, y parece especialmente adecuada para la industria y la atención médica.

Protocolo

El estudio fue aprobado por el Comité Ético de Investigación Psicológica del Departamento de Humanidades de la Universidad de Nápoles Federico II. Los voluntarios firmaron el consentimiento informado antes de participar en los experimentos.

1. Preparación de la interfaz cerebro-ordenador portátil no invasiva

  1. Obtenga un electroencefalógrafo de bajo costo de grado de consumo con electrodos secos y configúrelo para uso de un solo canal.
    1. Cortocircuite o conecte cualquier canal de entrada no utilizado en el electroencefalógrafo de bajo costo a una tensión de referencia interna especificada en la hoja de datos inherente. Al hacerlo, los canales no utilizados se desactivan y no generan ruido de diafonía.
    2. Ajuste la ganancia del electroencefalógrafo (normalmente a través de un componente con resistencia variable) para que tenga un rango de entrada del orden de 100 μV.
      NOTA: Las señales de EEG a medir son del orden de decenas de microvoltios. Sin embargo, los electrodos secos se ven muy afectados por artefactos de movimiento, que dan lugar a oscilaciones del orden de 100 μV debido a la variabilidad en la impedancia de la piel del electrodo. Aumentar el rango de voltaje de entrada ayuda a limitar la saturación del amplificador EEG, pero no la elimina por completo. Por otro lado, sería inconveniente aumentar aún más el rango de voltaje de entrada, ya que esto afectaría la resolución de voltaje en la medición de los componentes de EEG deseados. En última instancia, los dos aspectos deben equilibrarse teniendo en cuenta también la resolución de bits del convertidor analógico a digital dentro de la placa del electroencefalógrafo.
    3. Prepare tres electrodos secos para conectarlos a la placa del electroencefalógrafo. Utilice un electrodo pasivo (sin preamplificación) como electrodo de referencia. Los dos electrodos de medición restantes deben ser activos (es decir, implican preamplificación y eventual filtrado analógico).
      NOTA: Los electrodos colocados en un área peluda del cuero cabelludo requieren alfileres para superar la impedancia de contacto electrodo-piel. Si es posible, suelde pasadores plateados con cabezales planos (para evitar demasiado dolor para el usuario), o idealmente use caucho conductor (suave) con un recubrimiento Ag / AgCl.
  2. Obtenga gafas inteligentes comerciales con un sistema operativo Android y una frecuencia de actualización de 60 Hz. Alternativamente, use una frecuencia de actualización más baja. Una mayor frecuencia de actualización sería deseable para los estímulos, ya que habría menos fatiga ocular, pero actualmente no hay soluciones disponibles en el mercado.
    1. Descarga el código fuente de una aplicación Android para comunicación o control, o desarrolla una.
    2. Reemplace los botones virtuales de la aplicación con iconos parpadeantes cambiando el objeto inherente (generalmente en Java o Kotlin). Se recomiendan cuadrados blancos con al menos un 5% de dimensión de pantalla. Por lo general, cuanto más grande sea el cuadrado estimulante, mayor será el componente SSVEP a detectar, pero se puede encontrar un óptimo dependiendo del caso específico. Las frecuencias recomendadas son 10 Hz y 12 Hz parpadeantes. Implemente el parpadeo en la unidad de procesamiento gráfico (GPU) para evitar sobrecargar la unidad de computación (CPU) de las gafas inteligentes. Para ello, utilice objetos de la biblioteca OpenGL.
    3. Implemente un módulo de la aplicación Android para el procesamiento en tiempo real del flujo de EEG de entrada. El servicio USB de Android se puede agregar para que la transmisión se pueda recibir a través de USB. El procesamiento en tiempo real puede simplemente aplicar una ventana deslizante al flujo de EEG considerando los paquetes entrantes. Calcular las densidades espectrales de potencia asociadas con las frecuencias de 10 Hz y 12 Hz a través de una función de transformada rápida de Fourier. Un clasificador entrenado puede, por lo tanto, distinguir que el usuario está mirando el icono parpadeante de 10 Hz o el icono parpadeante de 12 Hz clasificando las características de densidad espectral de potencia.

2. Calibración de la interfaz cerebro-computadora basada en SSVEP

NOTA: Se eligieron voluntarios sanos para este estudio. Excluir sujetos con antecedentes de enfermedades cerebrales. Se requirió que los sujetos involucrados tuvieran una visión normal o corregida a normal. Se les indicó que se relajaran durante los experimentos y que evitaran movimientos innecesarios, especialmente de la cabeza.

  1. Deje que el usuario use las gafas inteligentes con la aplicación Android.
  2. Deje que el usuario use una diadema ajustada para sujetar los electrodos.
  3. Conecte el electroencefalógrafo de bajo costo a un PC a través de un cable USB mientras el PC está desconectado de la fuente de alimentación principal.
    1. Inicialmente desconecte todos los electrodos de la placa de adquisición del electroencefalógrafo para comenzar desde una condición conocida.
    2. En esta fase, el flujo de EEG se procesa sin conexión en la PC con un script compatible con el procesamiento implementado en la aplicación Android. Inicie el script para recibir las señales de EEG y visualizarlas.
  4. Compruebe la señal mostrada que se procesa sin conexión. Esto debe corresponder solo al ruido de cuantización del amplificador EEG.
  5. Conecte los electrodos.
    1. Aplique el electrodo pasivo en el oído izquierdo con un clip personalizado o use un electrodo de clip para los oídos. La señal de salida debe permanecer sin cambios en este paso porque el canal diferencial de medición sigue siendo un circuito abierto.
    2. Conecte un electrodo activo al terminal negativo de la entrada diferencial del canal EEG de medición y aplíquelo a la región frontal (ubicación estándar Fpz) con una diadema. Después de unos segundos, la señal debería volver a cero (ruido de cuantización).
    3. Conecte el otro electrodo activo al terminal positivo de la entrada diferencial del canal EEG de medición y aplíquelo a la región occipital (ubicación estándar de Oz) con la diadema. Ahora se muestra una señal cerebral, que corresponde a la actividad visual medida con respecto al área frontal del cerebro (no se prevé actividad visual allí).
  6. Adquirir señales para la calibración del sistema.
    1. Estimule repetidamente al usuario con iconos parpadeantes de 10 Hz y 12 Hz (y eventualmente otros) iniciando el icono parpadeante en la aplicación de Android, y adquiera y guarde las señales de EEG inherentes para el procesamiento sin conexión. Asegúrese de que cada estimulación en esta fase consista en un solo icono parpadeando durante 10 s, e inicie el icono parpadeante presionando el panel táctil de las gafas inteligentes mientras inicia el script de adquisición y visualización de EEG.
    2. De las señales 10 s asociadas con cada estimulación, extraiga dos características utilizando la transformada rápida de Fourier: la densidad espectral de potencia a 10 Hz y a 12 Hz. Alternativamente, considere segundos armónicos (20 Hz y 24 Hz).
    3. Utilice una representación de las señales adquiridas en el dominio de entidades para entrenar un clasificador de máquina de vectores de soporte. Utilice una herramienta (en Matlab o Python) para identificar los parámetros de un hiperplano con un eventual kernel basado en las características de entrada. El modelo entrenado será capaz de clasificar futuras observaciones de señales de EEG.

3. Ensamble la interfaz final portátil y portátil basada en SSVEP

  1. Desconecte el cable USB del PC y conéctelo directamente a las gafas inteligentes.
  2. Inserte los parámetros del clasificador entrenado en la aplicación Android. El sistema ya está listo.

Resultados

Una posible implementación del sistema descrito anteriormente se muestra en la Figura 1; Esta implementación permite al usuario navegar en realidad aumentada a través de la actividad cerebral. Los iconos parpadeantes en la pantalla de las gafas inteligentes corresponden a acciones para la aplicación (Figura 1A) y, por lo tanto, estas gafas representan un sustituto de una interfaz tradicional basada en presionar botones o un ...

Discusión

El buen funcionamiento del sistema implica dos aspectos cruciales: la obtención de SSVEP y la adquisición de señales. Además de los dispositivos específicos elegidos para el estudio actual, SSVEP podría obtenerse con diferentes dispositivos que proporcionan una luz parpadeante, aunque se prefieren las gafas inteligentes para garantizar la portabilidad y la portabilidad. Análogamente, se podrían considerar otros electroencefalogramas comerciales, pero tendrían que ser portátiles, portátiles e involucrar un núm...

Divulgaciones

Los autores no tienen nada que revelar.

Agradecimientos

Este trabajo se llevó a cabo como parte del proyecto TIC para la salud, que contó con el apoyo financiero del Ministerio de Educación, Universidad e Investigación de Italia (MIUR), bajo la iniciativa Departamentos de Excelencia (Ley de Presupuesto italiano no. 232/2016), a través de una beca de excelencia otorgada al Departamento de Tecnología de la Información e Ingeniería Eléctrica de la Universidad de Nápoles Federico II, Nápoles, Italia. De hecho, el proyecto fue posible gracias al apoyo de la iniciativa Res4Net y el TC-06 (Emerging Technologies in Measurements) de la IEEE Instrumentation and Measurement Society. Los autores también desean agradecer a L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone y M. Ortolano por sus valiosas contribuciones en el desarrollo, prueba y validación del sistema.

Materiales

NameCompanyCatalog NumberComments
Conductive rubber with Ag/AgCl coating ab medica s.p.a.N/AAlternative electrodes – type 2
Earclip electrodeOpenBCIN/AEar clip
EEG-AEOlimexN/AActive electrodes
EEG-PEOlimexN/APassive electrode
EEG-SMTOlimexN/ALow-cost electroencephalograph
Moverio BT-200EpsonN/ASmart glasses
Snap electrodesOpenBCIN/AAlternative electrodes – type 1

Referencias

  1. Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
  2. Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
  3. Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
  4. Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
  5. Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
  6. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
  7. Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
  8. Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
  9. Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
  10. Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
  11. Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
  12. Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
  13. Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
  14. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
  15. Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
  16. Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
  17. Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
  18. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
  19. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
  20. Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
  21. Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
  22. Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
  23. Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).

Reimpresiones y Permisos

Solicitar permiso para reutilizar el texto o las figuras de este JoVE artículos

Solicitar permiso

Explorar más artículos

Este mes en JoVEN mero 197

This article has been published

Video Coming Soon

JoVE Logo

Privacidad

Condiciones de uso

Políticas

Investigación

Educación

ACERCA DE JoVE

Copyright © 2025 MyJoVE Corporation. Todos los derechos reservados