IntelliSleepScorer, un paquete de software con una interfaz gráfica de usuario para la puntuación automatizada de la etapa del sueño de ratones

Resumen

Presentamos un paquete de software con una interfaz gráfica de usuario para investigadores sin experiencia en codificación para puntuar las etapas del sueño en ratones con una simple descarga y operación.

Resumen

La puntuación de las etapas del sueño en roedores es el proceso de identificación de las tres etapas: sueño con movimientos oculares no rápidos (NREM), sueño con movimientos oculares rápidos (REM) y vigilia. La puntuación de la etapa del sueño es crucial para estudiar las medidas y los efectos específicos de la etapa del sueño.

Los patrones de sueño en los roedores difieren de los de los humanos, caracterizados por episodios más cortos de NREM y REM interespaciados por la vigilia, y la puntuación manual tradicional de las etapas del sueño por parte de expertos humanos requiere mucho tiempo. Para abordar este problema, estudios anteriores han utilizado enfoques basados en el aprendizaje automático para desarrollar algoritmos que categorizen automáticamente las etapas del sueño, pero los modelos de alto rendimiento con gran generalización a menudo no están disponibles públicamente, no son gratuitos ni son fáciles de usar para los investigadores del sueño no capacitados.

Por lo tanto, desarrollamos un algoritmo LightGBM basado en aprendizaje automático entrenado con un gran conjunto de datos. Para que el modelo esté disponible para los investigadores del sueño sin experiencia en codificación, se desarrolló una herramienta de software llamada IntelliSleepScorer (v1.2 - versión más reciente) basada en el modelo, que cuenta con una interfaz gráfica de usuario fácil de usar. En este manuscrito, presentamos instrucciones paso a paso para usar el software para demostrar una herramienta de puntuación automática de la etapa del sueño conveniente y efectiva en ratones para los investigadores del sueño.

Introducción

La puntuación de las etapas del sueño en roedores es el procedimiento para identificar las tres etapas: sueño con movimientos oculares no rápidos (NREM), sueño con movimientos oculares rápidos (REM) y vigilia². En los roedores, la NREM se caracteriza por una reducción de la actividad muscular, una respiración lenta y regular, una disminución de la frecuencia cardíaca y oscilaciones de baja frecuencia de las ondas cerebrales. La fase REM en roedores, al igual que en los humanos, muestra atonía muscular, activación del EEG y movimientos oculares rápidos, aunque la aparición de sueños vívidos es menos clara en los roedores en comparación con los humanos ^2,3. El estado de "vigilia" en los roedores se caracteriza por una actividad cerebral desincronizada con ondas de alta frecuencia y baja amplitud, aumento del tono muscular y comportamiento activo, como el acicalamiento y^{la exploración}. Estas tres etapas pueden identificarse mediante la inspección de las señales de electroencefalograma (EEG) y electromiograma (EMG)⁵.

Los modelos automáticos de puntuación de las etapas del sueño en roedores son muy necesarios. En primer lugar, la puntuación manual de las etapas del sueño por parte de expertos humanos requiere mucho trabajo y tiempo. En segundo lugar, los patrones de sueño en roedores difieren de los de los humanos y tienen episodios más fragmentados de NREM y REM interespaciados por la vigilia, alrededor de 10 min, en contraste con los 60-120 min en los humanos⁶. Por lo tanto, identificar estos breves períodos durante la puntuación manual es un desafío. Ha habido muchos intentos desde los años 60 para desarrollar un sistema automático de puntuación de los datos del sueño de los roedores⁷. Aunque existen muchos métodos automatizados de puntuación del sueño de roedores, sus rendimientos varían 8,9,10,11,12,13,14,15,16,17,18. Es importante destacar que la mayoría de los modelos de alto rendimiento con alta generalización no están disponibles públicamente (algunos necesitan solicitudes especiales de los desarrolladores) o no son gratuitos para los investigadores del sueño.

Por lo tanto, para llenar el vacío tecnológico actual, desarrollamos un modelo basado en el aprendizaje automático utilizando un gran conjunto de datos de 5776 h de señales de EEG y EMG de 519 grabaciones en 124 ratones con el algoritmo LightGBM¹. El lightGBM utiliza un enfoque de aumento de gradiente para construir árboles de decisión¹⁹. En Wang et al., 2023, el modelo LightGBM (que consta de más de 8000 árboles de decisión) alcanzó una precisión general del 95,2% y un kappa de Cohen de 0,91, lo que superó a dos modelos de referencia ampliamente utilizados, como el modelo de regresión logística (precisión = 93,3%) y el modelo de bosque aleatorio (precisión = 94,3%, kappa = 0,89). El rendimiento general del modelo también mostró un rendimiento similar al de los expertos humanos. Lo más importante es que se ha demostrado que el modelo es generalizable y no está sobreajustado a los datos de entrenamiento originales¹: 1) Funcionó bien (precisión > 89%) en otros dos conjuntos de datos independientes disponibles públicamente, de Miladinovic y colegas¹¹, con diferentes frecuencias de muestreo y longitudes de época; 2) El rendimiento del modelo no se ve afectado por el ciclo de luz/oscuridad de los ratones; 3) Un modelo LightGBM modificado funcionó bien con datos que contenían solo un electrodo de EEG y un electrodo de EMG con kappa ≥ 0,89; 4) Se utilizaron ratones de tipo salvaje y mutantes para las pruebas y los rendimientos del modelo fueron precisos. Esto sugiere que el modelo puede puntuar las etapas del sueño de ratones con diferentes antecedentes genéticos.

Con el fin de hacer que este modelo sea accesible para los investigadores del sueño que pueden no tener experiencia en codificación, desarrollamos IntelliSleepScorer, una herramienta de software fácil de usar con una interfaz visualmente intuitiva. El software puede automatizar completamente el procedimiento de puntuación del sueño en ratones. Produce visualizaciones interactivas de las señales, el hipnograma y los valores de explicaciones aditivas de Shapley (SHAP) a partir de una entrada de archivo de formato de datos europeo (EDF)/EDF+. El enfoque de valor SHAP, basado en la teoría de juegos cooperativos, mejora la interpretabilidad de los modelos de aprendizaje automático²⁰. El modelo ofrece valores SHAP globales y de nivel de época, lo que revela cómo los diferentes valores de características contribuyen a la decisión de puntuación del modelo en general y para cada época. Este programa avanzado reduce significativamente el tiempo y el esfuerzo necesarios para la puntuación de las etapas del sueño en ratones, al tiempo que garantiza que el análisis posterior pueda basarse en resultados muy precisos. En este manuscrito, presentamos el uso paso a paso de IntelliSleepScorer (v1.2) con varias actualizaciones sobre la versión 1.0, incluida una opción para ejecutar el análisis SHAP por separado de la predicción del patrón de sueño, una longitud de época ajustable por el usuario para la puntuación de la etapa del sueño y una función de corrección manual de la etapa del sueño integrada dentro de la GUI.

Protocolo

Este estudio utilizó datos recopilados de experimentos in vivo en ratones. No hubo experimentos en humanos involucrados en el estudio. Todos los experimentos con animales fueron aprobados por el Comité Institucional de Cuidado y Uso de Animales del Instituto Broad. Todos los experimentos se realizaron de acuerdo con las directrices y reglamentos pertinentes. Las directrices ARRIVE no son aplicables a este estudio porque el objetivo de este estudio es desarrollar modelos de aprendizaje automático en lugar de comparar diferentes grupos de tratamiento.

1. Preparación de los datos

NOTA: Compatibilidad de datos: los datos grabados pueden tener cualquier frecuencia de muestreo superior a 40 Hz. No es necesario filtrar la señal de paso de banda porque el paso de banda del software filtra las señales de EEG y EMG en el primer paso. Los modelos LightGBM se desarrollaron y probaron utilizando datos de ratones. No se dispone de pruebas sobre el rendimiento de los modelos LightGBM en otros tipos de animales de laboratorio. Los electrodos de registro deben colocarse en la corteza frontal y parietal, o en cualquiera de ellos si solo se registra un canal de EEG.

1. Disposición y requisitos de formato EDF/EDF+
   NOTA: El software utilizado en este estudio solo lee archivos EDF/EDF+ utilizando el paquete MNE-Python. Es necesario aplicar la especificación estándar EDF/EDF+ para generar los archivos EDF/EDF+. Además de la especificación estándar, asegúrese de que las anotaciones EDF/EDF+ estén codificadas en UTF-8. De lo contrario, la aplicación de software se bloqueará.
   1. Convierta otro formato de archivo (que no sea EDF/EDF+) al formato EDF/EDF+ con herramientas gratuitas en línea.
      NOTA: No es necesario el filtro del aparato al obtener señales de EEG y EMG. Siempre que los usuarios muestreen sus datos de EEG y EMG a una frecuencia de 40 Hz o superior, el software funcionará correctamente. Esto se debe a que, en el paso inicial de preprocesamiento, las señales se someten a un filtrado de paso de banda entre 1 Hz y 40 Hz. Este filtrado de paso de banda está integrado en la tubería de preprocesamiento del software, lo que elimina la necesidad de que los usuarios realicen cualquier procesamiento de señal adicional.
2. Hay dos modelos dentro del software para la puntuación. Uno es LightGBM-2EEG y el otro es LightGBM-1EEG. El modelo LightGBM-2EEG está diseñado para registrar datos que tienen 2 canales de EEG y 1 canal EMG. Realice los siguientes pasos en función del modelo.
   1. Organice los archivos de datos para LightGBM-2EEG específicamente en el siguiente orden: 1) Canal de EEG registrado en el área parietal; 2) Canal EEG registrado en el área frontal; 3) Canal EMG. El LightGBM-1EEG está diseñado para datos que solo contienen 1 canal de EEG (colocación del electrodo en el área parietal o frontal) y 1 canal EMG.
   2. Organice los canales en archivos EDF/EDF+ para LightGBM-1EEG en el siguiente orden: 1) Canal EEG; 2) Canal EMG.

2. Descarga de IntelliSleepScorer para usuarios de Windows, Mac y Linux

1. Para los usuarios de Windows, un ejecutable de Windows para el software está disponible mediante PyInstaller. Encuentre el enlace de descarga en la página de investigación del grupo Pan https://sites.broadinstitute.org/pan-lab/resources. Para los usuarios de MacOS o Linux, use el código fuente en el repositorio de GitHub https://github.com/broadinstitute/IntelliSleepScorer para iniciar el software.
2. Acceda a dos datos de ejemplo grabados para probar el programa guardado como archivos EDF descargándolos a través del repositorio de GitHub.
3. El repositorio de código fuente no incluye la carpeta models debido a los límites de tamaño. En su lugar, descargue models.zip, descomprímalo y copie la carpeta models dentro del repositorio para que se ejecute el programa. De lo contrario, el software se bloqueará debido a la falta de archivos de modelo.

3. Flujo de trabajo e inicio y operación del programa

1. Lanzamiento de IntelliSleepScorer
   1. Para iniciar el software en Windows, haga doble clic en IntelliSleepScorer.exe se encuentra en la carpeta raíz. Para iniciar el software en MacOS o Linux, abra un emulador de terminal, cambie el directorio a la carpeta raíz del software y, a continuación, inicie el software mediante el comando: python3 IntelliSleepScorer.py.
2. Una vez que se abra el software, haga clic en Seleccionar archivo(s) EDF/EDF+ para seleccionar los archivos que desea puntuar. Si los archivos se seleccionaron por error, haga clic en el botón Borrar para borrar la lista de archivos seleccionados.
   NOTA: De forma predeterminada, el software codifica las etapas de sueño como Wake:1, NREM:2 y REM:3 en los archivos de puntuación de salida. La longitud de época predeterminada se establece en 10 s. La versión actual (v1.2) de la GUI permite a los usuarios cambiar las codificaciones de etapa o las longitudes de época a 4 s, 10 s o 20 s con el menú desplegable.
3. Seleccione la longitud de época deseada. Utilice el menú desplegable proporcionado para seleccionar la duración de época deseada entre las opciones de 4 s, 10 s y 20 s para la puntuación de la etapa del sueño.
4. Seleccione el modelo que se va a utilizar para la puntuación del sueño. LightGBM-2EEG está diseñado para archivos de datos con dos canales de EEG y un canal EMG, mientras que LightGBM-1EEG está diseñado para datos con un canal de EEG y un canal de EMG.
5. Antes de ejecutar la predicción de la etapa del sueño, incluya el cálculo SHAP adicional que ayuda a explicar los resultados de la predicción de la etapa del sueño. Para procesar el cálculo de SHAP, marque la casilla de verificación Ejecutar/Trazar SHAP . El cálculo de SHAP requiere alrededor de 5-10 minutos para procesarse.
6. Haga clic en Puntuar todos los archivos. El modelo puntúa automáticamente todos los archivos EDF/EDF+ y calcula los valores SHAP globales y de época para interpretar las decisiones de puntuación de la lista si se elige para ello.
   NOTA: Durante el proceso de puntuación, el modelo genera los siguientes archivos y los guarda en la misma carpeta donde se encuentran los archivos EDF/EDF+. El modelo utiliza estos archivos para trazar los valores SHAP globales y los valores SHAP de época.
   
   "Nombre de archivo EDF/EDF+}_{model_name}_features.csv"; Este archivo almacena todos los valores de características extraídos.
   "Nombre de archivo EDF/EDF+}_{model_name}_scores.csv"; Este archivo almacena las etapas de sueño predichas.
   "Nombre de archivo EDF/EDF+}_{model_name}_rs_100hz.npy"; Este archivo almacena una copia de las señales remuestreadas/submuestreadas (100 Hz). Para mejorar la velocidad de visualización, el modelo utiliza la señal submuestreada en lugar de la señal original al trazar la señal.
   "Nombre de archivo EDF/EDF+}_{model_name}explicador. pepinillo"; "{EDF/EDF+ nombre de archivo}{model_name}shap_500samples.pickle"; "{EDF/EDF+ nombre de archivo}{model_name}_indicies_500samples.npy";
7. Después de finalizar el proceso de puntuación del sueño, haga clic en la opción Visualizar el archivo seleccionado para visualizar las señales de EEG / EMG y un hipnograma alineado en el tiempo con las señales.
   1. Vuelva a puntuar el archivo seleccionado antes de la visualización si se cambia la longitud de la época.

4. Navegar por los resultados puntuados

1. Haga clic en los botones de navegación proporcionados para avanzar y retroceder para ver diferentes datos de época.
2. Si se elige el cálculo de SHAP, vea los valores de SHAP globales y de nivel de época. Haga clic con el botón derecho en una época para trazar los valores SHAP a nivel de época.
   NOTA: Tardará unos segundos en actualizar el gráfico SHAP a nivel de época. La Figura 1 muestra la descripción general de la página GUI después de ejecutar la predicción para el archivo EDF/EDF+ Ejemplo-1 con el modelo 1_LightBGM-2EEG.

5. Interpretación del hipnograma de las etapas del sueño puntuadas

NOTA: Hay 4 filas en el hipnograma (Figura 2). La fila superior son los resultados previstos. Las 3 filas inferiores son datos brutos de 2 canales EEG y 1 EMG, respectivamente. En la fila superior, el naranja sugiere la etapa de estela , el azul sugiere la etapa NREM y el rojo sugiere la etapa REM en cada época.

1. Para cambiar el número de épocas que se mostrarán, haga clic en el cuadro de menú a la derecha de Seleccionar número de épocas para mostrar y elija el valor deseado. En la Figura 2, se eligieron 100 épocas. Por lo tanto, solo se muestran 100 épocas en el gráfico de predicción de la etapa del sueño. Seleccione un número más pequeño en el menú desplegable para ampliar el gráfico.
2. La barra transparente rosa a la izquierda de la Figura 2 indica la ubicación actual de la época. Haga clic con el botón izquierdo en cualquier lugar del hipnograma para cambiar a otra época, o simplemente haga clic en Ir a la época e ingrese un número específico de épocas a observar. Haga clic con el botón derecho en la época seleccionada para generar su gráfico SHAP de época si el usuario ha habilitado la función SHAP.

6. Corrección manual de las etapas de sueño previstas en la GUI (opcional)

NOTA: si no se observa ninguna anomalía o no se requiere una precisión extremadamente alta para la predicción de la etapa REM, no es necesaria la verificación manual.

1. Haga clic con el botón izquierdo en una época en el gráfico de predicción de la etapa del sueño (gráfico superior) para seleccionar una época específica. La etapa predicha del modelo de la época seleccionada se muestra a la derecha del texto. Para cambiar manualmente la etapa predicha en esa época, haga clic en el widget y seleccione una nueva etapa de las opciones Wake, NREM y REM en el menú desplegable.
2. Las etapas corregidas por el usuario están marcadas con líneas discontinuas en la parte superior de la gráfica original (Figura 3). Cierre la GUI y se generará automáticamente un nuevo archivo con los resultados de predicción corregidos en la misma carpeta.
   1. Para volver a abrir un archivo de partituras guardado en la GUI, asegúrese de que el ajuste de la longitud de época y el modelo seleccionado coincidan con el utilizado cuando se procesó inicialmente el archivo EDF para poder volver a abrirlo. Toda la información previamente modificada/puntuada se cargará rápidamente.

Resultados

Hay tres gráficos (solo el gráfico superior si no se ejecutaron los valores de SHAP) generados en la GUI después de la puntuación de la etapa del sueño: el gráfico superior presenta los canales EEG y EMG con un hipnograma de la predicción de la etapa del sueño. El gráfico del medio presenta los valores SHAP de la época. El gráfico inferior presenta los valores globales de SHAP (Figura 1).

Hay 4 tipos de datos presentado...

Discusión

En este documento se presenta cómo utilizar la interfaz gráfica de usuario IntelliSleepScorer (v1.2) para puntuar automáticamente las etapas del sueño de los ratones y cómo aprovechar los valores/gráficos SHAP para comprender mejor las puntuaciones de las etapas del sueño generadas por el modelo.

Una consideración importante a la hora de utilizar el software es la compatibilidad de los datos. Los datos internos utilizados en este estudio se limitaron a...

Materiales

Name	Company	Catalog Number	Comments
Canonical Unbuntu 18.04	Canonical	https://releases.ubuntu.com/18.04/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; RAM: 24 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
Intel Core i7-10610U CPU @1.80 GHz 2.30 GHz; RAM: 16 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
LightGBM	Microsoft	https://lightgbm.readthedocs.io/en/latest/index.html	Machine learning-based algorithm that was used to train the software.
MacBook Pro	Apple	https://www.apple.com/in/macbook-pro/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Windows	Microsoft	https://www.microsoft.com/en-in/windows/?r=1	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux