IntelliSleepScorer, un pacchetto software con un'interfaccia utente grafica per il punteggio automatizzato delle fasi del sonno dei mouse

Riepilogo

Presentiamo un pacchetto software con un'interfaccia utente grafica per i ricercatori senza esperienza di codifica per valutare le fasi del sonno nei topi con un semplice download e funzionamento.

Abstract

Il punteggio della fase del sonno nei roditori è il processo di identificazione delle tre fasi: sonno con movimenti oculari non rapidi (NREM), sonno con movimenti oculari rapidi (REM) e veglia. Il punteggio della fase del sonno è fondamentale per studiare le misure e gli effetti specifici della fase del sonno.

I modelli di sonno nei roditori differiscono da quelli negli esseri umani, caratterizzati da episodi più brevi di NREM e REM intervallati dalla veglia, e il tradizionale punteggio manuale della fase del sonno da parte di esperti umani richiede molto tempo. Per affrontare questo problema, studi precedenti hanno utilizzato approcci basati sull'apprendimento automatico per sviluppare algoritmi per classificare automaticamente le fasi del sonno, ma i modelli ad alte prestazioni con una grande generalizzabilità spesso non sono disponibili al pubblico/gratuiti né facili da usare per i ricercatori del sonno non addestrati.

Pertanto, abbiamo sviluppato un algoritmo LightGBM basato sull'apprendimento automatico addestrato con un set di dati di grandi dimensioni. Per rendere il modello disponibile ai ricercatori del sonno senza esperienza di codifica, è stato sviluppato uno strumento software chiamato IntelliSleepScorer (v1.2 - versione più recente) basato sul modello, che presenta un'interfaccia utente grafica facile da usare. In questo manoscritto, presentiamo istruzioni dettagliate per l'utilizzo del software per dimostrare uno strumento di punteggio automatico delle fasi del sonno comodo ed efficace nei topi per i ricercatori del sonno.

Introduzione

Il punteggio della fase del sonno nei roditori è la procedura per identificare le tre fasi: sonno con movimenti oculari non rapidi (NREM), sonno con movimenti oculari rapidi (REM) e veglia². Nei roditori, la NREM è caratterizzata da una ridotta attività muscolare, respirazione lenta e regolare, diminuzione della frequenza cardiaca e oscillazioni a bassa frequenza delle onde cerebrali. La fase REM nei roditori, simile a quella umana, mostra atonia muscolare, attivazione EEG e movimenti oculari rapidi, sebbene il verificarsi di sogni vividi sia meno chiaro nei roditori rispetto agli esseri umani ^2,3. Lo stato di "veglia" nei roditori è caratterizzato da un'attività cerebrale desincronizzata con onde ad alta frequenza e bassa ampiezza, aumento del tono muscolare e comportamento attivo, come la toelettatura e l'esplorazione⁴. Queste tre fasi possono essere identificate ispezionando i segnali dell'elettroencefalogramma (EEG) e dell'elettromiogramma (EMG)⁵.

I modelli di punteggio automatico della fase del sonno nei roditori sono molto necessari. Innanzitutto, il punteggio manuale delle fasi del sonno da parte di esperti umani è laborioso e richiede tempo. In secondo luogo, i modelli di sonno nei roditori differiscono da quelli negli esseri umani e hanno episodi più frammentati di NREM e REM intervallati dalla veglia, circa 10 minuti, rispetto ai 60-120 minuti negli esseri umani⁶. Pertanto, identificare questi brevi periodi durante l'assegnazione manuale dei punteggi è difficile. Ci sono stati molti tentativi dagli anni '60 di sviluppare un sistema di punteggio automatico dei dati sul sonno dei roditori⁷. Sebbene esistano molti metodi automatizzati di punteggio del sonno dei roditori, le loro prestazioni variano 8,9,10,11,12,13,14,15,16,17,18. È importante sottolineare che la maggior parte dei modelli ad alte prestazioni con un'elevata generalizzabilità non sono disponibili pubblicamente (alcuni richiedono richieste speciali da parte degli sviluppatori) o non sono gratuiti per i ricercatori del sonno.

Pertanto, per colmare l'attuale lacuna tecnologica, abbiamo sviluppato un modello basato sull'apprendimento automatico utilizzando un ampio set di dati di 5776 ore di segnali EEG ed EMG da 519 registrazioni su 124 topi con l'algoritmo LightGBM¹. lightGBM utilizza un approccio di potenziamento del gradiente per costruire alberi decisionali¹⁹. In Wang et al., 2023, il modello LightGBM (composto da oltre 8000 alberi decisionali) ha raggiunto un'accuratezza complessiva del 95,2% e un kappa di Cohen di 0,91, che ha superato due modelli di base ampiamente utilizzati come il modello di regressione logistica (accuratezza = 93,3%) e il modello della foresta casuale (accuratezza = 94,3%, kappa = 0,89). Anche le prestazioni complessive del modello hanno mostrato prestazioni simili a quelle degli esperti umani. Ancora più importante, è stato dimostrato che il modello ha generalizzabilità e non si adatta ai dati di addestramento originali¹: 1) Si è comportato bene (accuratezza > 89%) su altri due set di dati indipendenti disponibili pubblicamente, di Miladinovic e colleghi¹¹, con diverse frequenze di campionamento e lunghezze d'epoca; 2) Le prestazioni del modello non sono influenzate dal ciclo luce/buio dei topi; 3) Un modello LightGBM modificato ha ottenuto buoni risultati su dati contenenti solo un elettrodo EEG e un elettrodo EMG con kappa ≥ 0,89; 4) Per i test sono stati utilizzati sia topi wildtype che mutanti e le prestazioni del modello sono state accurate. Ciò suggerisce che il modello può valutare le fasi del sonno per i topi con diversi background genetici.

Al fine di rendere questo modello accessibile ai ricercatori del sonno che potrebbero non avere esperienza di codifica, abbiamo sviluppato IntelliSleepScorer, uno strumento software di facile utilizzo con un'interfaccia visivamente intuitiva. Il software può automatizzare completamente la procedura di punteggio del sonno nei topi. Produce visualizzazioni interattive dei segnali, dell'ipnogramma e dei valori SHAP (Shapley Additive Explanations) da un input di file EDF (European Data Format)/EDF+. L'approccio del valore SHAP, basato sulla teoria dei giochi cooperativi, migliora l'interpretabilità dei modelli di apprendimento automatico²⁰. Il modello offre valori SHAP sia globali che a livello di epoca, rivelando come i diversi valori delle caratteristiche contribuiscano alla decisione di punteggio del modello nel suo complesso e per ogni epoca. Questo programma avanzato riduce significativamente il tempo e lo sforzo necessari per il punteggio della fase del sonno nei topi, garantendo al contempo che l'analisi a valle possa fare affidamento su risultati altamente accurati. In questo manoscritto, presentiamo l'utilizzo passo dopo passo di IntelliSleepScorer (v1.2) con diversi aggiornamenti rispetto alla versione 1.0, tra cui un'opzione per eseguire l'analisi SHAP separatamente dalla previsione del modello di sonno, una lunghezza dell'epoca regolabile dall'utente per il punteggio della fase del sonno e una funzione di correzione manuale della fase del sonno integrata nella GUI.

Access restricted. Please log in or start a trial to view this content.

Protocollo

Questo studio ha utilizzato i dati raccolti da esperimenti in vivo sui topi. Nello studio non sono stati coinvolti esperimenti sull'uomo. Tutti gli esperimenti con gli animali sono stati approvati dal Comitato Istituzionale per la Cura e l'Uso degli Animali presso il Broad Institute. Tutti gli esperimenti sono stati eseguiti in conformità con le linee guida e i regolamenti pertinenti. Le linee guida ARRIVE non sono applicabili a questo studio perché l'obiettivo di questo studio è sviluppare modelli di apprendimento automatico piuttosto che confrontare diversi gruppi di trattamento.

1. Preparazione dei dati

NOTA: Compatibilità dei dati: i dati registrati possono avere qualsiasi frequenza di campionamento superiore a 40 Hz. Non è necessario filtrare il segnale passa-banda perché il software filtra i segnali EEG ed EMG al primo passaggio. I modelli LightGBM sono stati sviluppati e testati utilizzando i dati dei topi. Non sono disponibili prove riguardanti le prestazioni dei modelli LightGBM in altri tipi di animali da laboratorio. Gli elettrodi di registrazione devono essere posizionati sulla corteccia frontale e parietale, o in entrambi i punti se viene registrato un solo canale EEG.

1. Disposizione e requisiti del formato EDF/EDF+
   NOTA: Il software utilizzato in questo studio legge solo i file EDF/EDF+ utilizzando il pacchetto MNE-Python. Per generare i file EDF/EDF+ è necessario applicare la specifica standard EDF/EDF+. Oltre alle specifiche standard, assicurarsi che le annotazioni EDF/EDF+ siano codificate in UTF-8. In caso contrario, l'applicazione software si arresterà in modo anomalo.
   1. Converti un altro formato di file (file non EDF/EDF+) in formato EDF/EDF+ con strumenti gratuiti online.
      NOTA: Non è necessario il filtro dell'apparecchio quando si ottengono segnali EEG ed EMG. Finché gli utenti campionano i dati EEG ed EMG a una frequenza di 40 Hz o superiore, il software funzionerà correttamente. Questo perché, nella fase iniziale di pre-elaborazione, i segnali vengono sottoposti a filtraggio passa-banda tra 1 Hz e 40 Hz. Questo filtro passa-banda è integrato nella pipeline di pre-elaborazione del software, eliminando la necessità per gli utenti di eseguire qualsiasi elaborazione aggiuntiva del segnale.
2. Ci sono due modelli all'interno del software per il punteggio. Uno è LightGBM-2EEG e l'altro è LightGBM-1EEG. Il modello LightGBM-2EEG è progettato per la registrazione di dati con 2 canali EEG e 1 canale EMG. Eseguire i seguenti passaggi a seconda del modello.
   1. Organizzare i file di dati per LightGBM-2EEG in modo specifico nel seguente ordine: 1) canale EEG registrato nell'area parietale; 2) canale EEG registrato nella zona frontale; 3) Canale EMG. Il LightGBM-1EEG è designato per i dati che contengono solo 1 canale EEG (posizionamento dell'elettrodo sull'area parietale o frontale) e 1 canale EMG.
   2. Organizzare i canali in file EDF/EDF+ per LightGBM-1EEG nel seguente ordine: 1) canale EEG; 2) Canale EMG.

2. Download di IntelliSleepScorer per utenti Windows, Mac e Linux

1. Per gli utenti Windows, è disponibile un eseguibile di Windows per il software utilizzando PyInstaller. Trova il link per il download sulla pagina di ricerca del gruppo Pan https://sites.broadinstitute.org/pan-lab/resources. Per gli utenti MacOS o Linux, utilizzare il codice sorgente sul repository GitHub https://github.com/broadinstitute/IntelliSleepScorer per avviare il software.
2. Accedi a due dati di esempio registrati per testare il programma salvato come file EDF scaricandoli tramite il repository GitHub.
3. Il repository del codice sorgente non include la cartella models a causa dei limiti di dimensione. Invece, scarica models.zip, decomprimilo e copia la cartella dei modelli all'interno del repository per l'esecuzione del programma. In caso contrario, il software si arresterà in modo anomalo a causa della mancanza di file del modello.

3. Avvio e funzionamento del flusso di lavoro e del programma

1. Avvia IntelliSleepScorer
   1. Per avviare il software in Windows, fare doppio clic su IntelliSleepScorer.exe che si trova nella cartella principale. Per avviare il software in MacOS o Linux, apri un emulatore di terminale, cambia la directory nella cartella principale del software, quindi avvia il software utilizzando il comando: python3 IntelliSleepScorer.py.
2. Una volta aperto il software, fare clic su Seleziona file EDF/EDF+ per selezionare i file desiderati per il punteggio. Se i file sono stati selezionati per errore, fare clic sul pulsante Cancella per cancellare l'elenco dei file selezionati.
   NOTA: Per impostazione predefinita, il software codifica le fasi di sospensione come Wake:1, NREM:2 e REM:3 nei file del punteggio di output. La lunghezza predefinita dell'epoca è impostata su 10 s. La versione corrente (v1.2) della GUI consente agli utenti di modificare le codifiche degli stadi o la lunghezza dell'epoca a 4 s, 10 s o 20 s con il menu a discesa.
3. Selezionare la lunghezza dell'epoca desiderata. Utilizzare il menu a discesa fornito per selezionare la lunghezza dell'epoca desiderata tra le opzioni di 4 s, 10 s e 20 s per il punteggio della fase del sonno.
4. Selezionare il modello da utilizzare per il punteggio del sonno. LightGBM-2EEG è destinato a file di dati con due canali EEG e un canale EMG, mentre LightGBM-1EEG è progettato per dati con un canale EEG e un canale EMG.
5. Prima di eseguire la previsione della fase del sonno, includere il calcolo SHAP aggiuntivo che consente di spiegare i risultati della previsione della fase del sonno. Per elaborare il calcolo SHAP, selezionare la casella di controllo Esegui/Stampa SHAP . L'elaborazione del calcolo SHAP richiede circa 5-10 minuti.
6. Fare clic su Assegna un punteggio a tutti i file. Il modello assegna automaticamente un punteggio a tutti i file EDF/EDF+ e calcola i valori SHAP globali ed epocali per interpretare le decisioni di punteggio nell'elenco, se si sceglie di farlo.
   NOTA: Durante il processo di assegnazione del punteggio, il modello genera i seguenti file e li salva nella stessa cartella in cui si trovano i file EDF/EDF+. Il modello utilizza questi file per tracciare i valori SHAP globali e i valori SHAP dell'epoca.
   
   "Nome file EDF/EDF+}_{model_name}_features.csv"; In questo file vengono memorizzati tutti i valori delle funzioni estratti.
   "Nome file EDF/EDF+}_{model_name}_scores.csv"; Questo file memorizza le fasi del sonno previste.
   "Nome file EDF/EDF+}_{model_name}_rs_100hz.npy"; Questo file memorizza una copia dei segnali ricampionati/sottocampionati (100Hz). Per migliorare la velocità di visualizzazione, il modello utilizza il segnale sottocampionato anziché il segnale originale durante la tracciatura del segnale.
   "EDF/EDF+ nome file}_{model_name}spiegazione. sottaceto"; "{Nome file EDF/EDF+}{model_name}shap_500samples.pickle"; "{Nome file EDF/EDF+}{model_name}_indicies_500samples.npy";
7. Dopo aver terminato il processo di punteggio del sonno, fare clic sull'opzione Visualizza il file selezionato per visualizzare i segnali EEG/EMG e un ipnogramma allineato nel tempo con i segnali.
   1. Assegna nuovamente un punteggio al file selezionato prima della visualizzazione se la lunghezza dell'epoca viene modificata.

4. Navigazione tra i risultati con punteggio

1. Fare clic sui pulsanti di navigazione forniti per spostarsi avanti e indietro per visualizzare i diversi dati dell'epoca.
2. Se si sceglie di eseguire il calcolo SHAP, visualizzare sia i valori SHAP globali che quelli a livello di epoca. Fare clic con il pulsante destro del mouse su un'epoca per tracciare i valori SHAP a livello di epoca.
   NOTA: Ci vorranno alcuni secondi per aggiornare il grafico SHAP a livello di epoca. La Figura 1 mostra la panoramica della pagina GUI dopo l'esecuzione della previsione per il file EDF/EDF+ Example-1 con il modello 1_LightBGM-2EEG.

5. Interpretazione dell'ipnogramma delle fasi del sonno segnate

NOTA: Ci sono 4 righe nell'ipnogramma (Figura 2). La riga superiore è rappresentata dai risultati previsti. Le 3 righe inferiori sono dati grezzi di 2 canali EEG e 1 EMG, rispettivamente. Nella riga superiore, l'arancione suggerisce la fase Wake , il blu suggerisce la fase NREM e il rosso suggerisce la fase REM in ogni epoca.

1. Per modificare il numero di epoche da visualizzare, fare clic sulla casella del menu a destra di Seleziona numero di epoche da visualizzare e scegliere il valore desiderato. Nella Figura 2, sono state scelte 100 epoche. Pertanto, nel grafico di previsione della fase del sonno vengono visualizzate solo 100 epoche. Seleziona un numero più piccolo nel menu a discesa per ingrandire il grafico.
2. La barra rosa trasparente a sinistra della Figura 2 indica la posizione corrente dell'epoca. Fare clic con il pulsante sinistro del mouse su qualsiasi punto dell'ipnogramma per passare a un'altra epoca, oppure semplicemente fare clic su Vai all'epoca e inserire un numero specifico di epoche da osservare. Fare clic con il pulsante destro del mouse sull'epoca selezionata per generare il grafico SHAP dell'epoca se l'utente ha abilitato la funzione SHAP.

6. Correzione manuale delle fasi di sonno previste sulla GUI (opzionale)

NOTA: se non viene osservata alcuna anomalia o non è richiesta un'accuratezza estremamente elevata per la previsione della fase REM, non è necessaria la verifica manuale.

1. Fare clic con il pulsante sinistro del mouse su un'epoca nel grafico di previsione della fase del sonno (grafico in alto) per selezionare un'epoca specifica. La fase prevista del modello dell'epoca selezionata è mostrata a destra del testo. Per modificare manualmente la fase prevista per quell'epoca, fare clic sul widget e selezionare una nuova fase dalle opzioni Wake, NREM e REM nel menu a discesa.
2. Le fasi corrette dall'utente sono contrassegnate con linee tratteggiate sopra il grafico originale (Figura 3). Chiudi la GUI e un nuovo file con i risultati di previsione corretti verrà generato automaticamente nella stessa cartella.
   1. Per aprire nuovamente un file segnato salvato sulla GUI, assicurarsi che l'impostazione della lunghezza dell'epoca e il modello selezionato corrispondano a quello utilizzato quando il file EDF è stato inizialmente elaborato per poterlo riaprire. Tutte le informazioni precedentemente modificate/valutate verranno caricate rapidamente.

Access restricted. Please log in or start a trial to view this content.

Risultati

Ci sono tre grafici (solo il grafico superiore se i valori SHAP non sono stati eseguiti) generati nella GUI dopo il punteggio della fase del sonno: il grafico superiore presenta i canali EEG ed EMG con un ipnogramma della previsione della fase del sonno. Il grafico centrale presenta i valori SHAP dell'epoca. Il grafico in basso presenta i valori SHAP globali (Figura 1).

Ci sono 4 tipi di dati presentati nel grafico dell'ipnogramma...

Access restricted. Please log in or start a trial to view this content.

Discussione

Questo documento illustra come utilizzare l'interfaccia utente grafica IntelliSleepScorer (v1.2) per assegnare automaticamente un punteggio alle fasi del sonno dei topi e come sfruttare i valori/grafici SHAP per comprendere meglio i punteggi delle fasi del sonno generati dal modello.

Una considerazione importante quando si utilizza il software è la compatibilità dei dati. I dati interni utilizzati in questo studio erano limitati agli elettrodi posizionati ne...

Access restricted. Please log in or start a trial to view this content.

Materiali

Name	Company	Catalog Number	Comments
Canonical Unbuntu 18.04	Canonical	https://releases.ubuntu.com/18.04/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; RAM: 24 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
Intel Core i7-10610U CPU @1.80 GHz 2.30 GHz; RAM: 16 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
LightGBM	Microsoft	https://lightgbm.readthedocs.io/en/latest/index.html	Machine learning-based algorithm that was used to train the software.
MacBook Pro	Apple	https://www.apple.com/in/macbook-pro/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Windows	Microsoft	https://www.microsoft.com/en-in/windows/?r=1	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux