IntelliSleepScorer, ein Softwarepaket mit grafischer Benutzeroberfläche für die automatisierte Bewertung des Schlafstadiums von Mäusen

Zusammenfassung

Wir präsentieren ein Softwarepaket mit einer grafischen Benutzeroberfläche für Forscher ohne Programmiererfahrung, um Schlafstadien bei Mäusen mit einem einfachen Download und einer einfachen Bedienung zu bewerten.

Zusammenfassung

Die Bewertung des Schlafstadiums bei Nagetieren ist der Prozess der Identifizierung der drei Stadien: Nonrapid Eye Movement Sleep (NREM), Rapid Eye Movement Sleep (REM) und Wake. Die Bewertung der Schlafphase ist entscheidend für die Untersuchung von schlafphasenspezifischen Maßnahmen und Effekten.

Die Schlafmuster bei Nagetieren unterscheiden sich von denen beim Menschen und sind durch kürzere Episoden von NREM und REM gekennzeichnet, die durch das Aufwachen unterbrochen werden, und die traditionelle manuelle Bewertung der Schlafstadien durch menschliche Experten ist zeitaufwändig. Um dieses Problem anzugehen, haben frühere Studien auf maschinellem Lernen basierende Ansätze verwendet, um Algorithmen zur automatischen Kategorisierung von Schlafstadien zu entwickeln, aber leistungsstarke Modelle mit großer Generalisierbarkeit sind oft weder öffentlich verfügbar/kostenlos noch benutzerfreundlich für nicht geschulte Schlafforscher.

Aus diesem Grund haben wir einen auf maschinellem Lernen basierenden LightGBM-Algorithmus entwickelt, der mit einem großen Datensatz trainiert wurde. Um das Modell Schlafforschern ohne Programmiererfahrung zur Verfügung zu stellen, wurde auf Basis des Modells ein Software-Tool namens IntelliSleepScorer (v1.2 - neueste Version) entwickelt, das über eine einfach zu bedienende grafische Benutzeroberfläche verfügt. In diesem Manuskript stellen wir eine Schritt-für-Schritt-Anleitung für die Verwendung der Software vor, um ein praktisches und effektives automatisches Tool zur Bewertung des Schlafstadiums bei Mäusen für Schlafforscher zu demonstrieren.

Einleitung

Die Bewertung des Schlafstadiums bei Nagetieren ist das Verfahren zur Identifizierung der drei Stadien: Non-Rapid Eye Movement Sleep (NREM), Rapid Eye Movement Sleep (REM) und Wake². Bei Nagetieren ist NREM durch verminderte Muskelaktivität, langsame und regelmäßige Atmung, verminderte Herzfrequenz und niederfrequente Schwingungen der Gehirnwellen gekennzeichnet. REM bei Nagetieren, ähnlich wie beim Menschen, zeigt Muskelatonie, EEG-Aktivierung und schnelle Augenbewegungen, obwohl das Auftreten von lebhaftem Träumen bei Nagetieren im Vergleich zum Menschen weniger klar ist ^2,3. Der "Wachzustand" bei Nagetieren ist gekennzeichnet durch desynchronisierte Gehirnaktivität mit hochfrequenten Wellen mit niedriger Amplitude, erhöhtem Muskeltonus und aktivem Verhalten, wie z. B. Fellpflege und Erkundung⁴. Diese drei Stadien können durch Untersuchung der Signale des Elektroenzephalogramms (EEG) und des Elektromyogramms (EMG) identifiziert werden⁵.

Die Modelle zur automatischen Bewertung des Schlafstadiums bei Nagetieren sind dringend erforderlich. Erstens ist die manuelle Bewertung des Schlafstadiums durch menschliche Experten arbeitsintensiv und zeitaufwändig. Zweitens unterscheiden sich die Schlafmuster von Nagetieren von denen beim Menschen und weisen fragmentiertere Episoden von NREM und REM auf, die durch das Aufwachen unterbrochen werden, etwa 10 Minuten, im Gegensatz zu 60-120 Minuten beim Menschen⁶. Daher ist es eine Herausforderung, diese kurzen Zeiträume während der manuellen Bewertung zu identifizieren. Seit den 60er Jahren gab es viele Versuche, ein automatisches Bewertungssystem für Schlafdaten von Nagetieren zu entwickeln⁷. Obwohl es viele automatisierte Methoden zur Bewertung des Schlafs von Nagetieren gibt, variieren ihre Leistungen 8,9,10,11,12,13,14,15,16,17,18. Wichtig ist, dass die meisten leistungsstarken Modelle mit hoher Generalisierbarkeit nicht öffentlich verfügbar sind (einige erfordern spezielle Wünsche von Entwicklern) oder für Schlafforscher nicht kostenlos sind.

Um die derzeitige Technologielücke zu schließen, haben wir daher ein auf maschinellem Lernen basierendes Modell entwickelt, das einen großen Datensatz von 5776 h EEG- und EMG-Signalen aus 519 Aufzeichnungen von 124 Mäusen mit dem LightGBM-Algorithmus¹ verwendet. Das lightGBM verwendet einen gradientenverstärkenden Ansatz, um Entscheidungsbäume^{zu konstruieren 19}. In Wang et al., 2023, erreichte das LightGBM-Modell (bestehend aus über 8000 Entscheidungsbäumen) eine Gesamtgenauigkeit von 95,2 % und einen Cohen-Kappa von 0,91, was zwei weit verbreitete Baseline-Modelle wie das logistische Regressionsmodell (Genauigkeit = 93,3 %) und das Random-Forest-Modell (Genauigkeit = 94,3 %, Kappa = 0,89) übertraf. Auch die Gesamtleistung des Modells zeigte eine ähnliche Leistung wie die von menschlichen Experten. Am wichtigsten ist, dass bewiesen wurde, dass das Modell verallgemeinerbar ist und nicht an die ursprünglichen Trainingsdaten angepasst ist¹: 1) Es schnitt bei zwei anderen öffentlich zugänglichen unabhängigen Datensätzen von Miladinovic und Kollegen¹¹ mit unterschiedlichen Abtasthäufigkeiten und Epochenlängen gut ab (Genauigkeit > 89 %). 2) Die Leistung des Modells wird nicht durch den Hell-Dunkel-Zyklus von Mäusen beeinflusst; 3) Ein modifiziertes LightGBM-Modell schnitt bei Daten mit nur einer EEG- und einer EMG-Elektrode mit Kappa-≥ 0,89 gut ab; 4) Für den Test wurden sowohl Wildtyp- als auch mutierte Mäuse verwendet, und die Leistungen des Modells waren genau. Dies deutet darauf hin, dass das Modell die Schlafstadien von Mäusen mit unterschiedlichem genetischen Hintergrund bewerten kann.

Um dieses Modell Schlafforschern zugänglich zu machen, die möglicherweise nicht über Programmierkenntnisse verfügen, haben wir IntelliSleepScorer entwickelt, ein benutzerfreundliches Software-Tool mit einer visuell intuitiven Benutzeroberfläche. Die Software kann das Verfahren zur Schlafbewertung bei Mäusen vollständig automatisieren. Es erstellt interaktive Visualisierungen der Signale, des Hypnogramms und der Shapley Additive Explanations (SHAP)-Werte aus einer Eingabe in einer Datei im europäischen Datenformat (EDF)/EDF+. Der SHAP-Wertansatz, der auf der kooperativen Spieltheorie basiert, verbessert die Interpretierbarkeit von Modellen des maschinellen Lernens²⁰. Das Modell bietet sowohl globale als auch epochale SHAP-Werte und zeigt, wie unterschiedliche Merkmalswerte zur Bewertungsentscheidung des Modells insgesamt und für jede Epoche beitragen. Dieses fortschrittliche Programm reduziert den Zeit- und Arbeitsaufwand für die Bewertung des Schlafstadiums bei Mäusen erheblich und stellt gleichzeitig sicher, dass sich die nachgelagerte Analyse auf hochpräzise Ergebnisse verlassen kann. In diesem Manuskript stellen wir eine schrittweise Verwendung von IntelliSleepScorer (v1.2) mit mehreren Updates gegenüber Version 1.0 vor, einschließlich einer Option zum Ausführen der SHAP-Analyse getrennt von der Vorhersage des Schlafmusters, einer vom Benutzer einstellbaren Epochenlänge für die Bewertung der Schlafphase und einer in die GUI integrierten manuellen Korrekturfunktion für die Schlafphase.

Protokoll

In dieser Studie wurden Daten aus In-vivo-Experimenten an Mäusen verwendet. In der Studie waren keine Versuche am Menschen beteiligt. Alle Tierversuche wurden vom Institutional Animal Care and Use Committee des Broad Institute genehmigt. Alle Experimente wurden in Übereinstimmung mit den einschlägigen Richtlinien und Vorschriften durchgeführt. Die ARRIVE-Richtlinien sind auf diese Studie nicht anwendbar, da der Schwerpunkt dieser Studie auf der Entwicklung von Modellen für maschinelles Lernen und nicht auf dem Vergleich verschiedener Behandlungsgruppen liegt.

1. Datenaufbereitung

HINWEIS: Datenkompatibilität: Die aufgezeichneten Daten können eine Abtastrate von mehr als 40 Hz haben. Es ist nicht notwendig, das Signal zu filtern, da die Software Bandpass die EEG- und EMG-Signale im ersten Schritt filtert. Die LightGBM-Modelle wurden anhand von Daten von Mäusen entwickelt und getestet. Es liegen keine Belege für die Leistungsfähigkeit der LightGBM-Modelle bei anderen Arten von Labortieren vor. Die Aufzeichnungselektroden müssen am frontalen und parietalen Kortex platziert werden, oder an beiden Stellen, wenn nur ein EEG-Kanal aufgezeichnet wird.

1. Anordnung und Anforderung des EDF/EDF+-Formats
   HINWEIS: Die in dieser Studie verwendete Software liest nur EDF/EDF+-Dateien mit dem MNE-Python-Paket. Für die Generierung der EDF/EDF+-Dateien muss die Standardspezifikation EDF/EDF+ angewendet werden. Stellen Sie zusätzlich zur Standardspezifikation sicher, dass die EDF/EDF+-Annotationen in UTF-8 codiert sind. Andernfalls stürzt die Softwareanwendung ab.
   1. Konvertieren Sie ein anderes Dateiformat (Nicht-EDF/EDF+-Datei) mit kostenlosen Online-Tools in das EDF/EDF+-Format.
      HINWEIS: Der Gerätefilter ist bei der Erfassung von EEG- und EMG-Signalen nicht erforderlich. Solange der Benutzer seine EEG- und EMG-Daten mit einer Frequenz von 40 Hz oder höher abtastet, funktioniert die Software ordnungsgemäß. Denn im ersten Vorverarbeitungsschritt werden die Signale einer Bandpassfilterung zwischen 1 Hz und 40 Hz unterzogen. Diese Bandpassfilterung ist in die Vorverarbeitungspipeline der Software integriert, sodass der Benutzer keine zusätzliche Signalverarbeitung durchführen muss.
2. In der Software gibt es zwei Modelle für die Wertung. Eines ist LightGBM-2EEG und das andere ist LightGBM-1EEG. Das Modell LightGBM-2EEG ist für die Aufzeichnung von Daten mit 2 EEG-Kanälen und 1 EMG-Kanal vorgesehen. Führen Sie je nach Modell die folgenden Schritte aus.
   1. Organisieren Sie die Datendateien für LightGBM-2EEG in der folgenden Reihenfolge: 1) EEG-Kanal, der im parietalen Bereich aufgezeichnet wurde; 2) EEG-Kanal, der im Frontalbereich aufgezeichnet wird; 3) EMG-Kanal. Das LightGBM-1EEG ist für Daten vorgesehen, die nur 1 EEG-Kanal (Elektrodenplatzierung entweder im parietalen oder frontalen Bereich) und 1 EMG-Kanal enthalten.
   2. Organisieren Sie die Kanäle in EDF/EDF+-Dateien für LightGBM-1EEG in der folgenden Reihenfolge: 1) EEG-Kanal; 2) EMG-Kanal.

2. Herunterladen von IntelliSleepScorer für Windows-, Mac- und Linux-Benutzer

1. Für Windows-Benutzer steht eine ausführbare Windows-Datei für die Software mit dem PyInstaller zur Verfügung. Den Download-Link finden Sie auf der Forschungsseite der Pan-Gruppe https://sites.broadinstitute.org/pan-lab/resources. Verwenden Sie für MacOS- oder Linux-Benutzer den Quellcode im GitHub-Repository https://github.com/broadinstitute/IntelliSleepScorer, um die Software zu starten.
2. Greifen Sie auf zwei aufgezeichnete Beispieldaten zu, um das Programm zu testen, das als EDF-Dateien gespeichert ist, indem Sie sie über das GitHub-Repository herunterladen.
3. Das Quellcode-Repository enthält den Ordner models aufgrund von Größenbeschränkungen nicht. Laden Sie stattdessen models.zip herunter, entpacken Sie es und kopieren Sie den Ordner models in das Repository, damit das Programm ausgeführt werden kann. Andernfalls stürzt die Software aufgrund fehlender Modelldateien ab.

3. Arbeitsablauf und Programmstart und -betrieb

1. Starten Sie IntelliSleepScorer
   1. Um die Software unter Windows zu starten, doppelklicken Sie auf IntelliSleepScorer.exe , die sich im Stammordner befindet. Um die Software unter MacOS oder Linux zu starten, öffnen Sie einen Terminalemulator, ändern Sie das Verzeichnis in den Stammordner der Software, und starten Sie die Software dann mit dem Befehl: python3 IntelliSleepScorer.py.
2. Sobald die Software geöffnet ist, klicken Sie auf EDF/EDF+-Datei(en) auswählen , um die gewünschte(n) Datei(en) für die Bewertung auszuwählen. Wenn Dateien versehentlich ausgewählt wurden, klicken Sie auf die Schaltfläche Löschen , um die Liste der ausgewählten Dateien zu löschen.
   HINWEIS: Standardmäßig kodiert die Software die Ruhephasen als Wake:1, NREM:2 und REM:3 in den Ausgabe-Score-Dateien. Die Standard-Epochenlänge ist auf 10 s festgelegt. Die aktuelle Version (v1.2) der GUI ermöglicht es Benutzern, Stage-Codierungen oder Epochenlängen über das Dropdown-Menü auf 4 s, 10 s oder 20 s zu ändern.
3. Wählen Sie die gewünschte Epochenlänge aus. Verwenden Sie das bereitgestellte Dropdown-Menü, um die gewünschte Epochenlänge unter den Optionen 4 s, 10 s und 20 s für die Bewertung der Schlafphase auszuwählen.
4. Wählen Sie das Modell aus, das für die Schlafbewertung verwendet werden soll. LightGBM-2EEG ist für Dateien mit zwei EEG-Kanälen und einem EMG-Kanal vorgesehen, während das LightGBM-1EEG für Daten mit einem EEG-Kanal und einem EMG-Kanal ausgelegt ist.
5. Bevor Sie die Vorhersage der Schlafphase ausführen, fügen Sie die zusätzliche SHAP-Berechnung hinzu, die hilft, die Ergebnisse der Vorhersage der Schlafphase zu erklären. Um die SHAP-Berechnung zu verarbeiten, aktivieren Sie das Kontrollkästchen SHAP ausführen/plotten . Die Verarbeitung der SHAP-Berechnung dauert etwa 5-10 Minuten.
6. Klicken Sie auf Alle Dateien bewerten. Das Modell bewertet automatisch alle EDF/EDF+-Dateien und berechnet die globalen und epochalen SHAP-Werte, um die Bewertungsentscheidungen in der Liste zu interpretieren, falls dies ausgewählt wurde.
   HINWEIS: Während des Bewertungsprozesses generiert das Modell die folgenden Dateien und speichert sie in demselben Ordner, in dem sich die EDF/EDF+-Dateien befinden. Das Modell verwendet diese Dateien, um die globalen SHAP-Werte und die SHAP-Werte der Epochen darzustellen.
   
   "EDF/EDF+ Dateiname}_{model_name}_features.csv"; In dieser Datei werden alle extrahierten Feature-Werte gespeichert.
   "EDF/EDF+ Dateiname}_{model_name}_scores.csv"; In dieser Datei werden die vorhergesagten Ruhephasen gespeichert.
   "EDF/EDF+ Dateiname}_{model_name}_rs_100hz.npy"; In dieser Datei wird eine Kopie der neu gesampelten/heruntergesampelten Signale (100 Hz) gespeichert. Um die Visualisierungsgeschwindigkeit zu verbessern, verwendet das Modell beim Plotten des Signals das heruntergesampelte Signal anstelle des ursprünglichen Signals.
   "EDF/EDF+ Dateiname}_{model_name}Erklärung. Gurke"; "{EDF/EDF+ Dateiname}{model_name}shap_500samples.pickle"; "{EDF/EDF+ Dateiname}{model_name}_indicies_500samples.npy";
7. Nachdem Sie den Schlafbewertungsprozess abgeschlossen haben, klicken Sie auf die Option Ausgewählte Datei visualisieren , um die EEG/EMG-Signale und ein zeitlich auf die Signale abgestimmtes Hypnogramm zu visualisieren.
   1. Bewertet die ausgewählte Datei erneut vor der Visualisierung, wenn die Epochenlänge geändert wird.

4. Navigieren in den erzielten Ergebnissen

1. Klicken Sie auf die bereitgestellten Navigationsschaltflächen , um vorwärts und rückwärts zu navigieren und verschiedene Epochendaten anzuzeigen.
2. Wenn die SHAP-Berechnung für die Durchführung ausgewählt ist, werden sowohl die globalen als auch die SHAP-Werte auf Epochenebene angezeigt. Klicken Sie mit der rechten Maustaste auf eine Epoche, um die SHAP-Werte auf Epochenebene darzustellen.
   HINWEIS: Es dauert einige Sekunden, bis das SHAP-Diagramm auf Epochenebene aktualisiert wird. Abbildung 1 zeigt die Übersicht der GUI-Seite nach dem Ausführen der Vorhersage für Example-1 EDF/EDF+-Datei mit 1_LightBGM-2EEG-Modell.

5. Interpretation des bewerteten Hypnogramms der Schlafstadien

HINWEIS: Das Hypnogramm enthält 4 Zeilen (Abbildung 2). Die oberste Zeile zeigt die vorhergesagten Ergebnisse. Die unteren 3 Zeilen sind Rohdaten von 2 EEG- bzw. 1 EMG-Kanälen. In der oberen Reihe steht Orange für die Wake-Phase , Blau für die NREM-Phase und Rot für die REM-Phase in jeder Epoche.

1. Um die Anzahl der anzuzeigenden Epochen zu ändern, klicken Sie auf das Menüfeld rechts neben Anzahl der anzuzeigenden Epochen auswählen und wählen Sie einen gewünschten Wert aus. In Abbildung 2 wurden 100 Epochen ausgewählt. Daher werden nur 100 Epochen im Vorhersagediagramm für die Schlafphase angezeigt. Wählen Sie eine kleinere Zahl im Dropdown-Menü aus, um in das Diagramm zu zoomen.
2. Der rosafarbene transparente Balken links in Abbildung 2 zeigt den aktuellen Standort der Epoche. Klicken Sie mit der linken Maustaste auf eine beliebige Stelle im Hypnogramm, um zu einer anderen Epoche zu wechseln, oder klicken Sie einfach auf Gehe zu Epoche und geben Sie eine bestimmte Anzahl von Epochen ein, die beobachtet werden sollen. Klicken Sie mit der rechten Maustaste auf die ausgewählte Epoche, um das SHAP-Diagramm der Epoche zu erstellen, wenn der Benutzer die SHAP-Funktion aktiviert hat.

6. Manuelle Korrektur der vorhergesagten Schlafphasen auf der GUI (optional)

HINWEIS: Wenn keine Anomalie beobachtet wird oder keine extrem hohe Genauigkeit für die Vorhersage des REM-Stadiums erforderlich ist, ist keine manuelle Überprüfung erforderlich.

1. Klicken Sie mit der linken Maustaste auf eine Epoche im Vorhersagediagramm der Schlafphase (oberes Diagramm), um eine bestimmte Epoche auszuwählen. Die vom Modell vorhergesagte Phase der ausgewählten Epoche wird auf der rechten Seite des Textes angezeigt. Um die vorhergesagte Phase für diese Epoche manuell zu ändern, klicken Sie auf das Widget und wählen Sie eine neue Phase aus den Optionen Wake, NREM und REM im Dropdown-Menü aus.
2. Die vom Benutzer korrigierten Stadien sind mit gestrichelten Linien über dem ursprünglichen Diagramm markiert (Abbildung 3). Schließen Sie die GUI, und eine neue Datei mit korrigierten Vorhersageergebnissen wird automatisch im selben Ordner generiert.
   1. Um eine gespeicherte Notationsdatei erneut in der GUI zu öffnen, stellen Sie sicher, dass die Einstellung für die Epochenlänge und das ausgewählte Modell mit der Einstellung übereinstimmen, die bei der ursprünglichen Verarbeitung der EDF-Datei verwendet wurde, um sie erneut öffnen zu können. Alle zuvor geänderten/bewerteten Informationen werden schnell geladen.

Ergebnisse

Es gibt drei Diagramme (nur das obere Diagramm, wenn die SHAP-Werte nicht ausgeführt wurden), die in der GUI nach der Bewertung der Schlafphase generiert werden: Das obere Diagramm zeigt EEG- und EMG-Kanäle mit einem Hypnogramm der Vorhersage der Schlafphase. Das mittlere Diagramm zeigt die SHAP-Werte der Epochen. Das untere Diagramm zeigt die globalen SHAP-Werte (Abbildung 1).

Es gibt 4 Arten von Daten, die im Hypnogramm zur Vo...

Diskussion

In diesem Dokument wird vorgestellt, wie die grafische Benutzeroberfläche von IntelliSleepScorer (v1.2) verwendet wird, um die Schlafphasen von Mäusen automatisch zu bewerten, und wie SHAP-Werte/Diagramme genutzt werden, um die vom Modell generierten Schlafphasenbewertungen besser zu verstehen.

Ein wichtiger Aspekt bei der Nutzung der Software ist die Datenkompatibilität. Die in dieser Studie verwendeten internen Daten beschränkten sich auf Elektroden, die...

Materialien

Name	Company	Catalog Number	Comments
Canonical Unbuntu 18.04	Canonical	https://releases.ubuntu.com/18.04/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; RAM: 24 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
Intel Core i7-10610U CPU @1.80 GHz 2.30 GHz; RAM: 16 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
LightGBM	Microsoft	https://lightgbm.readthedocs.io/en/latest/index.html	Machine learning-based algorithm that was used to train the software.
MacBook Pro	Apple	https://www.apple.com/in/macbook-pro/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Windows	Microsoft	https://www.microsoft.com/en-in/windows/?r=1	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux