IntelliSleepScorer, программный комплекс с графическим пользовательским интерфейсом для автоматизированной оценки стадий сна мышей

Резюме

Мы представляем пакет программного обеспечения с графическим пользовательским интерфейсом для исследователей без опыта программирования для оценки стадий сна у мышей с помощью простой загрузки и эксплуатации.

Аннотация

Оценка стадии сна у грызунов — это процесс определения трех стадий: сон без быстрого движения глаз (NREM), сон с быстрым движением глаз (REM) и бодрствование. Оценка стадии сна имеет решающее значение для изучения показателей и эффектов, специфичных для стадии сна.

Режим сна у грызунов отличается от такового у человека, характеризуясь более короткими эпизодами NREM и REM, чередующимися с пробуждением, а традиционная ручная оценка стадии сна экспертами занимает много времени. Чтобы решить эту проблему, в предыдущих исследованиях использовались подходы, основанные на машинном обучении, для разработки алгоритмов для автоматической категоризации стадий сна, но высокопроизводительные модели с большой обобщенностью часто не являются общедоступными/бесплатными или удобными для необученных исследователей сна.

Поэтому мы разработали алгоритм LightGBM на основе машинного обучения, обученный на большом наборе данных. Чтобы сделать модель доступной для исследователей сна, не имеющих опыта программирования, на основе модели был разработан программный инструмент под названием IntelliSleepScorer (v1.2 - последняя версия), который отличается простым в использовании графическим пользовательским интерфейсом. В этой рукописи мы представляем пошаговую инструкцию по использованию программного обеспечения, чтобы продемонстрировать удобный и эффективный инструмент автоматической оценки стадий сна у мышей для исследователей сна.

Введение

Оценка стадии сна у грызунов — это процедура для определения трех стадий: сон без быстрого движения глаз (NREM), сон с быстрым движением глаз (REM) и пробуждение². У грызунов NREM характеризуется снижением мышечной активности, медленным и регулярным дыханием, снижением частоты сердечных сокращений и низкочастотными колебаниями мозговых волн. REM у грызунов, как и у человека, проявляется мышечной атонией, активацией ЭЭГ, быстрыми движениями глаз, хотя возникновение ярких сновидений у грызунов менее выражено по сравнению с человеком ^2,3. Состояние «пробуждения» у грызунов характеризуется десинхронизированной мозговой активностью с высокочастотными волнами с низкой амплитудой, повышенным мышечным тонусом и активным поведением, таким как груминг^{и исследование.} Эти три стадии могут быть идентифицированы путем проверки сигналов электроэнцефалограммы (ЭЭГ) и электромиограммы (ЭМГ)⁵.

Модели автоматической оценки стадии сна у грызунов пользуются большой потребностью. Во-первых, ручная оценка стадий сна экспертами является трудоемкой и длительной. Во-вторых, паттерны сна у грызунов отличаются от таковых у человека и имеют более фрагментированные эпизоды NREM и REM, чередующиеся при пробуждении, около 10 минут, в отличие от 60-120 минут^{у людей.} Поэтому выявление этих коротких периодов во время ручной оценки является сложной задачей. Начиная с 60-х годов, было много попыток разработать автоматическую систему оценки данных о сне грызунов⁷. Несмотря на то, что существует множество автоматизированных методов оценки сна грызунов, их производительность варьируется 8,9,10,11,12,13,14,15,16,17,18. Важно отметить, что большинство высокопроизводительных моделей с высокой обобщаемостью не являются общедоступными (некоторые требуют специальных запросов от разработчиков) или не являются бесплатными для исследователей сна.

Поэтому, чтобы восполнить существующий технологический пробел, мы разработали модель на основе машинного обучения, используя большой набор данных из 5776 часов сигналов ЭЭГ и ЭМГ из 519 записей на 124 мышах с алгоритмом LightGBM¹. LightGBM использует подход градиентного усиления для построения деревьев решений¹⁹. В работе Wang et al., 2023 модель LightGBM (состоящая из более чем 8000 деревьев решений) достигла общей точности 95,2% и каппы Коэна 0,91, что превзошло две широко используемые базовые модели, такие как модель логистической регрессии (точность = 93,3%) и модель случайного леса (точность = 94,3%, каппа = 0,89). Общая производительность модели также показала производительность, аналогичную производительности экспертов-людей. Самое главное, что было доказано, что модель обладает обобщаемостью и не переподгоняется к исходным обучающим данным¹: 1) Она хорошо показала себя (точность > 89%) на двух других общедоступных независимых наборах данных, от Миладиновича и коллег¹¹, с разными частотами выборки и продолжительностью эпох; 2) На производительность модели не влияет цикл света/темноты мышей; 3) Модифицированная модель LightGBM показала хорошие результаты на данных, содержащих только один электрод ЭЭГ и один электрод ЭМГ с каппа ≥ 0,89; 4) Для тестирования использовались мыши дикого типа и мутантные мыши, и характеристики модели оказались точными. Это говорит о том, что модель может оценить стадии сна для мышей с разным генетическим фоном.

Чтобы сделать эту модель доступной для исследователей сна, которые могут не иметь опыта программирования, мы разработали IntelliSleepScorer, удобный программный инструмент с визуально интуитивно понятным интерфейсом. Программное обеспечение может полностью автоматизировать процедуру оценки сна у мышей. Он производит интерактивную визуализацию сигналов, гипнограммы и значений аддитивных экспланаций Шепли (SHAP) из входного файла в европейском формате данных (EDF)/EDF+. Ценностный подход SHAP, основанный на кооперативной теории игр, улучшает интерпретируемость моделей машинного обучения²⁰. Модель предлагает как глобальные, так и эпохальные значения SHAP, показывая, как различные значения признаков влияют на решение о оценке модели в целом и для каждой эпохи. Эта усовершенствованная программа значительно сокращает время и усилия, необходимые для оценки стадии сна у мышей, гарантируя, что последующий анализ может полагаться на высокоточные результаты. В этой рукописи мы представляем пошаговое использование IntelliSleepScorer (v1.2) с несколькими обновлениями по сравнению с версией 1.0, включая возможность запуска анализа SHAP отдельно от прогнозирования паттерна сна, настраиваемую пользователем длину эпохи для оценки стадии сна и функцию ручной коррекции стадии сна, интегрированную в графический интерфейс.

протокол

В этом исследовании использовались данные, собранные в ходе экспериментов in vivo на мышах. В исследовании не проводилось никаких экспериментов на людях. Все эксперименты с животными были одобрены Комитетом по институциональному уходу за животными и их использованию в Институте Броуда. Все эксперименты проводились в соответствии с соответствующими инструкциями и регламентами. Рекомендации ARRIVE, которые не применимы к данному исследованию, поскольку основное внимание в этом исследовании уделяется разработке моделей машинного обучения, а не сравнению различных групп лечения.

1. Подготовка данных

ПРИМЕЧАНИЕ: Совместимость данных: записанные данные могут иметь любую частоту дискретизации выше 40 Гц. Нет необходимости фильтровать сигнал полосой пропускания, потому что программное обеспечение фильтрует сигналы ЭЭГ и ЭМГ на первом этапе. Модели LightGBM были разработаны и протестированы с использованием данных мышей. Нет никаких доказательств относительно производительности моделей LightGBM на других типах лабораторных животных. Записывающие электроды должны быть размещены на лобной и теменной коре или в любом месте, если регистрируется только один канал ЭЭГ.

1. Расположение форматов EDF/EDF+ и требования к ним
   ПРИМЕЧАНИЕ: Программное обеспечение, используемое в этом исследовании, считывает только файлы EDF/EDF+ с использованием пакета MNE-Python. Для создания файлов EDF/EDF+ необходимо применять стандартную спецификацию EDF/EDF+. В дополнение к стандартной спецификации убедитесь, что аннотации EDF/EDF+ закодированы в кодировке UTF-8. В противном случае произойдет сбой программного приложения.
   1. Конвертируйте другой формат файла (не файл EDF/EDF+) в формат EDF/EDF+ с помощью бесплатных онлайн-инструментов.
      ПРИМЕЧАНИЕ: При приеме сигналов ЭЭГ и ЭМГ нет необходимости в фильтре аппарата. До тех пор, пока пользователи берут образцы данных ЭЭГ и ЭМГ с частотой 40 Гц или выше, программное обеспечение будет функционировать корректно. Это связано с тем, что на начальном этапе предварительной обработки сигналы проходят полосовую фильтрацию в диапазоне от 1 Гц до 40 Гц. Эта полосовая фильтрация интегрирована в конвейер предварительной обработки программного обеспечения, избавляя пользователей от необходимости выполнять какую-либо дополнительную обработку сигнала.
2. Внутри программного обеспечения есть две модели для подсчета очков. Один из них — LightGBM-2EEG, а другой — LightGBM-1EEG. Модель LightGBM-2EEG предназначена для записи данных, которые имеют 2 канала ЭЭГ и 1 канал ЭМГ. Выполните следующие действия в зависимости от модели.
   1. Организуйте файлы данных для LightGBM-2EEG конкретно в следующем порядке: 1) канал ЭЭГ, записанный в теменной области; 2) ЭЭГ-канал, регистрируемый в лобной области; 3) ЭМГ-канал. LightGBM-1EEG предназначен для данных, которые содержат только 1 канал ЭЭГ (размещение электрода в теменной или лобной области) и 1 канал ЭМГ.
   2. Организуйте каналы в файлах EDF/EDF+ для LightGBM-1EEG в следующем порядке: 1) канал ЭЭГ; 2) ЭМГ-канал.

2. Загрузка IntelliSleepScorer для пользователей Windows, Mac и Linux

1. Для пользователей Windows исполняемый файл Windows для программного обеспечения доступен с помощью PyInstaller. Найдите ссылку для скачивания на странице исследований группы Pan https://sites.broadinstitute.org/pan-lab/resources. Для пользователей MacOS или Linux используйте исходный код в репозитории GitHub https://github.com/broadinstitute/IntelliSleepScorer запуска программного обеспечения.
2. Получите доступ к двум записанным примерам данных для тестирования программы, сохраненных в виде файлов EDF, загрузив их через репозиторий GitHub.
3. Репозиторий исходного кода не включает папку models из-за ограничений по размеру. Вместо этого загрузите models.zip, распакуйте его и скопируйте папку models в репозиторий для запуска программы. В противном случае программное обеспечение выйдет из строя из-за отсутствующих файлов модели.

3. Запуск и функционирование рабочего процесса и программы

1. Запустите IntelliSleepScorer
   1. Чтобы запустить программу в Windows, дважды щелкните IntelliSleepScorer.exe , расположенную в корневой папке. Чтобы запустить программу в MacOS или Linux, откройте эмулятор терминала, измените директорию на корневую папку программы, а затем запустите программу с помощью команды: python3 IntelliSleepScorer.py.
2. Как только программное обеспечение откроется, нажмите «Выбрать файлы EDF/EDF+», чтобы выбрать нужные файлы для оценки. Если файлы были выбраны по ошибке, нажмите кнопку «Очистить », чтобы очистить список выбранных файлов.
   ПРИМЕЧАНИЕ: По умолчанию программное обеспечение кодирует стадии сна как Wake:1, NREM:2 и REM:3 в выходных файлах оценки. Длина эпохи по умолчанию установлена равной 10 с. Текущая версия (v1.2) графического интерфейса позволяет пользователям изменять кодировки сцен или продолжительность эпох на 4 с, 10 с или 20 с с помощью выпадающего меню.
3. Выберите желаемую длину эпохи. Используйте предоставленное раскрывающееся меню, чтобы выбрать предполагаемую продолжительность эпохи среди вариантов 4 с, 10 с и 20 с для оценки стадии сна.
4. Выберите модель, которая будет использоваться для оценки сна. LightGBM-2EEG предназначен для файлов данных с двумя каналами ЭЭГ и одним каналом ЭМГ, в то время как LightGBM-1EEG предназначен для данных с одним каналом ЭЭГ и одним каналом ЭМГ.
5. Прежде чем запускать прогнозирование стадии сна, включите дополнительное вычисление SHAP, которое поможет объяснить результаты прогнозирования стадии сна. Чтобы выполнить расчет SHAP, установите флажок Выполнить/Построить SHAP . Расчет SHAP занимает около 5-10 минут.
6. Нажмите «Оценить все файлы». Модель автоматически оценивает все файлы EDF/EDF+ и вычисляет глобальные значения и значения SHAP эпохи, чтобы интерпретировать решения по оценке в списке, если это будет выбрано.
   ПРИМЕЧАНИЕ: В процессе подсчета баллов модель создает следующие файлы и сохраняет их в той же папке, где находятся файлы EDF/EDF+. Модель использует эти файлы для построения графиков глобальных значений SHAP и значений SHAP эпохи.
   
   "Имя файла EDF/EDF+}_{model_name}_features.csv"; В этом файле хранятся все извлеченные значения признаков.
   "Имя файла EDF/EDF+}_{model_name}_scores.csv"; В этом файле хранятся прогнозируемые стадии сна.
   "Имя файла EDF/EDF+}_{model_name}_rs_100hz.npy"; В этом файле хранится копия сигналов с измененной/пониженной дискретизацией (100 Гц). Для повышения скорости визуализации при построении графика сигнала модель использует сигнал с пониженной дискретизацией вместо исходного.
   "Имя файла EDF/EDF+}_{model_name}explainer. соленый огурец"; "{Имя файла EDF/EDF+}{model_name}shap_500samples.pickle"; "{Имя файла EDF/EDF+}{model_name}_indicies_500samples.npy";
7. После завершения процесса оценки сна нажмите на опцию «Визуализировать выбранный файл », чтобы визуализировать сигналы ЭЭГ/ЭМГ и гипнограмму, выровненную по времени с сигналами.
   1. Повторите оценку выбранного файла перед визуализацией, если длина эпохи изменилась.

4. Навигация по набранным результатам

1. Нажимайте на предоставленные кнопки навигации , чтобы перемещаться вперед и назад и просматривать различные данные об эпохах.
2. Если выбрано вычисление SHAP, просмотрите значения SHAP на уровне глобализации и эпохи. Щелкните правой кнопкой мыши по эпохе, чтобы построить график значений SHAP на уровне эпохи.
   ПРИМЕЧАНИЕ: Обновление графика SHAP на уровне эпохи займет несколько секунд. На рисунке 1 показан обзор страницы графического интерфейса пользователя после запуска прогноза для файла Example-1 EDF/EDF+ с моделью 1_LightBGM-2EEG.

5. Интерпретация гипнограммы засчитанных стадий сна

ПРИМЕЧАНИЕ: В гипнограмме 4 строки (Рисунок 2). В верхней строке указаны прогнозируемые результаты. В нижних 3 строках находятся исходные данные 2 каналов ЭЭГ и 1 канала ЭМГ соответственно. В верхнем ряду оранжевый цвет указывает на стадию пробуждения , синий — на стадию NREM , а красный — на стадию быстрого сна в каждой эпохе.

1. Чтобы изменить количество отображаемых эпох, нажмите на поле меню справа от пункта «Выбрать количество эпох для отображения » и выберите нужное значение. На рисунке 2 выбрано 100 эпох. Таким образом, на графике прогнозирования стадии сна отображается только 100 эпох. Выберите меньшее число в раскрывающемся меню, чтобы увеличить масштаб графика.
2. Розовая прозрачная полоса слева на рисунке 2 указывает на текущее местоположение эпохи. Щелкните левой кнопкой мыши по любому месту гипнограммы, чтобы переключиться на другую эпоху, или просто нажмите « Перейти к эпохе » и введите определенное количество эпох, которые будут наблюдаться. Щелкните правой кнопкой мыши выбранную эпоху, чтобы сгенерировать ее график SHAP, если пользователь включил функцию SHAP.

6. Ручная коррекция прогнозируемых стадий сна в графическом интерфейсе (опционально)

ПРИМЕЧАНИЕ: если аномалий не наблюдается или для прогнозирования стадии REM не требуется чрезвычайно высокая точность, ручная верификация не требуется.

1. Щелкните левой кнопкой мыши по эпохе на графике прогнозирования стадии сна (верхний график), чтобы выбрать конкретную эпоху. Предсказанная моделью стадия выбранной эпохи показана в правой части текста. Чтобы вручную изменить прогнозируемый этап в эту эпоху, нажмите на виджет и выберите новый этап из опций Wake, NREM и REM в раскрывающемся меню.
2. Скорректированные пользователем этапы помечаются пунктирными линиями поверх исходного графика (рис. 3). Закройте графический интерфейс, и в той же папке автоматически будет сгенерирован новый файл с исправленными результатами прогноза.
   1. Чтобы снова открыть сохраненный файл оценки в графическом интерфейсе, убедитесь, что настройка длины эпохи и выбранная модель совпадают с теми, которые использовались при первоначальной обработке файла EDF, чтобы иметь возможность его повторного открытия. Вся ранее измененная/оцененная информация будет быстро загружена.

Результаты

Существует три графика (только верхний график, если значения SHAP не были запущены) генерируются в графическом интерфейсе оценки после стадии сна: верхний график представляет каналы ЭЭГ и ЭМГ с гипнограммой предсказания стадии сна. На среднем графике представлены знач?...

Обсуждение

В этом документе показано, как использовать графический пользовательский интерфейс IntelliSleepScorer (v1.2) для автоматической оценки стадий сна мышей, а также как использовать значения/графики SHAP для лучшего понимания оценок стадий сна, генерируемых моделью.

В...

Материалы

Name	Company	Catalog Number	Comments
Canonical Unbuntu 18.04	Canonical	https://releases.ubuntu.com/18.04/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; RAM: 24 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
Intel Core i7-10610U CPU @1.80 GHz 2.30 GHz; RAM: 16 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
LightGBM	Microsoft	https://lightgbm.readthedocs.io/en/latest/index.html	Machine learning-based algorithm that was used to train the software.
MacBook Pro	Apple	https://www.apple.com/in/macbook-pro/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Windows	Microsoft	https://www.microsoft.com/en-in/windows/?r=1	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux