IntelliSleepScorer，一个带有图形用户界面的软件包，用于小鼠自动睡眠阶段评分

摘要

我们为没有编码经验的研究人员提供了一个带有图形用户界面的软件包，可以通过简单的下载和操作对小鼠的睡眠阶段进行评分。

摘要

啮齿动物的睡眠阶段评分是识别三个阶段的过程：非快速眼动睡眠 （NREM）、快速眼动睡眠 （REM） 和觉醒。睡眠阶段评分对于研究睡眠阶段特异性测量和效果至关重要。

啮齿动物的睡眠模式与人类不同，其特征是 NREM 和 REM 的发作时间较短，醒来时间隔时间较短，而人类专家的传统手动睡眠阶段评分很耗时。为了解决这个问题，以前的研究使用基于机器学习的方法来开发算法来自动对睡眠阶段进行分类，但具有高度泛化性的高性能模型通常不公开/免费，对于未经培训的睡眠研究人员来说也不友好。

因此，我们开发了一种基于机器学习的 LightGBM 算法，该算法使用大型数据集进行训练。为了使没有编码经验的睡眠研究人员可以使用该模型，基于该模型开发了一个名为 IntelliSleepScorer（v1.2 - 最新版本）的软件工具，它具有易于使用的图形用户界面。在本手稿中，我们提供了使用该软件为睡眠研究人员演示一种方便有效的小鼠自动睡眠阶段评分工具的分步说明。

引言

啮齿动物的睡眠阶段评分是识别三个阶段的过程：非快速眼动睡眠 （NREM）、快速眼动睡眠 （REM） 和觉醒²。在啮齿动物中，NREM的特征是肌肉活动减少、呼吸缓慢而有规律、心率减慢和脑电波低频振荡。与人类类似，啮齿动物的 REM 表现为肌肉乏力、脑电图激活和快速眼球运动，尽管与人类相比，啮齿动物生动梦境的发生不太明显 ^2,3。啮齿动物的“觉醒”状态以高频、低振幅波的大脑活动不同步、肌张力增加以及主动行为（如梳理和探索）为标志⁴。这三个阶段可以通过检查脑电图 （EEG） 和肌电图 （EMG） 信号来识别⁵。

啮齿动物的自动睡眠阶段评分模型非常需要。首先，由人类专家手动对睡眠阶段进行评分既费力又费时。其次，啮齿动物的睡眠模式与人类不同，醒来时有更多碎片化的 NREM 和 REM 发作，大约 10 分钟，^而人类为 60-120 分钟6。因此，在手动评分期间识别这些短暂的时间段是具有挑战性的。自 60 年代以来，人们多次尝试开发啮齿动物睡眠数据自动评分系统⁷（rodent sleep data）。尽管存在许多自动啮齿动物睡眠评分方法，但它们的表现各不相同^{8、9、10、11、12、13、14、15、16、17、18}。重要的是，大多数具有高泛化性的高性能模型都不是公开可用的（有些需要开发人员的特殊要求），或者对于睡眠研究人员来说并非免费。

因此，为了填补当前的技术空白，我们开发了一个基于机器学习的模型，该模型使用来自 124 只小鼠的 519 次记录的 5776 小时脑电图和肌电信号的大型数据集，并使用 LightGBM 算法¹。lightGBM 使用梯度提升方法来构建决策树¹⁹。在 Wang 等人，2023 年，LightGBM 模型（由 8000 多个决策树组成）实现了 95.2% 的总体准确率和 0.91 的 Cohen kappa，优于两个广泛使用的基线模型，例如逻辑回归模型（准确率 = 93.3%）和随机森林模型（准确率 = 94.3%，kappa = 0.89）。该模型的整体性能也显示出与人类专家相似的性能。最重要的是，该模型已被证明具有泛化性，并且不会过度拟合原始训练数据¹：1） 它在另外两个公开可用的独立数据集上表现良好（准确率> 89%），来自 Miladinovic 及其同事¹¹，具有不同的采样频率和时期长度;2） 模型的性能不受小鼠光/暗循环的影响;3） 改进的 LightGBM 模型在仅包含一个 EEG 和一个 EKG 电极的数据上表现良好，kappa ≥为 0.89;4） 使用野生型和突变型小鼠进行测试，模型的性能均准确。这表明该模型可以对具有不同遗传背景的小鼠的睡眠阶段进行评分。

为了让可能不具备编码专业知识的睡眠研究人员能够使用这个模型，我们开发了 IntelliSleepScorer，这是一种用户友好的软件工具，具有视觉直观的界面。该软件可以完全自动化小鼠的睡眠评分程序。它从欧洲数据格式 （EDF）/EDF+ 文件输入中生成信号、催眠图和 Shapley 加法解释 （SHAP） 值的交互式可视化。基于合作博弈论的 SHAP 价值方法增强了机器学习模型的可解释性²⁰.该模型提供全局和纪元级别的 SHAP 值，揭示了不同的特征值如何影响模型的整体和每个纪元的评分决策。这种先进的程序显著减少了小鼠睡眠阶段评分所需的时间和精力，同时确保下游分析可以依赖高度准确的结果。在本手稿中，我们逐步介绍了 IntelliSleepScorer （v1.2） 的使用，并在 1.0 版的基础上进行了多项更新，包括独立于睡眠模式预测运行 SHAP 分析的选项、用于睡眠阶段评分的用户可调时期长度，以及 GUI 中集成的睡眠阶段手动校正功能。

研究方案

本研究使用了从小鼠 体内 实验中收集的数据。该研究不涉及人体实验。所有动物实验均已获得 Broad Institute 的机构动物护理和使用委员会的批准。所有实验均按照相关指南和规定进行。ARRIVE 指南不适用于本研究，因为本研究的重点是开发机器学习模型，而不是比较不同的治疗组。

1. 数据准备

注意：数据兼容性：记录的数据可以具有高于 40 Hz 的任何采样率。无需对信号进行带通滤波，因为软件带通在第一步对 EEG 和 EMG 信号进行滤波。LightGBM 模型是使用小鼠数据开发和测试的。没有关于 LightGBM 模型在其他类型的实验室动物中性能的证据。记录电极需要放置在额叶和顶叶皮层，或者如果只记录一个 EEG 通道，则放置在任何一个位置。

1. EDF/EDF+ 格式安排和要求
   注意：本研究中使用的软件仅使用 MNE-Python 包读取 EDF/EDF+ 文件。需要应用标准 EDF/EDF+ 规范来生成 EDF/EDF+ 文件。除了标准规范外，请确保 EDF/EDF+ 注解使用 UTF-8 编码。否则，软件应用程序将崩溃。
   1. 使用在线免费工具将另一种文件（非 EDF/EDF+ 文件）格式转换为 EDF/EDF+ 格式。
      注意： 获取 EEG 和 EMG 信号时不需要设备滤波器。只要用户以 40 Hz 或更高的频率采样他们的 EEG 和 EMG 数据，软件就会正常运行。这是因为，在初始预处理步骤中，信号在 1 Hz 和 40 Hz 之间进行带通滤波。该带通滤波集成到软件的预处理管道中，用户无需执行任何其他信号处理。
2. 软件内部有两种用于评分的模型。一个是 LightGBM-2EEG，另一个是 LightGBM-1EEG。LightGBM-2EEG 模型指定用于记录具有 2 个 EEG 通道和 1 个 EMG 通道的数据。根据型号执行以下步骤。
   1. 具体按以下顺序组织 LightGBM-2EEG 的数据文件：1） 记录在顶叶区域的脑电图通道;2） 额叶区域记录的脑电图通道;3） 肌电图通道。LightGBM-1EEG 指定用于仅包含 1 个 EEG 通道（电极放置在顶叶或额叶区域）和 1 个 EMG 通道的数据。
   2. 按以下顺序组织 LightGBM-1EEG 的 EDF/EDF+ 文件中的通道： 1） 脑电图通道;2） 肌电图通道。

2. 为 Windows、Mac 和 Linux 用户下载 IntelliSleepScorer

1. 对于 Windows 用户，可以使用 PyInstaller 获得该软件的 Windows 可执行文件。在 Pan group 研究页面上找到下载链接 https://sites.broadinstitute.org/pan-lab/resources。对于 MacOS 或 Linux 用户，请使用 GitHub 存储库 https://github.com/broadinstitute/IntelliSleepScorer 上的源代码来启动软件。
2. 通过 GitHub 存储库下载保存为 EDF 文件的程序，访问两个记录的示例数据以测试它们。
3. 由于大小限制，源代码存储库不包括 models 文件夹。相反，请下载 models.zip，解压缩它，然后复制存储库中的 models 文件夹，以便程序运行。否则，软件将因缺少模型文件而崩溃。

3. 工作流程和程序启动和操作

1. 启动 IntelliSleepScorer
   1. 要在 Windows 中启动软件，请双击位于根文件夹中的 IntelliSleepScorer.exe 。要在 MacOS 或 Linux 中启动软件，请打开终端仿真器，将目录更改为软件的根文件夹，然后使用命令启动软件： python3 IntelliSleepScorer.py。
2. 软件打开后，单击 选择 EDF/EDF+ 文件以 选择要评分的预期文件。如果错误地选择了文件，请单击 Clear 按钮以清除所选文件列表。
   注意：默认情况下，软件在输出分数文件中将睡眠阶段编码为 Wake：1、NREM：2 和 REM：3。默认 epoch 长度设置为 10 秒。GUI 的当前版本 （v1.2） 允许用户使用下拉菜单将阶段编码或纪元长度更改为 4 秒、10 秒或 20 秒。
3. 选择所需的 epoch 长度。使用提供的下拉菜单在 4 秒、10 秒和 20 秒的选项中选择预期的纪元长度，以进行睡眠阶段评分。
4. 选择要用于睡眠评分的模型。LightGBM-2EEG 适用于具有两个 EEG 通道和一个 EMG 通道的数据文件，而 LightGBM-1EEG 设计用于具有一个 EEG 通道和一个 EMG 通道的数据。
5. 在运行睡眠阶段预测之前，请包括有助于解释睡眠阶段预测结果的其他 SHAP 计算。要处理 SHAP 计算，请选中 Run/Plot SHAP 复选框。SHAP 计算大约需要 5-10 分钟来处理。
6. 单击 Score All Files（为所有文件评分）。该模型会自动对所有 EDF/EDF+ 文件进行评分，并计算全局和纪元 SHAP 值，以解释列表中的评分决策（如果选择这样做）。
   注意：在评分过程中，模型会生成以下文件并将其保存到 EDF/EDF+ 文件所在的同一文件夹中。该模型使用这些文件来绘制全局 SHAP 值和纪元 SHAP 值。
   
   “EDF/EDF+ 文件名}_{model_name}_features.csv”;此文件存储所有提取的特征值。
   “EDF/EDF+ 文件名}_{model_name}_scores.csv”;此文件存储预测的睡眠阶段。
   “EDF/EDF+ 文件名}_{model_name}_rs_100hz.npy”;此文件存储重采样/下采样信号 （100Hz） 的副本。为了提高可视化速度，该模型在绘制信号时使用下采样信号而不是原始信号。
   “EDF/EDF+ 文件名}_{model_name}解释器。泡菜“;“{EDF/EDF+ 文件名}{model_name}shap_500samples.pickle”;“{EDF/EDF+ 文件名}{model_name}_indicies_500samples.npy”;
7. 完成睡眠评分过程后，单击 “可视化所选文件 ”选项以可视化 EEG/EMG 信号和与信号时间对齐的催眠图。
   1. 如果 epoch 长度发生更改，则在可视化之前再次对所选文件进行评分。

4. 浏览评分结果

1. 单击提供的 Navigation （导航 ） 按钮可向前和向后移动以查看不同的 epoch 数据。
2. 如果选择执行 SHAP 计算，则同时查看全局和纪元级别的 SHAP 值。右键单击 epoch 以绘制 epoch 级别的 SHAP 值。
   注意：更新 epoch 级别的 SHAP 图需要几秒钟。 图 1 显示了使用 1_LightBGM-2EEG 模型对示例 1 EDF/EDF+ 文件运行预测后的 GUI 页面概述。

5. 评分睡眠阶段催眠图的解释

注意：催眠图中有 4 行（图 2）。顶行是预测结果。底部 3 行分别是 2 个 EEG 和 1 个 EMG 通道的原始数据。在顶行，橙色表示 Wake 阶段，蓝色表示 NREM 阶段，红色表示每个 epoch 中的 REM 阶段。

1. 要更改要显示的纪元数，请单击 Select number of Epochs to Display 右侧的菜单框，然后选择所需的值。 在图 2 中，选择了 100 个 epoch。因此，睡眠阶段预测图中只显示 100 个 epoch。在下拉菜单中选择一个较小的数字以放大绘图。
2. 图 2 左侧的粉红色透明条表示 epoch 的当前位置。左键单击催眠图上的任意位置以切换到另一个 epoch，或者只需单击 Go to Epoch 并输入要观察的特定 epoch 数量。如果用户启用了 SHAP 功能，请右键单击所选 epoch 以生成其 epoch SHAP 图。

6. 在 GUI 上手动校正预测的睡眠阶段（可选）

注意：如果未观察到异常或 REM 分期预测不需要极高的准确性，则无需手动验证。

1. 左键点击睡眠阶段预测图（顶部图）中的纪元以选择特定纪元。模型预测 的 Stage of Selected Epoch 显示在文本的右侧。要手动更改该 epoch 的预测阶段，请单击小部件，然后从下拉菜单的 Wake、NREM 和 REM 选项中选择一个新阶段。
2. 用户校正的阶段在原始图的顶部用虚线标记（图 3）。关闭 GUI，将在同一文件夹中自动生成一个包含更正预测结果的新文件。
   1. 要在 GUI 上再次打开已保存的评分文件，请确保 epoch length 设置和所选模型与最初处理 EDF 文件时使用的模型匹配，以便能够重新打开它。所有先前修改/评分的信息都将快速加载。

结果

睡眠阶段评分后，GUI 中生成了三个图（如果未运行 SHAP 值，则仅生成顶部图）：顶部图显示 EEG 和 EMG 通道，并带有睡眠阶段预测的催眠图。中间图显示 epoch SHAP 值。底部图显示了 Global SHAP 值（图 1）。

睡眠阶段预测催眠图中有 4 种类型的数据（图 2）。顶行是预测结果。底部 3 行分别是 2 个 EEG 和 1 个 EMG...

讨论

本文介绍了如何使用 IntelliSleepScorer （v1.2） 图形用户界面自动对小鼠的睡眠阶段进行评分，以及如何利用 SHAP 值/绘图来更好地了解模型生成的睡眠阶段评分。

使用该软件时的一个重要考虑因素是数据兼容性。本研究中使用的内部数据仅限于放置在额叶和顶叶区域的电极。在 Miladinovic 及其同事¹¹ 的独立数据集中，尽管这些区域的电?...

材料

Name	Company	Catalog Number	Comments
Canonical Unbuntu 18.04	Canonical	https://releases.ubuntu.com/18.04/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; RAM: 24 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
Intel Core i7-10610U CPU @1.80 GHz 2.30 GHz; RAM: 16 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
LightGBM	Microsoft	https://lightgbm.readthedocs.io/en/latest/index.html	Machine learning-based algorithm that was used to train the software.
MacBook Pro	Apple	https://www.apple.com/in/macbook-pro/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Windows	Microsoft	https://www.microsoft.com/en-in/windows/?r=1	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux