IntelliSleepScorer, um pacote de software com uma interface gráfica de usuário para mouses Pontuação automatizada do estágio do sono

Resumo

Apresentamos um pacote de software com uma interface gráfica de usuário para pesquisadores sem experiência em codificação para pontuar os estágios do sono em camundongos com um simples download e operação.

Resumo

A pontuação do estágio do sono em roedores é o processo de identificação dos três estágios: sono sem movimento rápido dos olhos (NREM), sono de movimento rápido dos olhos (REM) e vigília. A pontuação do estágio do sono é crucial para estudar medidas e efeitos específicos do estágio do sono.

Os padrões de sono em roedores diferem daqueles em humanos, caracterizados por episódios mais curtos de NREM e REM intercalados pela vigília, e a pontuação manual tradicional do estágio do sono por especialistas humanos é demorada. Para resolver esse problema, estudos anteriores usaram abordagens baseadas em aprendizado de máquina para desenvolver algoritmos para categorizar automaticamente os estágios do sono, mas modelos de alto desempenho com grande generalização geralmente não estão disponíveis publicamente/gratuitos nem fáceis de usar para pesquisadores do sono não treinados.

Portanto, desenvolvemos um algoritmo LightGBM baseado em aprendizado de máquina treinado com um grande conjunto de dados. Para disponibilizar o modelo para pesquisadores do sono sem experiência em codificação, uma ferramenta de software chamada IntelliSleepScorer (v1.2 - versão mais recente) foi desenvolvida com base no modelo, que apresenta uma interface gráfica de usuário fácil de usar. Neste manuscrito, apresentamos instruções passo a passo para usar o software para demonstrar uma ferramenta de pontuação automática do estágio do sono conveniente e eficaz em camundongos para pesquisadores do sono.

Introdução

A pontuação do estágio do sono em roedores é o procedimento para identificar os três estágios: sono sem movimento rápido dos olhos (NREM), sono de movimento rápido dos olhos (REM) e vigília². Em roedores, o NREM é caracterizado por atividade muscular reduzida, respiração lenta e regular, diminuição da frequência cardíaca e oscilações de baixa frequência das ondas cerebrais. O REM em roedores, semelhante aos humanos, mostra atonia muscular, ativação do EEG e movimentos rápidos dos olhos, embora a ocorrência de sonhos vívidos seja menos clara em roedores em comparação com humanos ^2,3. O estado de "vigília" em roedores é marcado por atividade cerebral dessincronizada com ondas de alta frequência e baixa amplitude, aumento do tônus muscular e comportamento ativo, como higiene e exploração⁴. Esses três estágios podem ser identificados pela inspeção dos sinais de eletroencefalograma (EEG) e eletromiograma (EMG)⁵.

Os modelos automáticos de pontuação do estágio do sono em roedores são muito necessários. Primeiro, a pontuação manual do estágio do sono por especialistas humanos é trabalhosa e demorada. Em segundo lugar, os padrões de sono em roedores diferem daqueles em humanos e têm episódios mais fragmentados de NREM e REM intercalados ao acordar, em torno de 10 min, em contraste com 60-120 min em humanos⁶. Portanto, identificar esses breves períodos durante a pontuação manual é um desafio. Houve muitas tentativas desde os anos 60 de desenvolver um sistema de pontuação automática de dados de sono de roedores⁷. Embora existam muitos métodos automatizados de pontuação do sono de roedores, seus desempenhos variam 8,9,10,11,12,13,14,15,16,17,18. É importante ressaltar que a maioria dos modelos de alto desempenho com alta generalização não está disponível publicamente (alguns precisam de solicitações especiais dos desenvolvedores) ou não são gratuitos para pesquisadores do sono.

Portanto, para preencher a lacuna tecnológica atual, desenvolvemos um modelo baseado em aprendizado de máquina usando um grande conjunto de dados de 5776 h de sinais de EEG e EMG de 519 gravações em 124 camundongos com o algoritmo LightGBM¹. O lightGBM usa uma abordagem de aumento de gradiente para construir árvores de decisão¹⁹. Em Wang et al., 2023, o modelo LightGBM (composto por mais de 8000 árvores de decisão) alcançou uma precisão geral de 95,2% e um kappa de Cohen de 0,91, que superou dois modelos de linha de base amplamente utilizados, como o modelo de regressão logística (precisão = 93,3%) e o modelo de floresta aleatória (precisão = 94,3%, kappa = 0,89). O desempenho geral do modelo também exibiu um desempenho semelhante ao dos especialistas humanos. Mais importante ainda, o modelo provou ter generalização e não se sobreajustar aos dados de treinamento originais¹: 1) Ele teve um bom desempenho (precisão > 89%) em dois outros conjuntos de dados independentes disponíveis publicamente, de Miladinovic e colegas¹¹, com diferentes frequências de amostragem e comprimentos de época; 2) O desempenho do modelo não é afetado pelo ciclo claro/escuro dos camundongos; 3) Um modelo LightGBM modificado teve bom desempenho em dados contendo apenas um eletrodo de EEG e um eletrodo EMG com kappa ≥ 0,89; 4) Tanto os camundongos selvagens quanto os mutantes foram usados para o teste e o desempenho do modelo foi preciso. Isso sugere que o modelo pode pontuar os estágios do sono para camundongos com diferentes origens genéticas.

Para tornar esse modelo acessível aos pesquisadores do sono que podem não ter experiência em codificação, desenvolvemos o IntelliSleepScorer, uma ferramenta de software amigável com uma interface visualmente intuitiva. O software pode automatizar totalmente o procedimento de pontuação do sono em camundongos. Ele produz visualizações interativas dos valores de sinais, hipnograma e explicações aditivas de Shapley (SHAP) a partir de uma entrada de arquivo de formato de dados europeu (EDF)/EDF+. A abordagem de valor SHAP, baseada na teoria dos jogos cooperativos, aumenta a interpretabilidade dos modelos de aprendizado de máquina²⁰. O modelo oferece valores SHAP globais e de nível de época, revelando como diferentes valores de recursos contribuem para a decisão de pontuação do modelo geral e para cada época. Este programa avançado reduz significativamente o tempo e o esforço necessários para a pontuação do estágio do sono em camundongos, garantindo que a análise a jusante possa contar com resultados altamente precisos. Neste manuscrito, apresentamos o uso passo a passo do IntelliSleepScorer (v1.2) com várias atualizações sobre a versão 1.0, incluindo uma opção para executar a análise SHAP separadamente da previsão do padrão de sono, uma duração de época ajustável pelo usuário para pontuação do estágio do sono e um recurso de correção manual do estágio do sono integrado à GUI.

Protocolo

Este estudo utilizou dados coletados de experimentos in vivo em camundongos. Nenhum experimento humano foi envolvido no estudo. Todos os experimentos com animais foram aprovados pelo Comitê Institucional de Cuidados e Uso de Animais do Broad Institute. Todos os experimentos foram realizados de acordo com as diretrizes e regulamentos relevantes. As diretrizes ARRIVE não são aplicáveis a este estudo porque o foco deste estudo é desenvolver modelos de aprendizado de máquina em vez de comparar diferentes grupos de tratamento.

1. Preparação de dados

NOTA: Compatibilidade de dados: os dados gravados podem ter qualquer taxa de amostragem superior a 40 Hz. Não há necessidade de filtrar o sinal porque o passa-banda do software filtra os sinais EEG e EMG na primeira etapa. Os modelos LightGBM foram desenvolvidos e testados usando dados de camundongos. Nenhuma evidência sobre o desempenho dos modelos LightGBM em outros tipos de animais de laboratório está disponível. Os eletrodos de registro precisam ser colocados no córtex frontal e parietal, ou em qualquer lugar, se apenas um canal de EEG for registrado.

1. Arranjo e requisitos do formato EDF/EDF+
   NOTA: O software usado neste estudo lê apenas arquivos EDF/EDF+ usando o pacote MNE-Python. A especificação padrão EDF/EDF+ precisa ser aplicada para gerar os arquivos EDF/EDF+. Além da especificação padrão, certifique-se de que as anotações EDF/EDF+ estejam codificadas em UTF-8. Caso contrário, o aplicativo de software falhará.
   1. Converta outro formato de arquivo (arquivo não EDF/EDF+) para o formato EDF/EDF+ com ferramentas gratuitas online.
      NOTA: Não há necessidade do filtro do aparelho ao obter sinais de EEG e EMG. Desde que os usuários amostraram seus dados de EEG e EMG em uma frequência de 40 Hz ou superior, o software funcionará corretamente. Isso porque, na etapa inicial de pré-processamento, os sinais passam por filtragem de banda entre 1 Hz e 40 Hz. Essa filtragem passa-banda é integrada ao pipeline de pré-processamento do software, eliminando a necessidade de os usuários realizarem qualquer processamento de sinal adicional.
2. Existem dois modelos dentro do software para pontuação. Um é LightGBM-2EEG e o outro é LightGBM-1EEG. O modelo LightGBM-2EEG é designado para gravar dados que possuem 2 canais de EEG e 1 canal de EMG. Execute as etapas a seguir, dependendo do modelo.
   1. Organize os arquivos de dados para LightGBM-2EEG especificamente na seguinte ordem: 1) Canal de EEG gravado na área parietal; 2) canal de EEG registrado na área frontal; 3) Canal EMG. O LightGBM-1EEG é designado para dados que contêm apenas 1 canal de EEG (colocação do eletrodo na área parietal ou frontal) e 1 canal de EMG.
   2. Organize os canais em arquivos EDF/EDF+ para LightGBM-1EEG na seguinte ordem: 1) Canal EEG; 2) Canal EMG.

2. Baixando o IntelliSleepScorer para usuários de Windows, Mac e Linux

1. Para usuários do Windows, um executável do Windows para o software está disponível usando o PyInstaller. Encontre o link para download na página de pesquisa do grupo Pan https://sites.broadinstitute.org/pan-lab/resources. Para usuários do MacOS ou Linux, use o código-fonte no repositório GitHub https://github.com/broadinstitute/IntelliSleepScorer para iniciar o software.
2. Acesse dois dados de exemplo gravados para testar o programa salvo como arquivos EDF baixando-os por meio do repositório GitHub.
3. O repositório de código-fonte não inclui a pasta models devido a limites de tamanho. Em vez disso, baixe models.zip, descompacte-o e copie a pasta models dentro do repositório para que o programa seja executado. Caso contrário, o software falhará devido à falta de arquivos de modelo.

3. Fluxo de trabalho e lançamento e operação do programa

1. Inicie o IntelliSleepScorer
   1. Para iniciar o software no Windows, clique duas vezes em IntelliSleepScorer.exe localizado na pasta raiz. Para iniciar o software no MacOS ou Linux, abra um emulador de terminal, altere o diretório para a pasta raiz do software e inicie o software usando o comando: python3 IntelliSleepScorer.py.
2. Quando o software abrir, clique em Selecionar arquivo(s) EDF/EDF+ para selecionar o(s) arquivo(s) pretendido(s) a pontuar. Se os arquivos foram selecionados por engano, clique no botão Limpar para limpar a lista de arquivos selecionados.
   NOTA: Por padrão, o software codifica os estágios de suspensão como Wake:1, NREM:2 e REM:3 nos arquivos de pontuação de saída. A duração padrão da época é definida em 10 s. A versão atual (v1.2) da GUI permite que os usuários alterem as codificações de estágio ou a duração da época para 4 s, 10 s ou 20 s com o menu suspenso.
3. Selecione a duração da época desejada. Use o menu suspenso fornecido para selecionar a duração da época pretendida entre as opções de 4 s, 10 s e 20 s para a pontuação do estágio do sono.
4. Selecione o modelo que deve ser usado para a pontuação do sono. O LightGBM-2EEG destina-se a arquivos de dados com dois canais de EEG e um canal de EMG, enquanto o LightGBM-1EEG foi projetado para dados com um canal de EEG e um canal de EMG.
5. Antes de executar a previsão do estágio do sono, inclua o cálculo SHAP adicional que ajuda a explicar os resultados da previsão do estágio do sono. Para processar o cálculo do SHAP, marque a caixa de seleção Executar/Plotar SHAP . O cálculo SHAP requer cerca de 5 a 10 minutos para ser processado.
6. Clique em Pontuar todos os arquivos. O modelo pontua automaticamente todos os arquivos EDF/EDF+ e calcula os valores SHAP globais e de época para interpretar as decisões de pontuação na lista, se isso for escolhido.
   NOTA: Durante o processo de pontuação, o modelo gera os seguintes arquivos e os salva na mesma pasta onde os arquivos EDF/EDF+ estão localizados. O modelo usa esses arquivos para plotar os valores SHAP globais e os valores SHAP de época.
   
   "Nome do ficheiro EDF/EDF+}_{model_name}_features.csv"; Este arquivo armazena todos os valores de recursos extraídos.
   "Nome do ficheiro EDF/EDF+}_{model_name}_scores.csv"; Esse arquivo armazena os estágios de suspensão previstos.
   "Nome do arquivo EDF/EDF+}_{model_name}_rs_100hz.npy"; Este arquivo armazena uma cópia dos sinais reamostrados/reduzidos (100Hz). Para melhorar a velocidade de visualização, o modelo usa o sinal com resolução reduzida em vez do sinal original ao plotar o sinal.
   "Nome do arquivo EDF/EDF+}_{model_name}explicador. picles"; "{EDF/EDF+ nome do arquivo}{model_name}shap_500samples.pickle"; "{EDF/EDF+ nome do arquivo}{model_name}_indicies_500samples.npy";
7. Depois de terminar o processo de pontuação do sono, clique na opção Visualizar o arquivo selecionado para visualizar os sinais de EEG/EMG e um hipnograma alinhado ao tempo com os sinais.
   1. Pontue o arquivo selecionado novamente antes da visualização se a duração da época for alterada.

4. Navegando pelos resultados pontuados

1. Clique nos botões de navegação fornecidos para avançar e retroceder para ver diferentes dados de época.
2. Se o cálculo SHAP for escolhido para ser executado, exiba os valores SHAP globais e de nível de época. Clique com o botão direito do mouse em uma época para plotar os valores SHAP no nível da época.
   NOTA: Levará alguns segundos para atualizar o gráfico SHAP no nível da época. A Figura 1 mostra a visão geral da página GUI após executar a previsão para o arquivo EDF/EDF+ Example-1 com o modelo 1_LightBGM-2EEG.

5. Interpretação do hipnograma dos estágios do sono pontuados

NOTA: Existem 4 linhas no hipnograma (Figura 2). A linha superior são os resultados previstos. As 3 linhas inferiores são dados brutos de 2 canais de EEG e 1 EMG, respectivamente. Na linha superior, laranja sugere o estágio Wake , azul sugere o estágio NREM e vermelho sugere o estágio REM em cada época.

1. Para alterar o número de épocas a serem exibidas, clique na caixa de menu à direita de Selecionar Número de Épocas a serem exibidas e escolha um valor desejado. Na Figura 2, foram escolhidas 100 épocas. Portanto, apenas 100 épocas são exibidas no gráfico de previsão do estágio do sono. Selecione um número menor no menu suspenso para ampliar o gráfico.
2. A barra transparente rosa à esquerda da Figura 2 indica a localização atual da época. Clique com o botão esquerdo do mouse em qualquer lugar do hipnograma para mudar para outra época, ou simplesmente clique em Ir para a época e insira um número específico de épocas a serem observadas. Clique com o botão direito do mouse na época selecionada para gerar seu gráfico SHAP de época se o usuário tiver habilitado a função SHAP.

6. Correção manual dos estágios de sono previstos na GUI (opcional)

NOTA: se nenhuma anomalia for observada ou uma precisão extremamente alta não for necessária para a previsão do estágio REM, a verificação manual não será necessária.

1. Clique com o botão esquerdo do mouse em uma época no gráfico de previsão do estágio do sono (gráfico superior) para selecionar uma época específica. O modelo previsto Estágio da Época Selecionada é mostrado à direita do texto. Para alterar manualmente o estágio previsto nessa época, clique no widget e selecione um novo estágio nas opções Wake, NREM e REM no menu suspenso.
2. Os estágios corrigidos pelo usuário são marcados com linhas tracejadas no topo do gráfico original (Figura 3). Feche a GUI e um novo arquivo com os resultados de previsão corrigidos será gerado automaticamente na mesma pasta.
   1. Para abrir um arquivo pontuado salvo na GUI novamente, certifique-se de que a configuração de duração da época e o modelo selecionado correspondam ao usado quando o arquivo EDF foi processado inicialmente para poder reabri-lo. Todas as informações modificadas/pontuadas anteriormente serão carregadas rapidamente.

Resultados

Existem três gráficos (apenas o gráfico superior se os valores SHAP não forem executados) gerados na GUI após a pontuação do estágio do sono: o gráfico superior apresenta canais de EEG e EMG com um hipnograma de previsão do estágio do sono. O gráfico do meio apresenta valores SHAP de época. O gráfico inferior apresenta valores de SHAP Global (Figura 1).

Existem 4 tipos de dados apresentados no gráfico do hipnograma ...

Discussão

Este artigo apresenta como usar a interface gráfica do usuário IntelliSleepScorer (v1.2) para pontuar automaticamente os estágios do sono dos mouses e como aproveitar os valores/gráficos SHAP para entender melhor as pontuações do estágio do sono geradas pelo modelo.

Uma consideração importante ao usar o software é a compatibilidade de dados. Os dados internos utilizados neste estudo limitaram-se a eletrodos colocados nas regiões frontal e parietal. ...

Materiais

Name	Company	Catalog Number	Comments
Canonical Unbuntu 18.04	Canonical	https://releases.ubuntu.com/18.04/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; RAM: 24 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
Intel Core i7-10610U CPU @1.80 GHz 2.30 GHz; RAM: 16 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
LightGBM	Microsoft	https://lightgbm.readthedocs.io/en/latest/index.html	Machine learning-based algorithm that was used to train the software.
MacBook Pro	Apple	https://www.apple.com/in/macbook-pro/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Windows	Microsoft	https://www.microsoft.com/en-in/windows/?r=1	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux