IntelliSleepScorer, 마우스용 그래픽 사용자 인터페이스가 포함된 소프트웨어 패키지 자동 수면 단계 점수 매기기

요약

코딩 경험이 없는 연구자가 간단한 다운로드 및 조작으로 마우스의 수면 단계를 점수화할 수 있도록 그래픽 사용자 인터페이스가 포함된 소프트웨어 패키지를 제공합니다.

초록

설치류의 수면 단계 점수는 비급속 안구 운동 수면(NREM), 급속 안구 운동 수면(REM) 및 각성의 세 단계를 식별하는 과정입니다. 수면 단계 점수는 수면 단계별 측정 및 효과를 연구하는 데 중요합니다.

설치류의 수면 패턴은 인간의 수면 패턴과 다르며, 깨어남 시 NREM과 REM의 에피소드가 더 짧다는 특징이 있으며, 인간 전문가에 의한 전통적인 수동 수면 단계 점수는 시간이 많이 걸립니다. 이 문제를 해결하기 위해 이전 연구에서는 머신 러닝 기반 접근 방식을 사용하여 수면 단계를 자동으로 분류하는 알고리즘을 개발했지만, 일반화 가능성이 뛰어난 고성능 모델은 교육을 받지 않은 수면 연구자에게 공개적으로 사용할 수 없거나 비용이 들지 않거나 사용자 친화적이지 않은 경우가 많습니다.

따라서 우리는 대규모 데이터 세트로 훈련된 기계 학습 기반 LightGBM 알고리즘을 개발했습니다. 코딩 경험이 없는 수면 연구자가 모델을 사용할 수 있도록 사용하기 쉬운 그래픽 사용자 인터페이스를 특징으로 하는 모델을 기반으로 IntelliSleepScorer(v1.2- 최신 버전)라는 소프트웨어 도구가 개발되었습니다. 이 원고에서는 수면 연구자를 위해 마우스에서 편리하고 효과적인 자동 수면 단계 점수 매기기 도구를 시연하기 위해 소프트웨어 사용에 대한 단계별 지침을 제시합니다.

서문

설치류의 수면 단계 점수는 비급속 안구 운동 수면(NREM), 급속 안구 운동 수면(REM) 및 웨이크²의 세 단계를 식별하는 절차입니다. 설치류에서 NREM은 근육 활동 감소, 느리고 규칙적인 호흡, 심박수 감소, 뇌파의 저주파 진동이 특징입니다. 설치류의 REM은 인간과 유사하게 근육 무력증, EEG 활성화 및 빠른 안구 움직임을 보이지만 생생한 꿈의 발생은 인간에 비해 설치류에서 덜 명확합니다 ^2,3. 설치류의 '깨어남(wake)' 상태는 고주파, 낮은 진폭파, 근육 긴장도 증가, 그루밍(grooming) 및 탐색(exploration)과 같은 활동적인 행동으로 비동기화된 뇌 활동으로 특징지어진다⁴. 이 세 단계는 뇌전도(EEG) 및 근전도(EMG) 신호를 검사하여 확인할 수 있다⁵.

설치류의 자동 수면 단계 점수 모델은 매우 필요합니다. 첫째, 인간 전문가에 의한 수동 수면 단계 채점은 노동 집약적이고 시간이 많이 걸립니다. 둘째, 설치류의 수면 패턴은 인간의 수면 패턴과 다르며, 인간의 수면 패턴이 60-120분인 데 비해 깨어 있을 때 약 10분 간격으로 NREM과 REM의 단편적인 에피소드가 더 많이 발생한다⁶. 따라서 수동 채점 중에 이러한 짧은 기간을 식별하는 것은 어렵습니다. 60년대 이래로 설치류 수면 데이터의 자동 채점 시스템을 개발하기 위한 많은 시도가 있었다⁷. 많은 자동 설치류 수면 점수 매기기 방법이 존재하지만 그 성능은 8,9,10,11,12,13,14,15,16,17,18까지 다양 합니다. 중요한 것은 일반화 가능성이 높은 대부분의 고성능 모델은 공개적으로 사용할 수 없거나(일부는 개발자의 특별한 요청이 필요함) 수면 연구자에게 비용이 들지 않는다는 것입니다.

따라서 현재의 기술 격차를 메우기 위해 LightGBM 알고리즘¹을 사용하여 124개의 마우스에 걸쳐 519개 기록에서 5776시간의 EEG 및 EMG 신호로 구성된 대규모 데이터 세트를 사용하여 기계 학습 기반 모델을 개발했습니다. lightGBM은 결정 트리(decision tree)¹⁹를 구성하기 위해 그래디언트 부스팅(gradient-boosting) 접근법을 사용한다. Wang et al., 2023에서 LightGBM 모델(8000개 이상의 의사 결정 트리로 구성)은 95.2%의 전체 정확도와 0.91의 Cohen's kappa를 달성했으며, 이는 로지스틱 회귀 모델(정확도 = 93.3%) 및 랜덤 포레스트 모델(정확도 = 94.3%, kappa = 0.89)과 같은 널리 사용되는 두 가지 기준 모델보다 성능이 뛰어났습니다. 모델의 전반적인 성능도 인간 전문가와 유사한 성능을 보여주었습니다. 가장 중요한 것은 이 모델이 일반화 가능성이 있고 원래 훈련 데이터에 과도하게 적합하지 않은 것으로 입증되었다는 것입니다¹:1) Miladinovic과 동료¹¹의 공개적으로 사용 가능한 두 개의 다른 독립 데이터 세트에서 샘플링 빈도와 epoch 길이가 다른 두 개의 독립적인 데이터 세트에서 잘 수행되었습니다(정확도 > 89%); 2) 모델의 성능은 마우스의 밝은/어두운 주기에 영향을 받지 않습니다. 3) 수정된 LightGBM 모델은 카파가 0.89인 EEG 1개와 EMG 전극 1개만 포함하는 데이터에서 잘 수행≥. 4) 야생형 마우스와 돌연변이 마우스를 모두 테스트에 사용했으며 모델의 성능이 모두 정확했습니다. 이는 모델이 다른 유전적 배경을 가진 쥐의 수면 단계를 점수화할 수 있음을 시사합니다.

코딩 전문 지식이 없을 수 있는 수면 연구자가 이 모델에 액세스할 수 있도록 시각적으로 직관적인 인터페이스를 갖춘 사용자 친화적인 소프트웨어 도구인 IntelliSleepScorer를 개발했습니다. 이 소프트웨어는 생쥐의 수면 점수 절차를 완전히 자동화할 수 있습니다. 유럽 데이터 형식(EDF)/EDF+ 파일 입력에서 신호, 하이프노그램 및 SHAP(Shapley Additive exPlanations) 값의 대화형 시각화를 생성합니다. 협동조합게임이론에 기초한 SHAP 가치접근법은 기계학습모델의 해석가능성을 향상시킨다²⁰. 이 모델은 전역 및 epoch 수준 SHAP 값을 모두 제공하여 서로 다른 기능 값이 전체 및 각 epoch에 대한 모델의 점수 결정에 어떻게 기여하는지 보여줍니다. 이 고급 프로그램은 생쥐의 수면 단계 점수에 필요한 시간과 노력을 크게 줄이는 동시에 다운스트림 분석이 매우 정확한 결과에 의존할 수 있도록 합니다. 이 원고에서는 절전 패턴 예측과 별도로 SHAP 분석을 실행하는 옵션, 절전 단계 점수를 위해 사용자가 조정할 수 있는 epoch 길이, GUI에 통합된 절전 단계 수동 수정 기능을 포함하여 버전 1.0에서 여러 가지 업데이트된 IntelliSleepScorer(v1.2)의 단계별 사용법을 소개합니다.

프로토콜

이 연구는 생쥐의 생체 내 실험에서 수집된 데이터를 사용했습니다. 이 연구에는 인체 실험이 포함되지 않았습니다. 동물을 대상으로 한 모든 실험은 Broad Institute의 Institutional Animal Care and Use Committee의 승인을 받았습니다. 모든 실험은 관련 지침 및 규정에 따라 수행되었습니다. 이 연구의 초점은 서로 다른 치료 그룹을 비교하는 것이 아니라 기계 학습 모델을 개발하는 것이기 때문에 ARRIVE 지침은 이 연구에 적용되지 않습니다.

1. 데이터 준비

알림: 데이터 호환성: 기록된 데이터는 모든 s를 가질 수 있습니다.amp40Hz보다 높은 링 속도. 소프트웨어 대역통과는 첫 번째 단계에서 EEG 및 EMG 신호를 필터링하기 때문에 신호를 대역통과 필터링할 필요가 없습니다. LightGBM 모델은 생쥐의 데이터를 사용하여 개발 및 테스트되었습니다. 다른 유형의 실험 동물에서 LightGBM 모델의 성능에 대한 증거는 없습니다. 기록 전극은 전두엽 피질과 두정엽 피질에 배치해야 하며, EEG 채널이 하나만 기록되는 경우 어느 한 곳에 배치해야 합니다.

1. EDF/EDF+ 형식 배열 및 요구 사항
   참고: 이 연구에 사용된 소프트웨어는 MNE-Python 패키지를 사용하여 EDF/EDF+ 파일만 읽습니다. EDF/EDF+ 파일을 생성하려면 표준 EDF/EDF+ 사양을 적용해야 합니다. 표준 스펙 외에도 EDF/EDF+ 어노테이션이 UTF-8로 인코딩되었는지 확인하십시오. 그렇지 않으면 소프트웨어 응용 프로그램이 충돌합니다.
   1. 온라인 무료 도구를 사용하여 다른 파일(비 EDF/EDF+ 파일) 형식을 EDF/EDF+ 형식으로 변환합니다.
      알림: EEG 및 EMG 신호를 얻을 때 장치 필터에 대한 요구 사항은 없습니다. 사용자가 40Hz 이상의 주파수에서 EEG 및 EMG 데이터를 샘플링하는 한 소프트웨어가 올바르게 작동합니다. 이는 초기 전처리 단계에서 신호가 1Hz와 40Hz 사이의 대역통과 필터링을 거치기 때문입니다. 이 대역 통과 필터링은 소프트웨어의 전처리 파이프라인에 통합되어 사용자가 추가 신호 처리를 수행할 필요가 없습니다.
2. 소프트웨어 내부에는 채점을 위한 두 가지 모델이 있습니다. 하나는 LightGBM-2EEG이고 다른 하나는 LightGBM-1EEG입니다. LightGBM-2EEG 모델은 2개의 EEG 채널과 1개의 EMG 채널이 있는 데이터를 기록하도록 지정되었습니다. 모델에 따라 다음 단계를 수행합니다.
   1. LightGBM-2EEG에 대한 데이터 파일을 다음 순서로 구체적으로 구성합니다: 1) 두정 영역에 기록된 EEG 채널; 2) 정면 영역에 기록된 EEG 채널; 3) EMG 채널. LightGBM-1EEG는 1개의 EEG 채널(두정 또는 정면 영역의 전극 배치)과 1개의 EMG 채널만 포함하는 데이터용으로 지정됩니다.
   2. LightGBM-1EEG용 EDF/EDF+ 파일의 채널을 다음 순서로 구성합니다: 1) EEG 채널; 2) EMG 채널.

2. Windows, Mac 및 Linux 사용자를 위한 IntelliSleepScorer 다운로드

1. Windows 사용자의 경우 PyInstaller를 사용하여 소프트웨어용 Windows 실행 파일을 사용할 수 있습니다. https://sites.broadinstitute.org/pan-lab/resources Pan group 연구 페이지에서 다운로드 링크를 찾으십시오. MacOS 또는 Linux 사용자의 경우 GitHub 리포지토리 https://github.com/broadinstitute/IntelliSleepScorer 의 소스 코드를 사용하여 소프트웨어를 실행합니다.
2. EDF 파일로 저장된 프로그램을 테스트하기 위해 기록된 두 개의 예제 데이터에 액세스하여 GitHub 리포지토리를 통해 다운로드합니다.
3. 소스 코드 리포지토리에는 크기 제한으로 인해 models 폴더가 포함되어 있지 않습니다. 대신 models.zip 다운로드하고 압축을 푼 다음 프로그램을 실행할 수 있도록 저장소 내의 models 폴더를 복사하십시오. 그렇지 않으면 모델 파일이 누락되어 소프트웨어가 충돌합니다.

3. 워크플로우 및 프로그램 실행 및 운영

1. IntelliSleepScorer 시작
   1. Windows에서 소프트웨어를 시작하려면 루트 폴더에있는 IntelliSleepScorer.exe 두 번 클릭하십시오. MacOS 또는 Linux에서 소프트웨어를 시작하려면 터미널 에뮬레이터를 열고 디렉토리를 소프트웨어의 루트 폴더로 변경한 다음 python3 IntelliSleepScorer.py 명령을 사용하여 소프트웨어를 시작합니다.
2. 소프트웨어가 열리면 EDF/EDF+ 파일 선택을 클릭하여 점수를 매길 파일을 선택합니다. 파일을 실수로 선택한 경우 지우기 버튼을 클릭하여 선택한 파일 목록을 지웁니다.
   참고: 기본적으로 소프트웨어는 출력 점수 파일에서 수면 단계를 Wake:1, NREM:2 및 REM:3으로 인코딩합니다. 기본 epoch 길이는 10초로 설정됩니다. GUI의 현재 버전(v1.2)에서는 드롭다운 메뉴를 사용하여 스테이지 인코딩 또는 epoch 길이를 4초, 10초 또는 20초로 변경할 수 있습니다.
3. 원하는 Epoch 길이를 선택합니다. 제공된 드롭다운 메뉴를 사용하여 절전 단계 점수를 위해 4초, 10초 및 20초 옵션 중에서 원하는 epoch 길이를 선택합니다.
4. 수면 점수에 사용할 모델을 선택합니다. LightGBM-2EEG는 2개의 EEG 채널과 1개의 EMG 채널이 있는 데이터 파일용이고 LightGBM-1EEG는 1개의 EEG 채널과 1개의 EMG 채널이 있는 데이터용으로 설계되었습니다.
5. 절전 단계 예측을 실행하기 전에 절전 단계 예측 결과를 설명하는 데 도움이 되는 추가 SHAP 계산을 포함합니다. SHAP 계산을 처리하려면 SHAP 실행/플롯 확인란을 선택합니다. SHAP 계산을 처리하는 데 약 5-10분이 걸립니다.
6. 모든 파일 점수 매기기를 클릭합니다. 이 모델은 모든 EDF/EDF+ 파일의 점수를 자동으로 매기고 전역 및 epoch SHAP 값을 계산하여 목록의 점수 결정을 해석합니다(선택한 경우).
   참고: 스코어링 프로세스 중에 모델은 다음 파일을 생성하고 EDF/EDF+ 파일이 있는 동일한 폴더에 저장합니다. 모델은 이러한 파일을 사용하여 전역 SHAP 값과 epoch SHAP 값을 플롯합니다.
   
   "EDF/EDF+ 파일명}_{model_name}_features.csv"; 이 파일에는 추출된 모든 피처 값이 저장됩니다.
   "EDF/EDF+ 파일명}_{model_name}_scores.csv"; 이 파일은 예측된 수면 단계를 저장합니다.
   "EDF/EDF+ 파일명}_{model_name}_rs_100hz.npy"; 이 파일은 리샘플링/다운샘플링된 신호(100Hz)의 복사본을 저장합니다. 시각화 속도를 개선하기 위해 모델은 신호를 플로팅할 때 원래 신호 대신 다운샘플링된 신호를 사용합니다.
   "EDF/EDF+ 파일 이름}_{model_name}설명자. 피클"; "{EDF/EDF+ 파일명}{model_name}shap_500samples.pickle"; "{EDF/EDF+ 파일명}{model_name}_indicies_500samples.npy";
7. 수면 점수 프로세스를 완료한 후 선택한 파일 시각화 옵션을 클릭하여 EEG/EMG 신호와 신호에 맞춰 시간을 정렬한 하이프노그램을 시각화합니다.
   1. epoch 길이가 변경되는 경우 시각화하기 전에 선택한 파일의 점수를 다시 매깁니다.

4. 점수가 매겨진 결과 탐색

1. 제공된 탐색 버튼을 클릭하여 앞뒤로 이동하여 다른 epoch 데이터를 확인합니다.
2. SHAP 계산을 수행하도록 선택한 경우 전역 및 epoch 수준 SHAP 값을 모두 확인합니다. Epoch를 마우스 오른쪽 버튼으로 클릭하여 Epoch 수준 SHAP 값을 플롯합니다.
   참고 : epoch 수준 SHAP 플롯을 업데이트하는 데 몇 초 정도 걸립니다. 그림 1 은 1_LightBGM-2EEG 모델을 사용하여 Example-1 EDF/EDF+ 파일에 대한 예측을 실행한 후의 GUI 페이지 개요를 보여줍니다.

5. 점수가 매겨진 수면 단계 하이프노그램의 해석

참고: 하이프노그램에는 4개의 행이 있습니다(그림 2). 맨 윗줄은 예측된 결과입니다. 하단 3개 행은 각각 2개의 EEG 및 1개의 EMG 채널의 원시 데이터입니다. 맨 윗줄에서 주황색은 Wake 단계, 파란색은 NREM 단계, 빨간색은 각 Epoch의 REM 단계를 나타냅니다.

1. 표시할 Epoch 수를 변경하려면 Select Number of Epochs to Display 오른쪽에 있는 메뉴 상자를 클릭하고 원하는 값을 선택합니다. 그림 2에서는 100개의 Epoch가 선택되었습니다. 따라서 수면 단계 예측 플롯에는 100개의 Epoch만 표시됩니다. 드롭다운 메뉴에서 더 작은 숫자를 선택하여 플롯을 확대합니다.
2. 그림 2의 왼쪽에 있는 분홍색 투명 막대는 epoch의 현재 위치를 나타냅니다. 하이프노그램의 아무 곳이나 마우스 왼쪽 버튼으로 클릭하여 다른 Epoch로 전환하거나 Go to Epoch를 클릭하고 관찰할 특정 Epoch 수를 입력하기만 하면 됩니다. 사용자가 SHAP 기능을 활성화한 경우 선택한 Epoch를 마우스 오른쪽 버튼으로 클릭하여 Epoch SHAP 플롯을 생성합니다.

6. GUI에서 예측된 수면 단계의 수동 수정(선택 사항)

참고: 이상이 관찰되지 않거나 REM 단계 예측에 매우 높은 정확도가 필요하지 않은 경우 수동 검증이 필요하지 않습니다.

1. sleep stage 예측 플롯(상단 플롯)에서 epoch를 마우스 왼쪽 버튼으로 클릭하여 특정 epoch를 선택합니다. 선택한 Epoch의 모델 예측 단계가 텍스트 오른쪽에 표시됩니다. 해당 epoch의 예상 단계를 수동으로 변경하려면 위젯을 클릭하고 드롭다운 메뉴의 Wake, NREM 및 REM 옵션에서 새 단계를 선택합니다.
2. 사용자가 수정한 단계는 원래 플롯 위에 점선으로 표시되어 있습니다(그림 3). GUI를 닫으면 수정된 예측 결과가 포함된 새 파일이 동일한 폴더에 자동으로 생성됩니다.
   1. 저장된 스코어링 파일을 GUI에서 다시 열려면 epoch 길이 설정 및 선택한 모델이 EDF 파일을 다시 열 수 있도록 처음 처리될 때 사용된 것과 일치하는지 확인하십시오. 이전에 수정/점수가 매겨진 모든 정보가 빠르게 로드됩니다.

결과

수면 단계 점수 매기기 후 GUI에서 생성되는 세 개의 플롯(SHAP 값이 실행되지 않은 경우 맨 위 플롯만)이 있습니다: 맨 위 플롯은 EEG 및 EMG 채널에 수면 단계 예측의 하이프노그램을 제공합니다. 중간 플롯은 epoch SHAP 값을 나타냅니다. 아래쪽 플롯은 글로벌 SHAP 값을 나타냅니다(그림 1).

수면 단계 예측 하이프노그램 플롯에는 4가?...

토론

이 문서에서는 IntelliSleepScorer(v1.2) 그래픽 사용자 인터페이스를 사용하여 마우스의 수면 단계를 자동으로 점수화하는 방법과 SHAP 값/플롯을 활용하여 모델에서 생성된 수면 단계 점수를 더 잘 이해하는 방법을 제공합니다.

소프트웨어를 사용할 때 중요한 고려 사항은 데이터 호환성입니다. 이 연구에서 사용된 사내 데이터는 전두엽 및 두정엽 영역에 ...

자료

Name	Company	Catalog Number	Comments
Canonical Unbuntu 18.04	Canonical	https://releases.ubuntu.com/18.04/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; RAM: 24 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
Intel Core i7-10610U CPU @1.80 GHz 2.30 GHz; RAM: 16 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Hardware requirment for the software: Both Inte Core listed here have been used to process the data. It takes around 10 min to process 12 h of recording sampled at 1000 Hz for both hardwares. Any similar or superior hardware would yield comparable or better performance.
LightGBM	Microsoft	https://lightgbm.readthedocs.io/en/latest/index.html	Machine learning-based algorithm that was used to train the software.
MacBook Pro	Apple	https://www.apple.com/in/macbook-pro/	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux
Windows	Microsoft	https://www.microsoft.com/en-in/windows/?r=1	Supporting Operating System for the software IntelliSleep Scorer: Windows, Mac, or Linux