분류기 기반 대기 시간 추정을 사용한 P300 기반 뇌-컴퓨터 인터페이스 맞춤법 검사기 성능 추정

요약

이 문서에서는 작은 테스트 데이터 세트를 사용하여 당일 P300 맞춤법 검사기 BCI(뇌-컴퓨터 인터페이스) 정확도를 예측하는 방법을 제공합니다.

초록

성능 추정은 BCI(Brain-Computer Interface) 시스템의 개발 및 검증에 필요한 단계입니다. 안타깝게도 최신 BCI 시스템조차도 속도가 느리기 때문에 검증을 위한 충분한 데이터를 수집하는 것은 최종 사용자와 실험자 모두에게 시간이 많이 걸리는 작업입니다. 그러나 충분한 데이터가 없으면 성능의 무작위 변동으로 인해 BCI가 특정 사용자에 대해 얼마나 잘 작동하는지에 대한 잘못된 추론이 발생할 수 있습니다. 예를 들어 P300 맞춤법 검사기는 일반적으로 분당 약 1-5자를 작동합니다. 5% 해상도로 정확도를 추정하려면 20자(4-20분)가 필요합니다. 이러한 시간 투자에도 불구하고 20자의 정확도에 대한 신뢰 한계는 관찰된 정확도에 따라 최대 ±23%가 될 수 있습니다. 이전에 발표된 방법인 CBLE(Classifier-Based Latency Estimation)는 BCI 정확도와 높은 상관 관계가 있는 것으로 나타났습니다. 이 작업은 CBLE를 사용하여 입력 데이터의 비교적 적은 문자(~3-8)에서 사용자의 P300 맞춤법 검사 정확도를 예측하기 위한 프로토콜을 제공합니다. 결과로 생성되는 신뢰한계는 기존 방법으로 생성된 신뢰한계보다 더 엄격합니다. 따라서, 이 방법은 BCI 성능을 보다 빠르고 및/또는 더 정확하게 추정하는데 사용될 수 있다.

서문

뇌-컴퓨터 인터페이스(BCI)는 개인이 신체에 의해 부과되는 물리적 제한에 관계없이 기계를 통해 직접 통신할 수 있도록 하는 비침습적 기술입니다. BCI는 뇌가 직접 조작하는 보조 장치로 활용될 수 있습니다. BCI는 사용자의 두뇌 활동을 사용하여 사용자가 화면¹에 표시된 특정 키(문자, 숫자 또는 기호)를 선택할 것인지 여부를 결정합니다. 일반적인 컴퓨터 시스템에서는 사용자가 키보드에서 의도한 키를 물리적으로 누릅니다. 그러나 시각적 디스플레이가 있는 BCI 시스템에서 사용자는 원하는 키에 집중해야 합니다. 그런 다음 BCI는 측정된 뇌 신호¹을 분석하여 원하는 키를 선택합니다. 뇌의 활동은 다양한 기술을 사용하여 측정할 수 있습니다. 경쟁하는 BCI 기술이 있지만 뇌전도(EEG)는 비침습적 특성, 높은 시간 분해능, 신뢰성 및 상대적으로 저렴한 비용으로 인해 선도적인 기술로 간주됩니다².

BCI의 응용 분야에는 통신, 장치 제어 및 엔터테인먼트 3,4,5,6이 포함됩니다. 가장 활발한 BCI 응용 분야 중 하나는 Farwell과 Donchin 300에서 도입한^P7 맞춤법 검사기입니다. P300은 드물지만 유의미한 자극8의 인식에 대한 반응으로 생성되는 사건 관련 전위(ERP)^이다. 사람이 목표 자극을 인식하면 자동으로 P300을 생성합니다. P300은 외부 반응⁹ 없이 목표 이벤트에 대한 참가자의 인식을 전달하기 때문에 BCI에 효과적인 신호이다.

P300 BCI는 컴퓨터 과학, 전기 공학, 심리학, 인적 요인 및 기타 다양한 분야의 연구원을 끌어들였습니다. 신호 처리, 분류 알고리즘, 사용자 인터페이스, 자극 체계 및 기타 여러 분야에서 발전이 이루어졌습니다 10,11,12,13,14,15. 그러나 연구 분야에 관계없이 이 모든 연구의 공통점은 BCI 시스템 성능 측정의 필요성입니다. 이 작업에는 일반적으로 테스트 데이터 세트를 생성해야 합니다. 이러한 필요성은 연구에만 국한되지 않습니다. 보조 기술로서의 최종 임상 적용은 시스템이 신뢰할 수 있는 통신을 생성할 수 있도록 각 최종 사용자에 대한 개별 검증 세트가 필요할 수 있습니다.

P300 BCI에 대한 상당한 연구가 적용되었음에도 불구하고 시스템은 여전히 매우 느립니다. 대부분의 사람들은 P300 BCI¹⁶을 사용할 수 있지만 대부분의 P300 맞춤법 검사기는 분당 1-5자 정도의 텍스트를 생성합니다. 안타깝게도 이러한 느린 속도는 테스트 데이터 세트를 생성하는 데 참가자, 실험자 및 최종 사용자에게 상당한 시간과 노력이 필요하다는 것을 의미합니다. BCI 시스템 정확도 측정은 이항 파라미터 추정 문제이며 좋은 추정을 위해서는 많은 데이터 문자가 필요합니다.

P300 ERP의 존재 유무를 추정하기 위해 대부분의 분류기는 EEG 데이터의 각 시도 또는 에포크에 이진 레이블(예: "존재" 또는 "부재")을 할당하는 이진 분류 모델을 사용합니다. 대부분의 분류기에서 사용되는 일반 방정식은 다음과 같이 표현할 수 있습니다.

여기서 는 P300 응답이 존재할 확률을 나타내는 분류기의 점수라고 하고, x는 EEG 신호에서 추출된 특징 벡터이고, b는 편향 항¹⁷입니다. 함수 f는 입력 데이터를 출력 레이블에 매핑하는 결정 함수이며, 지도 학습 알고리즘(¹⁷)을 사용하여 레이블링된 학습 데이터 세트로부터 학습됩니다. 훈련 중에 분류기는 EEG 신호의 레이블이 지정된 데이터 세트에서 훈련되며, 여기서 각 신호는 P300 응답이 있는지 여부에 따라 레이블이 지정됩니다. 가중 벡터와 편향 항은 분류기의 예측된 출력과 EEG 신호의 실제 레이블 사이의 오차를 최소화하도록 최적화되어 있습니다. 분류기가 훈련되면 새로운 EEG 신호에서 P300 응답의 존재를 예측하는 데 사용할 수 있습니다.

분류자마다 선형 판별 분석(LDA), 단계적 선형 판별 분석(SWLDA), 최소제곱(LS), 로지스틱 회귀, 서포트 벡터 머신(SVM) 또는 신경망(NN)과 같은 서로 다른 결정 함수를 사용할 수 있습니다. 최소 제곱 분류기는 예측된 클래스 레이블과 실제 클래스 레이블 간의 제곱 오차의 합을 최소화하는 선형 분류기입니다. 이 분류자는 다음 방정식을 사용하여 새 테스트 샘플의 클래스 레이블을 예측합니다.

(1)

여기서 부호 함수는 곱이 양수이면 +1, 음수이면 -1을 반환하고, 가중 벡터 는 아래 방정식을 사용하여 훈련 데이터의 특징 세트, (x) 및 클래스 레이블(y)에서 얻습니다.

    (2)

이전 연구에서 우리는 CBLE(Classifier-Based Latency Estimation)를 사용하여 BCI 정확도 17,18,19를 추정할 수 있다고 주장했습니다. CBLE는 분류기의 시간적 민감도(¹⁸)를 이용하여 레이턴시 변동을 평가하기 위한 전략이다. P300 분류에 대한 기존 접근 방식은 각 자극 제시와 동기화되는 단일 시간 창을 사용하는 반면, CBLE 방법은 자극 후 에포크의 여러 시간 이동 복사본을 생성하는 것을 포함합니다. 그런 다음 P300 응답^17,18의 대기 시간을 추정하기 위해 최대 점수를 초래하는 시간 이동을 감지합니다. 여기에서 이 작업은 CBLE를 사용하여 작은 데이터 세트에서 BCI 성능을 추정하는 프로토콜을 제시합니다. 대표적인 분석으로, 개인의 전반적인 성과를 예측하기 위해 문자 수를 다양화합니다. 두 예제 데이터 세트 모두에서 vCBLE에 대한 RMSE(제곱 평균 제곱근 오차)와 실제 BCI 정확도가 계산되었습니다. 결과는 피팅된 데이터를 사용한 vCBLE 예측의 RMSE가 1개에서 7개의 테스트된 문자에서 파생된 정확도보다 일관되게 낮다는 것을 나타냅니다.

우리는 제안된 방법론의 구현을 위해 "CBLE 성능 추정"이라는 그래픽 사용자 인터페이스(GUI)를 개발했습니다. MATLAB 플랫폼에서 동작하는 예제 코드(보충 코딩 파일 1)도 제공됩니다. 예제 코드는 GUI에 적용된 모든 단계를 수행하지만 독자가 새 데이터 세트에 적응하는 데 도움이 되는 단계가 제공됩니다. 이 코드는 제안된 방법(²⁰⁾을 평가하기 위해 공개적으로 이용 가능한 데이터 세트 "Brain Invaders calibration-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)"를 사용합니다. 참가자들은 Brain Invaders의 게임 세션을 최대 3개까지 플레이했으며, 각 세션에는 9개의 게임 레벨이 있습니다. 데이터 수집은 모든 레벨이 완료되거나 참가자가 BCI 시스템에 대한 모든 통제권을 잃을 때까지 계속되었습니다. 브레인 인베이더(Brain Invaders) 인터페이스에는 6명의 외계인으로 구성된 12개 그룹에서 번쩍이는 36개의 기호가 포함되어 있습니다. 브레인 인베이더 P300 패러다임에 따르면, 각 그룹마다 하나씩 12번의 섬광으로 반복이 생성되었습니다. 이 12번의 플래시 중 2번의 플래시에는 타겟 기호(타겟 플래시라고 함)가 포함되었고, 나머지 10번의 플래시에는 타겟 기호가 포함되지 않았습니다(비타겟 플래시라고 함). 이 패러다임에 대한 자세한 내용은 원본 참조^{문헌 20}에서 찾을 수 있습니다.

CBLE 접근 방식은 40명의 참가자^18,19의 데이터가 포함된 미시간 데이터 세트에서도 구현되었습니다. 여기서 8명의 참가자 데이터는 작업이 완료되지 않았기 때문에 폐기해야 했습니다. 전체 연구는 각 참가자의 세 번의 방문이 필요했습니다. 첫째 날, 각 참가자는 19자 훈련 문장을 입력한 후 1일차, 2일차, 3일차에 23자 시험 문장 3개를 입력했습니다. 이 예제에서 키보드에는 6개의 행과 6개의 열로 그룹화된 36개의 문자가 포함되어 있습니다. 각 행 또는 열은 31.25밀리초 동안 깜박였으며 깜박임 간격은 125밀리초였습니다. 캐릭터 사이에는 3.5초의 일시 중지가 제공되었습니다.

그림 1 은 제안된 방법의 블록 다이어그램을 보여줍니다. 자세한 절차는 프로토콜 섹션에 설명되어 있습니다.

프로토콜

"CBLE Performance Estimation" GUI는 "BrainInvaders" 데이터 세트와 Michigan 데이터 세트의 두 가지 데이터 세트에 적용되었습니다. "BrainInvaders" 데이터 세트의 경우 데이터 수집은 University of Grenoble Alpes²⁰의 윤리 위원회의 승인을 받았습니다. 미시간 데이터는 University of Michigan Institutional Review Board의 승인¹⁹에 따라 수집되었습니다. 데이터는 Kansas State University 면제 프로토콜 7516에 따라 분석되었습니다. 새로운 데이터를 수집하는 경우 정보에 입각한 동의를 수집하기 위해 사용자의 IRB 승인 프로세스를 따릅니다. 여기에서 제안된 프로토콜은 이전에 기록되고 비식별화된 데이터의 오프라인 분석을 사용하여 평가되므로 추가 정보에 입각한 동의가 필요하지 않습니다.

이 문서에 포함된 GUI(그래픽 사용자 인터페이스)는 두 가지 고유한 데이터 세트 형식을 관리하는 데 능숙합니다. 첫 번째 형식은 BCI2000 소프트웨어와 연결되고 두 번째 형식은 "BrainInvaders" 데이터 세트라고 합니다. "Brain Invaders" 형식을 활용하려면 프로토콜 섹션의 1단계에서 설명한 대로 데이터를 사전 처리해야 합니다. 그러나 "BCI2000" 데이터 세트 형식을 처리할 때 1단계를 생략할 수 있습니다.

1. 데이터 준비

1. BrainInvaders만 해당: "CBLE 성능 추정" 그래픽 사용자 인터페이스(GUI)와 함께 사용할 수 있는 ".mat" 파일 형식으로 입력 데이터 파일을 생성합니다. 샘플 스크립트는 보충 코딩 파일 2를 참조하십시오.
   참고: 각 데이터 파일은 서로 다른 시간 샘플에서 기록된 관측치를 나타내는 행으로 구성된 2차원 행렬로 구성됩니다. 2에서 17까지 번호가 매겨진 매트릭스 열은 16개의 EEG 전극에서 파생된 기록입니다. 행렬의 첫 번째 열은 각 관측치의 타임스탬프를 나타내고 18열은 실험 이벤트와 관련된 정보를 포함합니다. 열 19에는 대부분 0이 있지만 비대상(또는 대상) 플래시가 시작되면 해당 특정 시간에 숫자가 1(또는 2)로 변경됩니다. 상세한 설명은 참고문헌²⁰에서 찾을 수 있다.

2. GUI 패키지 다운로드 및 설치

1. "CBLE Performance Estimation" GUI를 다운로드하여 설치합니다.

3. GUI 위치의 하위 폴더에 데이터 세트 저장

1. 데이터 세트 폴더가 GUI와 동일한 디렉토리 내에 있는지 확인합니다.
2. 예를 들어, 새 폴더를 만들고 그 안에 "CBLE Performance Estimation" GUI를 배치합니다. 모든 데이터 세트를 "Dataset"라는 "CBLE GUI" 내의 하위 폴더에 보관합니다.

4. 설치된 GUI 열기

1. MATLAB을 열고( 자료 표 참조) 현재 디렉터리를 GUI가 있는 폴더로 변경한 다음 APPS 탭을 클릭하고 MY APPS를 선택합니다.
2. "MY APPS" 탭에서 CBLE 성능 추정을 선택합니다.

5. 데이터 세트 형식 선택

1. 데이터 세트 형식 선택 드롭다운에서 데이터 세트 형식을 선택합니다.

6. EEG 데이터 파일 로드

1. 입력 폴더 선택 버튼을 클릭하여 데이터 세트가 있는 디렉터리를 선택합니다.
2. 선택한 폴더에 있는 데이터 파일의 수를 관찰합니다.
   참고: "Brain Invaders" 형식에서 각 참가자는 단일 데이터 파일로 표시됩니다. 따라서 총 데이터 파일 수는 연구의 참가자 수를 나타냅니다. 그러나 "BCI2000" 형식의 경우에는 각 참가자가 여러 학습 및 테스트 파일을 가질 수 있으므로 그렇지 않습니다.

7. 파라미터 설정

1. 사용자가 추정 프로세스에 사용할 참가자 수를 "아니오. 참가자 수" 텍스트 상자.
2. BrainInvaders만 해당: 데이터 세트의 샘플링 속도를 지정합니다.
   참고: BCI2000 파일에는 샘플 레이트가 포함되어 있습니다.
3. 분류 성능²¹을 개선하기 위해 데이터 세트를 약 20Hz로 다운샘플링하는 데시메이션 값을 선택합니다. 예를 들어, 샘플링 주파수가 256Hz인 경우 데시메이션 값으로 13을 선택합니다.
4. 분류에 대한 시간 창을 밀리초 단위로 지정합니다.
   참고: 권장 초기 창 크기가 지정되어 시작 지점은 0에서 100ms까지, 끝 지점은 700에서 800ms까지 다양할 수 있습니다. 그러나 다른 P300 이벤트와 겹치지 않도록 창 크기를 너무 크게 만들지 않는 것이 중요합니다.
5. CBLE의 시프트 윈도우를 밀리초 단위로 정의합니다.
   참고: '시프트 윈도우'는 CBLE 메소드가 P3 응답을 찾기 위해 검색하는 확장된 시간 범위를 나타냅니다. 분류자는 시프트 윈도우의 첫 번째 요소에서 시작하는 에포크에 적용됩니다. 그런 다음 분류자는 Epoch가 시프트 창 외부로 확장될 때까지 한 샘플 후에 시작하는 Epoch에 순차적으로 적용됩니다. 그러므로, 시프트 창은 원래 창보다 커야 합니다. 경험적으로 각 측면에서 100ms 미만의 값이 잘 수행됩니다. 어쨌든 마진은 ISI의 절반 미만으로 유지되어야 합니다.
6. BC2000에만 해당: "ID 길이" 필드 내에 데이터 세트 파일에 표시된 주체 ID의 길이를 입력합니다.
   참고: GUI는 파일 이름의 처음 sub_len자가 주체 ID를 인코딩할 것으로 예상합니다.
7. BCI2000 전용: "채널 ID" 필드에 총 채널 수를 표시하거나 분석에 사용할 특정 채널 번호를 지정합니다.
8. 파라미터 설정(Set parameters) 버튼을 클릭하여 해석에 필요한 모든 파라미터를 설정합니다.

8. BrainInvaders만 해당: 데이터 세트를 학습 및 테스트 세트로 분할

1. 훈련 세트의 크기를 나타내는 목표값 개수를 선택합니다. 데이터 세트의 나머지 부분은 테스트 데이터 세트로 간주됩니다.
   참고: 모델의 적절한 학습을 보장하려면 충분히 큰 학습 샘플이 있어야 합니다. 권장되는 최소 학습 샘플 크기는 20이지만 전체 데이터 세트 크기에 따라 달라질 수 있습니다. 훈련 세션 중에 회귀 오류가 발생하면 훈련 표본 크기를 늘리는 것이 좋습니다.
2. "데이터 세트 분할" 버튼을 눌러 데이터 세트를 학습 및 테스트 세트로 나눕니다.
   참고: 각 참가자는 동일한 양의 교육 데이터를 갖게 됩니다. 그러나 작업 중에 여러 번 시도할 수 있으므로 테스트 데이터 수가 모든 참가자에 대해 동일하지 않을 수 있습니다. 결과적으로, 제시된 표적 또는 섬광의 총 수는 사람마다 다를 수 있습니다.

9. 학습 데이터 세트를 사용하여 모델 학습

참고: 9.1단계는 "Brain Invaders" 형식에 적용되고 9.2단계는 "BCI2000" 형식에 적용됩니다.

1. BrainInvaders만 해당: 모델 학습 단추를 클릭하여 분류자 모델을 학습하기 위해 수식 2를 사용하여 학습 데이터 세트에 선형 회귀를 적용합니다.
2. BCI2000만: 학습 및 테스트 파일을 모든 파일과 구분하기 위해 데이터 형식(.dat)과 함께 학습 및 테스트 파일 이름을 나타냅니다. 그런 다음, 모델 학습 단추를 클릭하여 학습 데이터 세트에 선형 회귀를 적용합니다.

10. 테스트 세트의 정확도 예측

1. 정확도 예측(Predict accuracy)을 클릭하여 훈련된 분류기 모델을 테스트 특징 세트에 적용하고 수식 1을 사용하여 정확도를 예측합니다.

11. X-타겟 정확도 얻기

1. 테스트 세트에서 고려할 최대 목표 개수 X를 선택합니다.
2. BCI2000만: 사용자에게 테스트 파일이 여러 개 있는 경우 테스트 파일 번호를 선택합니다.
3. X 목표 정확도 찾기를 누릅니다.

12. vCBLE 계산

1. Find vCBLE(vCBLE 찾기) 버튼을 클릭하여 모든 대상에 대한 vCBLE를 가져옵니다.

13. BCI 정확도 및 vCBLE의 RMSE(Root Mean Square Error) 계산

1. RMSE 계산 버튼을 클릭하여 BCI 정확도가 있는 vCBLE과 BCI 정확도가 있는 X-target 정확도를 기반으로 두 예측 간의 RMSE를 계산합니다.

14. 분석 결과 시각화

1. 정확도 대 vCBLE 버튼을 클릭하여 모든 참가자의 총 정확도와 총 vCBLE 간의 관계를 관찰합니다.
2. BCI 및 vCBLE의 RMSE 버튼을 눌러 BCI 정확도 및 vCBLE의 RMSE 곡선을 표시합니다.

15. 개별 참가자의 성과 예측

1. 개별 참가자의 정확도를 예측하려면 주체 ID를 하위 ID에 배치합니다.
   참고: 여기서는 테스트 참가자를 제외한 모든 참가자의 데이터 세트를 사용하여 선형 회귀 모델을 학습합니다. 다른 모든 참가자의 vCBLE 점수와 해당 테스트 정확도는 각각 분류자에 대한 예측 변수 및 레이블로 활용됩니다.
2. 대상 번호 n을 선택합니다. 예측은 n-테스트 문자의 정확도를 기반으로 수행됩니다.
3. 예측 버튼을 클릭하여 테스트 참가자의 예상 정확도를 가져옵니다.

결과

제안된 프로토콜은 "BrainInvaders"와 Michigan 데이터 세트의 두 가지 데이터 세트에서 테스트되었습니다. 이러한 데이터 세트는 소개 섹션에서 이미 간략하게 소개되어 있습니다. 이 두 데이터 세트에 사용되는 매개 변수는 표 1에 언급되어 있습니다. 그림 2-4는 "BrainInvaders" 데이터 세트를 사용하여 얻은 결과를 보여주는 반면,

토론

이 기사에서는 작은 P300 데이터 세트를 사용하여 BCI 정확도를 추정하는 방법을 간략하게 설명했습니다. 여기서 현재 프로토콜은 "bi2014a" 데이터 세트를 기반으로 개발되었지만, 프로토콜의 효능은 두 개의 다른 데이터 세트에서 확인되었습니다. 이 기술을 성공적으로 구현하려면 원본 데이터의 epoch 창, 시간 이동 창, 다운 샘플링 비율, 학습 및 테스트 데이터 세트의 크기와 같은 특정 변수를 설정...

자료

Name	Company	Catalog Number	Comments
MATLAB 2021	Matlab	N/A	Any recent MATLAB version can be used.