JoVE Logo
저자
연락처

로그인

JoVE 비디오를 활용하시려면 도서관을 통한 기관 구독이 필요합니다. 전체 비디오를 보시려면 로그인하거나 무료 트라이얼을 시작하세요.

기사 소개

  • 요약
  • 초록
  • 서문
  • 프로토콜
  • 결과
  • 토론
  • 공개
  • 감사의 말
  • 자료
  • 참고문헌
  • 재인쇄 및 허가

요약

가상 현실 환경에서의 운동 이미지는 뇌-컴퓨터 인터페이스 시스템에 광범위하게 응용됩니다. 이 원고는 가상 현실 환경에서 참가자가 상상한 동작을 수행하는 참가자와 유사한 개인화된 디지털 아바타를 사용하여 몰입감과 신체 소유 의식을 향상시키는 방법을 설명합니다.

초록

이 연구는 뇌-컴퓨터 인터페이스(BCI) 및 가상 현실(VR) 기술을 3차원(3D) 아바타의 사용자 정의와 통합하여 신경 재활을 위한 혁신적인 프레임워크를 소개합니다. 재활에 대한 전통적인 접근 방식은 주로 깊이 있는 몰입형 상호 작용 경험을 제공할 수 없기 때문에 환자를 완전히 참여시키지 못하는 경우가 많습니다. 이 연구는 참가자가 실제 실행 없이 신체적 움직임을 시각화하는 MI(Motor Imagery) 기술을 활용하여 이러한 격차를 메우기 위해 노력합니다. 이 방법은 뇌의 신경 메커니즘을 활용하여 움직임을 상상할 때 움직임 실행과 관련된 영역을 활성화하여 회복 과정을 촉진합니다. VR의 몰입형 기능과 뇌파검사(EEG)의 정밀도를 통합하여 상상된 움직임과 관련된 뇌 활동을 포착하고 해석하는 것이 이 시스템의 핵심을 형성합니다. 개인화된 3D 아바타 형태의 디지털 트윈을 사용하여 가상 환경 내에서 몰입감을 크게 향상시킵니다. 이러한 고조된 체감은 효과적인 재활에 매우 중요하며, 환자와 가상 환자 간의 연결을 강화하는 것을 목표로 합니다. 이를 통해 이 시스템은 운동 이미지 성능을 개선하는 것뿐만 아니라 보다 매력적이고 효과적인 재활 경험을 제공하는 것을 목표로 합니다. BCI의 실시간 적용을 통해 이 시스템은 상상한 움직임을 3D 아바타가 수행하는 가상 동작으로 직접 변환하여 사용자에게 즉각적인 피드백을 제공할 수 있습니다. 이 피드백 루프는 운동 제어 및 회복에 관여하는 신경 경로를 강화하는 데 필수적입니다. 개발된 시스템의 궁극적인 목표는 사용자의 인지 과정에 보다 상호 작용적이고 반응적으로 반응하도록 함으로써 운동 이미지 운동의 효과를 크게 향상시켜 신경 재활 분야의 새로운 길을 닦는 것입니다.

서문

신경 장애가 있는 환자를 위한 재활 패러다임은 뇌-컴퓨터 인터페이스(BCI) 및 몰입형 가상 현실(VR)과 같은 첨단 기술의 통합으로 혁신적인 변화를 겪고 있으며, 회복을 촉진하기 위한 보다 미묘하고 효과적인 방법을 제공합니다. BCI 기반 재활의 핵심인 운동 이미지(MI)는 실제 운동 실행 없이 신체 움직임에 대한 정신적 리허설을 포함한다1. MI는 움직임을 상상하는 것이 신체 행동 자체를 수행하는 것과 밀접하게 유사한 뇌 활동 패턴을 유발하는 신경 메커니즘을 이용합니다 2,3,4. 특히, MI에 관여하면 뇌의 전기 활동5,6,7의 알파 (8-13 Hz) 및 베타 (13-25 Hz) 주파수 대역에서 이벤트 관련 비동기화 (ERD)로 알려진 현상이 발생합니다. ERD는 실제 운동 중에도 관찰되는 패턴인 기본 뇌 리듬의 억제를 나타내며, 따라서 BCI 보조 재활 프레임워크7 내에서 MI를 사용하기 위한 신경 기질을 제공합니다. MI와 신체 운동 사이의 대뇌 피질 활성화의 이러한 유사성은 MI가 운동 제어에 관여하는 신경망을 효과적으로 자극할 수 있음을 시사하며, 이는 MI가 운동 결손이 있는 환자에게 유용한 도구가 될 수 있음을 시사한다8. 더욱이, MI의 실천은 단순한 정신적 리허설을 넘어 행동 관찰 전략(action observation strategies)을 포함하도록 확장되었다9. 과제와 관련된 신체 부위의 움직임이나 다른 사람의 행동을 관찰하는 것은 행동 관찰과 실행에 모두 반응하는 뉴런 그룹인 거울 뉴런 네트워크(mirror neuron network, MNN)를 활성화할 수 있다9. 관찰을 통한 MNN의 활성화는 기능적 MRI10, 양전자 방출 단층 촬영(11) 및 경두개 자기 자극(transcranial magnetic stimulation)12을 포함한 다양한 신경 영상 양식에 의해 입증된 바와 같이 대뇌 피질 가소성을 유도하는 것으로 입증되었다. 증거는 행동 관찰에 의해 강화된 MI 훈련이 영향을 받은 개인에게 상당한 신경 적응과 회복으로 이어질 수 있다는 개념을 뒷받침합니다.

가상 현실 기술은 신체 소유 의식을 향상시키고 현실 세계와 가상 세계 사이의 구분을 모호하게하는 몰입 형 환경을 제공함으로써 MI 기반 재활 영역에 혁명을 일으켰습니다 13,14,15. VR의 몰입형 품질은 참가자가 가상 환경을 실제처럼 인식할 수 있도록 하기 때문에 행동 관찰 및 운동 이미지 연습에 효과적인 도구입니다15. 연구에 따르면 VR 장치는 기존 2D 모니터 디스플레이에 비해 MI 훈련에 더 뚜렷한 영향을 미친다고 합니다15,16. 이러한 발견은 감각 운동 피질의 ERD 진폭 비율 증가와 같은 향상된 신경 활동으로 입증되며, 시각 유도 MI 운동 중 뇌 활동을 자극하는 데 있어 더 높은 몰입 수준의 이점을 강조합니다16. 이 시스템은 직접적인 피드백을 제공함으로써 팔 또는 팔다리 움직임과 관련된 작업에 대한 MI 수행을 향상시키는 데 도움을 주어 재활 과정을 향상시킵니다 16,17. MI와 VR의 시너지 효과는 감각, 지각, 인지 및 운동 활동의 통합을 강조합니다18,19. 이 조합은 뇌졸중 생존자20,21와 참전 용사22에게 특히 유익했으며, 연구에 따르면 VR을 MI 기반 재활 프로토콜에 통합하면 재활 시간을 크게 단축하고 회복 결과를 개선할 수 있습니다. 재활 분야에서 VR의 독특한 특징은 특별히 설계된 가상 환경 내에서 존재감을 조성하는 능력에 있으며, 운동 재활 연구에서 점점 더 많이 활용되고 있는 사용자의 신체를 나타내는 가상 아바타를 포함함으로써 재활 경험을 더욱 향상시킬 수 있습니다23. 이 아바타는 팔다리 움직임을 사실적인 3차원으로 표현하여 MI를 돕고 운동 피질 활성화에 큰 영향을 미칩니다. VR은 참가자가 특정 작업을 수행하는 가상 자아를 시각화할 수 있도록 함으로써 MI 경험을 풍부하게 할 뿐만 아니라 보다 빠르고 효과적인 신경 재구성 및 회복 과정을 촉진합니다24. MI 훈련에서 가상 아바타와 시뮬레이션된 환경을 구현하는 것은 몰입형 가상 세계 내에서 가상 신체의 자연스럽고 통합된 사용을 강조합니다.

재활을 위한 MI의 3D 아바타에 대한 BCI 기반 제어의 놀라운 이점에도 불구하고 오프라인 방법론의 우세한 사용에는 상당한 제한이 남아 있습니다. 현재, 대부분의 BCI 애플리케이션은 아바타(24,25)를 조작하기 위해 연속적으로 활용되는 사전 기록된 뇌파(EEG) 데이터를 캡처하는 것을 포함한다. 실시간 아바타 제어가 이루어지는 시나리오에서도 이러한 아바타는 종종 일반적이며 그들이 대표하는 참가자23과 닮지 않았습니다. 이러한 일반적인 접근법은 효과적인 재활에 중요한 몰입감과 신체 소유 의식을 심화시킬 수 있는 중요한 기회를 놓치고 있다24. 피사체의 정확한 모습을 반영하는 3D 아바타를 생성하면 경험의 몰입 경험을 크게 향상시킬 수 있다16. 가상 세계에서 자신을 시각화함으로써 참가자는 상상한 움직임과 실제 움직임 사이에 더 강력한 연결을 촉진할 수 있으며, 잠재적으로 더 뚜렷한 ERD 패턴으로 이어질 수 있으므로 더 효과적인 신경 적응 및 회복으로 이어질 수 있습니다16. BCI 및 VR 분야는 개인화된 3D 아바타의 실시간 제어로 발전함으로써 재활 패러다임을 크게 개선하여 환자 회복을 위한 보다 미묘하고 매력적이며 효과적인 방법을 제공할 수 있습니다.

본 논문은 3D 아바타의 VR 기반 실시간 BCI 제어의 하드웨어와 소프트웨어의 생성, 설계 및 기술적 측면을 제시하며, 운동 재활 환경으로의 통합을 지원하는 혁신적인 결과를 강조합니다. 제안된 시스템은 뇌파(EEG)를 활용하여 피험자에 의해 생성된 운동 이미지 신호를 캡처한 다음 아바타의 움직임과 행동을 실시간으로 제어하는 데 사용됩니다. 현재의 접근 방식은 상상된 움직임과 관련된 뇌 활동을 인식하고 해석하는 데 있어 VR 기술의 고급 기능과 EEG의 정밀도를 결합하여 사용자가 생각의 힘을 통해 디지털 환경과 상호 작용할 수 있는 보다 매력적이고 효과적인 인터페이스를 만드는 것을 목표로 합니다.

Access restricted. Please log in or start a trial to view this content.

프로토콜

본 연구는 EEG를 통해 기록된 MI 신호를 이용하여 VR 환경에서 3D 아바타를 실시간으로 제어할 수 있는 가능성을 조사하는 것을 목표로 합니다. 이 연구는 아바타를 피사체와 매우 흡사하게 개인화하여 몰입감과 신체 소유 의식을 향상시키는 데 중점을 둡니다. 이 프로토콜은 Vellore Institute of Technology Review Board의 승인을 받았습니다. 참가자는 연구의 목적, 절차 및 잠재적 위험을 검토한 후 정보에 입각한 동의서를 제공했습니다.

1. 실험 설정

참고: 그림 1 의 실험 설정 다이어그램에 표시된 대로 시스템이 모든 구성 요소를 통합하는지 확인하십시오(사용된 장비의 재료 표 참조).

  1. 3D 아바타 개발
    1. 아바타 모델링
      1. 데이터 수집 전날, 다양한 각도에서 여러 장의 얼굴 사진을 수집하고 각 참가자의 정확한 신체 측정치를 수집합니다.
      2. 모델링 소프트웨어를 클릭하여 엽니다. 개봉 직후 성별 슬라이더를 찾습니다. 이 슬라이더를 조정하여 생성하려는 모델의 성별에 맞춥니다.
      3. 화면 상단의 Modelling 탭으로 이동하여 탭을 클릭하여 바디 사용자 정의 옵션에 액세스합니다.
      4. 몸통, 팔, 다리 등과 같은 다양한 섹션 아래의 슬라이더를 사용하여 신체를 모델링합니다. 키, 가슴/가슴, 허리, 엉덩이, 다리 길이, 팔 길이와 같은 기본 측정에 중점을 둡니다.
      5. Pose/Animate 탭을 클릭하고 기본 애니메이션의 기본 스켈레톤을 선택합니다. 맨 위에 있는 파일 메뉴로 이동하여 내보내기를 선택한 다음을 선택합니다. 애니메이션 소프트웨어와의 호환성을 위한 MHX2 형식. 스켈레톤을 포함하려면 Export with Rig 옵션을 선택해야 합니다. 대상 폴더를 선택하고 파일 이름을 지정한 다음 내보내기를 클릭합니다.
      6. 애니메이션 소프트웨어를 엽니다. 파일 > 가져오기 로 이동하여 .mhx2 또는 예상되는 형식을 선택합니다. 저장된 파일로 이동하여 선택하고 소프트웨어로 가져옵니다.
      7. Edit(편집) 메뉴로 이동하여 Preferences(기본 설정) > Add-ons(애드온)을 선택하고 얼굴을 만드는 데 적합한 플러그인이 활성화되어 있는지 확인합니다.
      8. 3D 뷰포트에서 플러그인에서 제공하는 레이아웃 사전 설정으로 전환하거나 일반적으로 왼쪽의 도구 선반에 있는 플러그인 패널로 이동합니다.
      9. 플러그인 패널에서 Create a New Head 를 클릭하여 헤드 모델을 시작합니다. 사진 추가 버튼을 사용하여 참가자의 사진을 가져옵니다. 정확한 모델링을 위해 전면 및 측면 프로파일을 사용합니다.
      10. 지시에 따라 사진의 점을 3D 모델의 해당 점에 맞춥니다. 그런 다음 플러그인은 참가자의 특징에 맞게 머리 모델을 조정합니다. 닮은 모양이 만족스러우면 머리 모델을 완성합니다.
      11. 신체 모델의 목에 맞추도록 머리 모델을 수동으로 배치합니다. 매끄러운 핏을 위해 머리의 스케일과 회전을 조정합니다.
      12. 스냅 도구(Shift+Tab)를 사용하여 머리에 있는 목의 정점을 몸에 있는 정점과 정확하게 정렬합니다.
      13. 정렬이 완료되면 두 메시를 모두 선택하여 머리와 몸통을 결합하고 Ctrl+J 를 눌러 단일 개체로 결합합니다.
      14. 한 쌍의 봉고를 가져오거나 모델링하여 적절한 높이의 모델 앞에 배치합니다.
    2. 아바타 애니메이션
      1. 리깅된 모델의 포즈 모드로 전환합니다. 프레임 1에서 모든 본을 선택하고 LocRotScale 에 대한 키프레임을 삽입(I 키 사용)하여 초기 위치를 기록합니다.
      2. 타임라인을 프레임 30으로 이동하여 왼손을 놓고 봉고를 칩니다.
      3. 왼손의 뼈대를 움직이고 회전하여 봉고를 치는 것을 시뮬레이션합니다. 이러한 골격에 대한 키프레임을 삽입합니다. 이 과정을 반복하여 손을 프레임 60의 시작 위치로 되돌리고 다른 키프레임을 삽입하여 작업을 완료합니다.
      4. 타임라인을 오른손이 동작을 시작하는 프레임 90으로 이동합니다. 왼손과 마찬가지로 오른손의 위치와 회전을 조정하여 다른 봉고를 치는 것을 시뮬레이션하고 키프레임을 삽입합니다.
      5. 손을 시작 위치로 되돌리고 키프레임을 삽입하여 프레임 150에서 모션을 종료합니다.
      6. 타임라인을 스크러빙하여 애니메이션을 검토합니다. 더 부드러운 움직임이나 봉고 히트 사이의 더 나은 타이밍을 위해 필요에 따라 조정하십시오. 파일을 저장합니다.
  2. 장비 설정
    1. 8개의 EEG 채널이 있는 보드 위에 8개의 EEG 채널이 있는 Daisy 모듈을 부착하여 16채널 EEG 데이터 수집 시스템을 조립합니다.
    2. Y-Splitter 케이블을 통해 기준 전극을 데이지 보드의 하단 참조 핀과 하단에 있는 보드의 하단 참조 핀(둘 다 SRB로 표시됨)에 연결합니다.
    3. 접지 전극을 하단 보드의 BIAS 핀에 연결합니다.
    4. 16개의 EEG 전극을 N1P-N8P로 표시된 하단 보드 핀과 N1P-N8P로 표시된 데이지 하단 핀에 연결합니다.
    5. FP10, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 및 T4로 표시된 전극 배치를 위한 국제 4-4 시스템을 준수하는 라벨이 붙은 위치에 겔이 없는 캡에 전극을 삽입합니다.
    6. 수돗물 200mL에 5g의 염화나트륨을 섞은 식염수에 EEG 전극용으로 제공된 18개의 스폰지를 15분 동안 담그십시오.
    7. 각 전극의 아래쪽에 적신 스폰지를 삽입하여 두피와 전극 사이의 접촉을 설정합니다.
    8. 참가자들이 조용한 방에 편안하게 앉을 수 있도록 합니다. 젤이 없는 EEG 캡을 참가자의 두피에 놓고 캡이 참가자의 귀에 맞도록 올바르게 정렬되었는지 확인합니다.
    9. USB 동글을 노트북에 연결합니다. EEG GUI를 열고 EEG 시스템을 클릭한 다음 데이터 소스 옵션에서 직렬(동글에서), 16개 채널 및 AUTO-CONNECT를 선택합니다.
    10. 데이터 수집 화면 내에서 신호 위젯을 선택하여 각 전극 부위(26)에서 <10kΩ의 최적 임피던스 레벨을 확인하여 연결된 전극의 신호 품질을 확인합니다.
    11. 임피던스가 10kΩ보다 높으면 전극 아래의 스폰지에 식염수 몇 방울을 추가합니다. 임피던스 검사 후 GUI를 닫습니다.
    12. Acquisition Server 소프트웨어를 열고 Driver(드라이버) 에서 적절한 EEG 보드를 선택한 다음 Connect > Play(재생 클릭하여 EEG 시스템과의 연결을 설정합니다.
    13. VR 헤드셋을 물티슈로 소독하고 EEG 캡 위에 참가자의 머리에 올려 EEG 데이터를 캡처하는 동안 몰입형 상호 작용을 용이하게 하여 준비합니다.
  3. 게임 설정
    참고: 다음 지침에서는 OSC(Open Sound Control)를 사용하는 두 가지 게임 엔진 시나리오, 즉 모터 이미지 학습(피드포워드)과 모터 이미지 테스트(피드백)의 설정에 대해 간략하게 설명합니다. 피드포워드 시나리오는 OSC 메시지에 의해 트리거된 관찰된 애니메이션을 통해 사용자에게 모터 이미지를 교육합니다. 피드백 시나리오는 OSC 입력을 기반으로 사용자가 상상한 움직임을 애니메이션화하여 모터 이미지 효율성을 테스트합니다.
    1. 게임 엔진 소프트웨어를 열고 모터 이미지 훈련 프로젝트를 선택합니다. VR 지원 활성화: 플레이어 > XR 설정 > 프로젝트 설정 편집 > 이동하여 가상 현실 지원을 선택하고 VR 헤드셋이 가상 현실 SDK 아래에 나열되어 있는지 확인합니다.
    2. 기본 카메라를 삭제하고 VR 통합 패키지의 장면으로 VR 카메라를 드래그합니다.
    3. 가져온 애니메이션 파일을 장면에 배치합니다. 필요에 따라 배율과 방향을 조정합니다. 사전 작성된 스크립트가 있는 OSCListener 게임 오브젝트가 OSC 메시지를 기반으로 왼쪽 및 오른쪽 움직임에 대한 모델 애니메이션을 트리거하도록 설정되어 있는지 확인하여 모터 이미지 훈련을 위한 봉고 타격 동작을 시뮬레이션합니다.
    4. 게임 엔진 소프트웨어에서 파일 > 빌드 설정을 엽니다. PC, Mac & Linux Standalone을 선택하고 Windows를 대상으로 설정한 다음 Build and Run을 클릭합니다.
    5. 모터 이미지 테스트 프로젝트의 경우 모터 이미지 교육 프로젝트와 유사한 단계를 수행합니다. 참가자가 상상한 손 움직임을 나타내는 OSC 신호를 수신하도록 설계된 스크립트로 구성된 OSCListener 게임 오브젝트를 사용하여 테스트 프로젝트에 해당하는 애니메이션을 트리거합니다.

figure-protocol-5128
그림 1: VR-BCI 설정. 전체 VR-BCI 설정은 참가자가 VR 헤드셋과 EEG 캡을 착용하는 것을 보여줍니다. 참가자들은 가상 환경에서 개인화된 3D 아바타를 보고 컴퓨터에 무선으로 전송된 뇌 신호를 사용하여 아바타의 동작을 제어했습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

2. 실험 설계

  1. 신호 검증 단계
    1. 소프트웨어 도구를 열어 모터 이미지 시나리오를 설계 및 실행하고, 파일로 이동하여 신호 검증, 수집, CSP 교육, 분류기 훈련, 테스트 및 혼동 매트릭스라는 레이블이 지정된 6개의 Motor-Imagery-BCI 시나리오를 로드합니다.
    2. 신호 검증 시나리오로 이동합니다. 최적화된 신호 처리를 위해 디자이너 박스를 사용하여 필터 차수가 4인 1Hz에서 40Hz 사이의 대역 통과 필터를 원시 신호에 적용합니다.
  2. 교육 단계
    1. 참가자가 시각적 신호에 반응하여 손의 움직임을 상상하면서 운동 이미지 작업을 수행하도록 안내하고 지시합니다.
    2. 모터 이미지 훈련을 위해 파일을 열고 VR 헤드셋을 통해 봉고 세트 위에 서 있는 준비된 3D 아바타를 표시합니다.
    3. Acquisition 시나리오로 이동하여 Graz Motor Imagery Stimulator 를 두 번 클릭하여 상자를 구성합니다.
    4. 왼쪽 및 오른쪽 움직임 모두에 대해 50, 5 초 시도 (cue-1.25 s 및 MI-3.75 s)를 구성하고, 20 초의 기준선 기간을 통합하고 정신적 피로를 피하기 위해 10 번의 시도 후 10 초의 휴식 간격을 통합합니다.
    5. 왼손 및 오른손 시도를 무작위로 구성하고 시도 전에 상상할 패를 나타내는 단서를 갖습니다.
    6. OSC 박스에 IP 주소와 포트를 연결하여 상상할 수 있는 핸드에 대한 신호를 모터 이미지 훈련 게임 엔진 프로그램에 전송합니다.
    7. 참가자들이 3D 아바타와 함께 아바타와 같은 속도로 해당 손으로 봉고를 칠 때 손의 움직임을 실행하는 것을 상상하도록 안내하고, 어떤 손을 상상할 것인지를 나타내는 텍스트 신호를 따릅니다.
  3. CSP 및 LDA 교육
    1. 획득 후 CSP 교육 시나리오를 실행하여 획득 단계의 EEG 데이터를 분석하고 CSP(Common Spatial Patterns)를 계산하여 왼쪽 이미지와 오른쪽 이미지를 구분하는 필터를 생성합니다.
    2. CSP 교육 후 분류자 교육 시나리오로 이동하여 실행하여 효율적인 작업 분류를 위해 CSP 필터를 사용하는 LDA(선형 판별 분석)를 활용하여 실시간 아바타 제어를 위해 시스템을 준비합니다.
  4. 테스트 단계
    1. 참가자가 뇌-컴퓨터 인터페이스(BCI) 기술을 사용하여 실시간으로 3D 아바타를 제어할 수 있도록 테스트 시나리오로 이동합니다.
    2. 참가자가 이러한 상상된 동작을 실시간으로 해석하기 위해 손의 움직임을 상상하는 동안 캡처된 EEG 데이터에 대해 이전 시나리오에서 훈련된 분류기를 적절한 상자에 로드합니다.
    3. EEG 시스템 및 VR 설정이 작동하고 교육 단계 설정에 따라 올바르게 구성되었는지 확인합니다.
    4. 테스트 절차에 대해 참가자에게 간략히 설명하고, 텍스트 신호에 의해 프롬프트된 손의 움직임(왼손 또는 오른손을 사용하여 봉고를 치는 것)을 명확하게 상상해야 할 필요성을 강조합니다.
    5. 훈련 단계와 유사하게, 각 참가자에 대해 20번의 시도를 수행하고, 왼손과 오른손의 움직임을 상상하는 것과 무작위로 균등하게 나누어 실시합니다.
    6. 게임 엔진 프로그램에서 이미지화할 핸드를 나타내는 텍스트로 표시할 큐 정보를 전송하도록 OSC 박스를 연결하고 구성합니다.
    7. 다른 OSC 박스에 연결하여 게임 엔진 프로그램이 참가자가 상상한 손을 기반으로 해당 애니메이션을 재생할 수 있도록 왼손 및 오른손 움직임에 대한 예측 값을 전송합니다.
    8. 테스트 시나리오를 실행합니다. Motor Imagery Testing 게임 엔진 프로그램을 실행합니다.

3. 데이터 수집 및 분석

  1. 125Hz에서 샘플링된 데이터를 사용하여 실험의 수집 및 테스트 단계에서 EEG 데이터 및 분류기 출력을 지속적으로 기록합니다.
  2. 혼동 매트릭스(Confusion Matrix) 시나리오로 이동하여 획득한 EEG 파일을 각 참가자와 획득 및 교육 단계 모두에 대해 Generic stream reader(일반 스트림 리더)라고 표시된 상자에 로드합니다.
  3. 시나리오를 실행하여 BCI 시스템이 운동 영상 신호를 얼마나 정확하게 해석하는지 평가하기 위한 혼동 행렬을 얻습니다.
  4. EEG 캡과 VR 헤드셋을 착용하는 동안 아바타의 사용 편의성, 제어 기능, 몰입 수준 및 편안함에 대한 경험에 대한 참가자의 피드백을 수집합니다.

Access restricted. Please log in or start a trial to view this content.

결과

표시된 결과는 위에서 설명한 프로토콜을 따른 5명의 개인으로부터 얻은 것입니다. 21세에서 38세 사이의 건강한 성인 총 5명(여성 3명)이 연구에 참여했습니다.

운동 이미지 훈련 및 테스트 조건 모두에서 각 참가자의 개별 분류 성능은 그림 2에 나와 있습니다. 훈련 및 테스트 세션 동안 왼쪽과 오른쪽 MI 신호를 구별하는 분류기의 정확도를 평가하기 위?...

Access restricted. Please log in or start a trial to view this content.

토론

VR 기술과 함께 MI를 적용하면 운동 계획 및 실행을 위한 뇌의 자연적인 메커니즘을 활용하여 재활을 위한 유망한 방법을 제공합니다. 물리적 움직임 2,3,4의 신경 활동을 반영하여 특정 뇌 주파수 대역에서 이벤트 관련 비동기화를 유도하는 MI의 능력은 운동 제어에 관여하는 신경망을 참여시키고 강화하기 위한 강력한 프레임?...

Access restricted. Please log in or start a trial to view this content.

공개

저자는 공개할 이해 상충이 없습니다.

감사의 말

저자는 시간을 내어 참여해 주신 모든 참가자에게 감사의 말씀을 전합니다.

Access restricted. Please log in or start a trial to view this content.

자료

NameCompanyCatalog NumberComments
Alienware LaptopDellHigh-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headsetMetaVR headset
OpenBCI Cyton DaisyOpenBCIEEG system
OpenBCI Gel-free capOpenBCIGel-free cap for placing the EEG electrodes over the participant's scalp

참고문헌

  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, Pt 6 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. Implicit learning through embodiment in immersive virtual reality. , Springer. (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865(2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204(2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909(2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85(2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895(2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218(2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329(2019).

Access restricted. Please log in or start a trial to view this content.

재인쇄 및 허가

JoVE'article의 텍스트 или 그림을 다시 사용하시려면 허가 살펴보기

허가 살펴보기

더 많은 기사 탐색

EEG

This article has been published

Video Coming Soon

JoVE Logo

개인 정보 보호

이용 약관

정책

연락처

사서에게 추천하기

JoVE 뉴스레터

연구

교육

저자

사서

JoVE 소개

Copyright © 2025 MyJoVE Corporation. 판권 소유