JoVE Logo
저자
연락처

로그인

JoVE 비디오를 활용하시려면 도서관을 통한 기관 구독이 필요합니다. 전체 비디오를 보시려면 로그인하거나 무료 트라이얼을 시작하세요.

기사 소개

  • 요약
  • 초록
  • 서문
  • 프로토콜
  • 결과
  • 토론
  • 공개
  • 감사의 말
  • 자료
  • 참고문헌
  • 재인쇄 및 허가

요약

이 백서에서는 소비자 등급 장비와 정상 상태의 시각적 유발 잠재력에 의존하여 뇌-컴퓨터 인터페이스를 구축하는 방법에 대해 설명합니다. 이를 위해 건식 전극을 활용하는 단일 채널 뇌파계가 자극 표현 및 출력 데이터 시각화를 위해 증강 현실 안경과 통합되었습니다. 최종 시스템은 비침습적, 웨어러블 및 휴대용이었습니다.

초록

현재 연구는 웨어러블 뇌-컴퓨터 인터페이스(BCI)를 구축하는 방법에 중점을 둡니다. BCI는 장애인과 장애인 모두를 돕기 위해 뇌 신호의 직접 측정에 의존하는 인간-컴퓨터 상호 작용의 새로운 수단입니다. 적용 사례로는 로봇 제어, 산업 검사 및 신경 재활이 있습니다. 특히, 최근 연구에 따르면 정상 상태 시각 유발 전위(SSVEP)는 통신 및 제어 애플리케이션에 특히 적합하며 현재 BCI 기술을 일상 생활에 도입하기 위한 노력이 이루어지고 있습니다. 이 목표를 달성하기 위해 최종 시스템은 웨어러블, 휴대용 및 저비용 기기에 의존해야 합니다. SSVEP를 활용하려면 고정 주파수로 깜박이는 시각적 자극이 필요합니다. 따라서 일상 생활의 제약을 고려할 때 스마트 안경을 통해 시각적 자극을 제공할 수 있는 가능성을 본 연구에서는 탐구하였다. 또한, 유도된 전위를 감지하기 위해 뇌파검사(EEG)를 위한 상용 장치가 고려되었습니다. 이것은 건식 전극(전도성 젤 없음)이 있는 단일 차동 채널로 구성되어 최고의 착용성과 휴대성을 달성합니다. 이러한 BCI에서, 사용자는 단지 디스플레이에 나타나는 아이콘들을 응시하는 것만으로 스마트 글래스와 상호작용할 수 있다. 이 간단한 원리에 따라 확장 현실(XR) 안경을 상업적으로 이용 가능한 EEG 장치와 통합하여 사용자 친화적인 저비용 BCI를 구축했습니다. 이 웨어러블 XR-BCI의 기능은 20명의 피험자가 참여한 실험 캠페인으로 조사되었습니다. 분류 정확도는 자극 시간에 따라 평균 80%-95% 사이였습니다. 이러한 결과를 감안할 때 이 시스템은 산업 검사를 위한 인간-기계 인터페이스로 사용될 수 있을 뿐만 아니라 ADHD 및 자폐증의 재활에도 사용될 수 있습니다.

서문

뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)는 자연 신경 경로없이 장치와의 통신 및/또는 제어를 허용하는 시스템이다1. BCI 기술은 인류가 마음의 힘으로 사물을 조종하는 데 가장 가까운 것입니다. 기술적인 관점에서 볼 때, 시스템 작동은 피험자로부터 비자발적 또는 자발적으로 생성될 수 있는 유도 또는 유발된 뇌 활동을 측정함으로써 작동한다2. 역사적으로 연구는 BCI3를 통해 운동 장애가 있는 사람들을 돕는 데 중점을 두었지만, 오늘날 점점 더 많은 회사들이 게임4, 로봇 공학5, 인더스트리6 및 인간-기계 상호 작용과 관련된 기타 응용 분야를 위한 BCI 기반 계측기를 제공하고 있습니다. 특히, BCI는 4차 산업혁명, 즉 인더스트리 4.0(Industry 4.0)7에서 중요한 역할을 할 수 있는데, 여기서 사이버-물리적 생산 시스템은 인간과 주변 환경 간의 상호작용을 변화시키고 있다8. 대체로 유럽 프로젝트 BNCI Horizon 2020은 중추신경계의 손실된 자연적 기능을 대체, 복원, 개선, 향상 또는 보완하는 것과 같은 응용 시나리오와 뇌 조사에 BCI를 사용하는 것과 같은 응용 시나리오를 식별했습니다9.

이러한 프레임워크에서, 최근의 기술적 진보는 뇌-컴퓨터 인터페이스가 일상 생활에서의 사용에 적용될 수 있음을 의미한다10,11. 이 목표를 달성하기 위한 첫 번째 요구 사항은 비침습성이며, 이는 외과적 개입의 위험을 피하고 사용자 수용도를 높이는 데 중요합니다. 그러나 비침습적 신경영상의 선택이 측정된 뇌 신호의 품질에 영향을 미치며, BCI 설계는 관련된 함정을 다루어야 한다는 점은 주목할 가치가 있다12. 또한 착용감과 휴대성이 요구됩니다. 이러한 요구 사항은 사용자 친화적인 시스템의 필요성과 일치하지만 몇 가지 제약 조건도 있습니다. 전반적으로, 언급된 하드웨어 제약은 젤-프리 전극(gel-free electrodes)을 갖는 뇌파(electroencephalographic, EEG) 시스템의 사용에 의해 해결된다6. 이러한 EEG 기반 BCI는 비용도 저렴합니다. 한편, 소프트웨어 측면에서 최소한의 사용자 교육(또는 이상적으로는 교육이 없음)이 필요합니다. 즉, 사용자가 시스템을 사용하기 전에 처리 알고리즘을 튜닝하는 데 오랜 시간을 피하는 것이 가장 좋습니다. 이 측면은 주제 간 및 주제 내 비정상성13,14 때문에 BCI에서 중요합니다.

이전 문헌은 유발된 뇌 전위의 감지가 신호 획득에서 비정상성 및 잡음과 관련하여 강력하다는 것을 입증했습니다. 즉, 유발 전위의 검출에 의존하는 BCI는 반응성(rereaction)이라고 하며, 뇌 패턴 인식 측면에서 가장 성능이 좋은 BCI이다15. 그럼에도 불구하고, 그들은 감각 자극을 필요로하는데, 이는 아마도 그러한 인터페이스의 주요 단점 일 것입니다. 따라서 제안된 방법의 목표는 웨어러블 기성품 기기에 의존하는 고도로 웨어러블하고 휴대가 간편한 BCI를 구축하는 것입니다. 여기서 감각 자극은 스마트 안경에 의해 생성되는 깜박이는 빛으로 구성되며, 이는 정상 상태 시각적 유발 전위(SSVEP)를 유도할 수 있습니다. 이전 연구에서는 이미 BCI를 단독으로 또는 증강 현실과 함께 가상 현실과 통합하는 것을 고려했습니다16. 예를 들어, SSVEP17로 쿼드콥터를 제어하기 위해 BCI-AR 시스템이 제안되었습니다. 가상 현실, 증강 현실 및 기타 패러다임은 확장 현실이라는 용어로 언급됩니다. 이러한 시나리오에서 스마트 안경의 선택은 착용성 및 휴대성 요구 사항을 준수하며 스마트 안경은 최소한의 EEG 획득 설정으로 통합될 수 있습니다. 이 백서는 SSVEP 기반 BCI가 최소한의 교육만 필요하며 중저속 통신 및 제어 응용 분야에서 허용 가능한 분류 성능을 달성한다는 것을 보여줍니다. 따라서 이 기술은 일상 생활 응용 분야를 위해 BCI에 적용되며 특히 산업 및 의료에 적합한 것으로 보입니다.

프로토콜

이 연구는 나폴리 페데리코 II 대학 인문학과의 심리학 윤리위원회의 승인을 받았습니다. 자원 봉사자들은 실험에 참여하기 전에 정보에 입각 한 동의서에 서명했습니다.

1. 비침습적 웨어러블 뇌 준비 - 컴퓨터 인터페이스

  1. 건식 전극이 있는 저가형 소비자 등급 뇌파계를 구하고 단일 채널 사용을 위해 구성합니다.
    1. 저비용 뇌파계에서 사용하지 않는 입력 채널을 단락시키거나 내부 기준 전압에 연결합니다.tage 고유한 데이터시트에 명시되어 있습니다. 이렇게 하면 사용하지 않는 채널이 비활성화되고 누화 노이즈가 발생하지 않습니다.
    2. 뇌파 이득(일반적으로 가변 저항이 있는 구성 요소를 통해)을 조정하여 입력 범위가 100μV 정도가 되도록 합니다.
      알림: 측정할 EEG 신호는 수십 마이크로볼트 정도입니다. 그러나 건식 전극은 모션 아티팩트의 영향을 크게 받으며, 이로 인해 전극-피부 임피던스의 가변성으로 인해 100μV 정도의 진동이 발생합니다. 입력 전압 범위를 늘리면 EEG 증폭기 포화를 제한하는 데 도움이 되지만 완전히 제거되지는 않습니다. 반면에 입력 전압 범위를 더 늘리는 것은 원하는 EEG 구성 요소를 측정할 때 전압 분해능에 영향을 미치기 때문에 불편할 것입니다. 궁극적으로, 두 가지 측면은 뇌파 보드 내부의 아날로그-디지털 변환기의 비트 분해능도 고려하여 균형을 이루어야 합니다.
    3. 뇌파 보드에 연결할 3 개의 건식 전극을 준비합니다. 수동 전극(사전 증폭 없음)을 기준 전극으로 사용합니다. 나머지 두 개의 측정 전극은 활성 전극이어야 합니다(즉, 사전 증폭 및 최종 아날로그 필터링 포함).
      알림: 털이 많은 두피 부위에 배치된 전극은 전극-피부 접촉 임피던스를 극복하기 위해 핀이 필요합니다. 가능하면 납작한 머리가 있는 은색 핀을 납땜하거나(사용자에게 너무 많은 고통을 피하기 위해) Ag/AgCl 코팅이 된 전도성(부드러운) 고무를 사용하는 것이 이상적입니다.
  2. Android 운영 체제와 60Hz의 재생 빈도를 갖춘 상업용 스마트 안경을 구입하십시오. 또는 더 낮은 재생 빈도를 사용합니다. 눈의 피로가 적기 때문에 자극에 더 높은 재생 빈도가 바람직하지만 현재 시장에는 사용 가능한 솔루션이 없습니다.
    1. 통신 또는 제어를 위해 Android 애플리케이션의 소스 코드를 다운로드하거나 개발합니다.
    2. 애플리케이션의 가상 버튼을 고유한 객체(일반적으로 자바 또는 Kotlin)를 변경하여 깜박이는 아이콘으로 대체합니다. 화면 크기가 5% 이상인 흰색 사각형을 사용하는 것이 좋습니다. 일반적으로 자극 제곱이 클수록 검출할 SSVEP 성분이 높지만 특정 경우에 따라 최적을 찾을 수 있습니다. 권장 주파수는 10Hz 및 12Hz 깜박임입니다. 그래픽 처리 장치(GPU)에서 깜박임을 구현하여 스마트 안경의 컴퓨팅 장치(CPU)에 과부하가 걸리지 않도록 합니다. 이를 위해 OpenGL 라이브러리의 개체를 사용합니다.
    3. 입력 EEG 스트림의 실시간 처리를 위해 Android 애플리케이션의 모듈을 구현합니다. USB를 통해 스트림을 수신할 수 있도록 Android USB 서비스를 추가할 수 있습니다. 실시간 처리는 인커밍 패킷을 고려하여 단순히 EEG 스트림에 슬라이딩 윈도우를 적용할 수 있습니다. 고속 푸리에 변환 함수를 통해 10Hz 및 12Hz 주파수와 관련된 전력 스펙트럼 밀도를 계산합니다. 따라서, 훈련된 분류기는 파워 스펙트럼 밀도 특징들을 분류함으로써 사용자가 10Hz 플리커링 아이콘 또는 12Hz 플리커링 아이콘을 보고 있다는 것을 구별할 수 있다.

2. SSVEP 기반 뇌 보정 - 컴퓨터 인터페이스

참고: 이 연구를 위해 건강한 지원자가 선택되었습니다. 뇌 질환의 병력이 있는 피험자는 제외합니다. 관련 피험자는 정상 또는 정상으로 교정된 시력을 가져야 했습니다. 그들은 실험 중에 긴장을 풀고 불필요한 움직임, 특히 머리의 움직임을 피하도록 지시 받았다.

  1. 사용자가 Android 애플리케이션으로 스마트 안경을 착용하게 합니다.
  2. 사용자가 전극을 고정하기 위해 꽉 조이는 머리띠를 착용하게 하십시오.
  3. PC가 주 전원 공급 장치에서 분리된 상태에서 USB 케이블을 통해 저가의 뇌파도를 PC에 연결합니다.
    1. 처음에는 알려진 상태에서 시작하기 위해 뇌파 수집 보드에서 모든 전극을 분리합니다.
    2. 이 단계에서 EEG 스트림은 Android 애플리케이션에서 구현된 처리와 호환되는 스크립트를 사용하여 PC에서 오프라인으로 처리됩니다. 스크립트를 시작하여 EEG 신호를 수신하고 시각화합니다.
  4. 오프라인으로 처리되는 표시된 신호를 확인하십시오. 이는 EEG 증폭기의 양자화 잡음에만 해당해야 합니다.
  5. 전극을 연결합니다.
    1. 사용자 지정 클립을 사용하여 수동 전극을 왼쪽 귀에 적용하거나 이어 클립 전극을 사용합니다. 측정 차동 채널은 여전히 개방 회로이기 때문에 이 단계에서 출력 신호는 변경되지 않은 상태로 유지되어야 합니다.
    2. 측정 EEG 채널의 차동 입력의 음극 단자에 활성 전극을 연결하고 헤드밴드로 정면 영역(Fpz 표준 위치)에 적용합니다. 몇 초 후에 신호는 0(양자화 노이즈)으로 돌아와야 합니다.
    3. 다른 활성 전극을 측정 EEG 채널의 차동 입력의 양극 단자에 연결하고 헤드밴드로 후두부(오즈 표준 위치)에 적용합니다. 이제 뇌 신호가 표시되며, 이는 전두엽 뇌 영역과 관련하여 측정 된 시각 활동에 해당합니다 (시각적 활동이 예상되지 않음).
  6. 시스템 교정을 위한 신호를 수집합니다.
    1. Android 애플리케이션에서 깜박임 아이콘을 시작하여 10Hz 및 12Hz(및 결국 다른) 깜박임 아이콘으로 사용자를 반복적으로 자극하고 오프라인 처리를 위해 고유한 EEG 신호를 획득 및 저장합니다. 이 단계의 각 자극이 10초 동안 깜박이는 단일 아이콘으로 구성되어 있는지 확인하고 스마트 안경의 터치패드를 눌러 깜박임 아이콘을 시작하는 동시에 EEG 획득 및 시각화 스크립트를 시작합니다.
    2. 각 자극과 관련된 10초 신호에서 고속 푸리에 변환을 사용하여 두 가지 특징, 즉 10Hz 및 12Hz에서의 전력 스펙트럼 밀도를 추출합니다. 또는 2차 고조파(20Hz 및 24Hz)를 고려하십시오.
    3. 특징 영역에서 수집된 신호의 표현을 사용하여 서포트 벡터 머신 분류기를 훈련시킬 수 있습니다. 도구(Matlab 또는 Python)를 사용하여 입력 기능을 기반으로 최종 커널이 있는 초평면의 파라미터를 식별합니다. 훈련된 모델은 EEG 신호의 향후 관찰을 분류할 수 있습니다.

3. 최종 웨어러블 및 휴대용 SSVEP 기반 인터페이스 조립

  1. PC에서 USB 케이블을 분리하고 스마트 안경에 직접 연결합니다.
  2. 학습된 분류자의 매개 변수를 Android 애플리케이션에 삽입합니다. 이제 시스템이 준비되었습니다.

결과

상술한 시스템의 가능한 구현은 도 1에 도시되어 있다; 이 구현을 통해 사용자는 뇌 활동을 통해 증강 현실을 탐색할 수 있습니다. 스마트 안경 디스플레이의 깜박이는 아이콘은 응용 제품의 동작에 해당하므로(그림 1A), 이 안경은 버튼 누름 또는 터치패드를 기반으로 하는 기존 인터페이스를 대체합니다. 이러한 상호 작용의 ?...

토론

시스템의 적절한 기능에는 SSVEP 유도 및 신호 획득이라는 두 가지 중요한 측면이 포함됩니다. 현재 연구를 위해 선택된 특정 장치 외에도 SSVEP는 깜박이는 빛을 제공하는 다양한 장치로 유도될 수 있지만 착용성과 휴대성을 보장하기 위해 스마트 안경이 선호됩니다. 유사하게, 더 많은 상업용 뇌파계가 고려 될 수 있지만, 착용 가능하고 휴대 가능해야하며 사용자 친화적이기 위해서는 최소한의 건...

공개

저자는 공개 할 것이 없습니다.

감사의 말

이 작업은 이탈리아 교육부, 대학 및 연구부(MIUR)가 재정적으로 지원한 보건을 위한 ICT 프로젝트의 일환으로 우수 부서(이탈리아 예산법 번호 232/2016)에 따라 나폴리 페데리코 II 대학의 정보 기술 및 전기 공학과에 수여된 우수 보조금을 통해 수행되었습니다. 나폴리, 이탈리아. 이 프로젝트는 Res4Net 이니셔티브와 IEEE Instrumentation and Measurement Society의 TC-06(Emerging Technologies in Measurements)의 지원으로 가능했습니다. 또한 시스템 개발, 테스트 및 검증에 귀중한 기여를 해주신 L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone 및 M. Ortolano에게도 감사의 뜻을 전합니다.

자료

NameCompanyCatalog NumberComments
Conductive rubber with Ag/AgCl coating ab medica s.p.a.N/AAlternative electrodes – type 2
Earclip electrodeOpenBCIN/AEar clip
EEG-AEOlimexN/AActive electrodes
EEG-PEOlimexN/APassive electrode
EEG-SMTOlimexN/ALow-cost electroencephalograph
Moverio BT-200EpsonN/ASmart glasses
Snap electrodesOpenBCIN/AAlternative electrodes – type 1

참고문헌

  1. Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
  2. Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
  3. Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
  4. Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
  5. Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
  6. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
  7. Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
  8. Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
  9. Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
  10. Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
  11. Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
  12. Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
  13. Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
  14. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
  15. Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
  16. Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
  17. Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
  18. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
  19. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
  20. Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
  21. Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
  22. Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
  23. Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).

재인쇄 및 허가

JoVE'article의 텍스트 или 그림을 다시 사용하시려면 허가 살펴보기

허가 살펴보기

더 많은 기사 탐색

JoVE 197

This article has been published

Video Coming Soon

JoVE Logo

개인 정보 보호

이용 약관

정책

연락처

사서에게 추천하기

JoVE 뉴스레터

연구

교육

저자

사서

JoVE 소개

Copyright © 2025 MyJoVE Corporation. 판권 소유