고해상도 표면 근전도 및 컴퓨터 비전을 사용한 동적 손가락 제스처 캡처

요약

이 논문은 자연스러운 손가락 제스처 중에 손 근전도 검사(EMG)와 시각적 손가락 추적을 동시에 기록하기 위한 포괄적인 프로토콜을 제시합니다. 시각적 데이터는 손가락 제스처 인식을 위한 정확한 EMG 기반 계산 모델 개발을 위한 실측 자료 역할을 하도록 설계되었습니다.

초록

손가락 제스처는 인간의 의사 소통에서 중요한 요소이므로 손가락 제스처 인식은 최첨단 보철 및 최적화된 재활을 위한 인간-컴퓨터 인터페이스로 널리 연구되고 있습니다. 딥 러닝 방법과 함께 표면 근전도 검사(sEMG)는 이 영역에서 유망한 방법으로 간주됩니다. 그러나 현재의 방법은 번거로운 녹음 설정과 고정된 손 위치 식별에 의존하는 경우가 많아 실제 응용 프로그램에서의 효율성이 제한됩니다. 여기에서 보고한 프로토콜은 웨어러블 표면 EMG와 손가락 추적 시스템을 결합하여 역동적인 손 움직임 중에 포괄적인 데이터를 캡처하는 고급 접근 방식을 제시합니다. 이 방법은 피험자가 다른 손 위치와 움직이는 동안 제스처를 수행할 때 팔뚝에 배치된 소프트 프린팅 전극 배열(16개의 전극)에서 근육 활동을 기록합니다. 시각적 지시는 피험자에게 EMG와 손가락 위치가 기록되는 동안 특정 제스처를 수행하도록 요청합니다. 동기화된 EMG 기록과 손가락 추적 데이터의 통합으로 근육 활동 패턴과 해당 제스처를 종합적으로 분석할 수 있습니다. 보고된 접근 방식은 보철, 재활 및 대화형 기술의 응용 프로그램과 함께 직관적이고 반응이 빠른 제스처 인식 시스템을 개발하기 위한 중요한 리소스로 EMG 및 시각적 추적 기술을 결합할 수 있는 잠재력을 보여줍니다. 이 프로토콜은 연구자와 실무자를 안내하여 역동적이고 실제 시나리오에서 제스처 인식의 추가 혁신과 적용을 촉진하는 것을 목표로 합니다.

서문

손 제스처는 인간의 의사 소통에 필수적이며, 손가락 제스처 인식은 인간-컴퓨터 상호 작용, 고급 보철물 ^1,2,3,4 및 재활 기술 ^5,6과 같은 분야에서 중요한 연구 분야입니다. 그 결과, 손가락 제스처 인식은 직관적인 제어 시스템과 보조 장치를 향상시킬 수 있는 잠재력으로 인해 상당한 주목을 받았습니다. 딥 러닝 알고리즘과 결합된 표면 근전도(sEMG)는 손의 움직임과 관련된 근육의 전기적 활동을 감지할 수 있는 능력으로 인해 이러한 제스처를 캡처하고 해석하기 위한 매우 유망한 접근 방식으로 부상하고 있습니다 7,8,9,10,11,12,13,14,15.

그러나 이러한 발전에도 불구하고 현재의 접근 방식은 실제 응용 분야에서 한계에 직면해 있습니다. 대부분의 기존 시스템은 수많은 전극 ^5,7,9,16,17 및 정확한 위치 지정 ^3,18을 사용하는 복잡하고 번거로운 기록 설정을 필요로 하며, 이는 종종 통제된 환경 밖에서 구현하기 어렵습니다. 또한 이러한 시스템은 정적 손 위치 13,18,19,20,21에 초점을 맞추는 경향이 있어 일상 활동에서 발생하는 역동적이고 유동적인 제스처를 해석하는 능력을 제한합니다. 이 프로토콜은 보다 자연스러운 조건에서 동적 제스처 인식을 지원하여 이러한 제한을 해결하는 것을 목표로 합니다. 이러한 방법론은 보철 및 재활과 같은 분야에서 실시간으로 자연스러운 제스처 해석이 필수적인 분야에서 보다 실용적이고 사용자 친화적인 애플리케이션을 가능하게 할 것입니다.

이러한 문제를 해결하기 위해 보다 정확하고 적응 가능한 알고리즘을 개발하려면 자연적이고 일상적인 조건을 반영하는 데이터 세트가 필요합니다 ^3,4. 이러한 데이터 세트는 모델의 견고성을 보장하기 위해 광범위한 동적 움직임, 다양한 손 위치 및 많은 양의 데이터를 캡처해야 합니다. 또한 훈련 데이터 세트와 테스트 데이터 세트 간의 가변성이 중요하므로 모델이 다양한 손 자세, 근육 활성화 패턴 및 동작에 걸쳐 일반화될 수 있습니다. 이러한 다양성을 데이터에 통합하면 알고리즘이 일상적인 실제 응용 프로그램에서 제스처 인식을 보다 정확하게 수행할 수 있습니다²².

이러한 과제를 극복하는 것은 보다 실용적이고 널리 적용할 수 있는 제스처 인식 시스템의 향후 개발에 필수적입니다. 여기에 설명된 연구 및 프로토콜은 자연스러운 환경에서 역동적인 손 움직임을 캡처할 수 있는 휴대가 가능하고 사용자 친화적인 설정이 필요하기 때문입니다. 포괄적인 데이터 세트와 고급 알고리즘은 인간-컴퓨터 인터페이스, 신경 보철 및 재활 기술에서 sEMG 및 딥 러닝의 잠재력을 완전히 실현하는 데 매우 중요합니다. 우리는 이 프로토콜이 다양한 손 위치에 걸쳐 일반화되는 알고리즘 모델의 개발을 더욱 가능하게 하기 위해 포괄적인 데이터 수집을 촉진함으로써 이 분야에 기여할 것으로 기대합니다.

제스처 인식의 중요한 과제는 손 위치에 대한 sEMG 신호의 민감도에 있습니다. 많은 연구가 제스처 예측을 위한 고정된 손 위치에 초점을 맞추고 있지만, 실제 애플리케이션에는 다양한 손 자세에서 손가락 움직임을 인식할 수 있는 모델이 필요합니다. 최근의 접근 방식은 컴퓨터 비전을 실측 자료 참조로 통합하여 이러한 모델의 정확성과 유연성을 향상시킴으로써 이 문제를 해결했습니다^15,19. 또한 sEMG 신호를 시각적 데이터와 통합하는 하이브리드 모델은 다양한 시나리오에서 인식 정확도를 더욱 향상시킵니다²³.

이 프로토콜에서는 실제와 같은 조건에서 EMG 및 손 추적 데이터를 모두 통합하여 동적 제스처 인식을 향상시키는 데이터 수집에 대한 동기화된 접근 방식을 제시합니다. 제스처 성능을 정적 위치로 제한하는 기존 방법과 달리 이 프로토콜에는 손 아래로, 손 위로, 손 곧게, 손 이동의 네 가지 고유한 위치에서 수행되는 제스처가 포함됩니다. 핸드 트래킹 카메라는 3차원 인터랙티브 존 내에서 손의 움직임을 추적하여 뚜렷한 손 요소를 식별하고 고해상도로 역동적인 움직임을 캡처합니다. 근육 활동을 기록하기 위해 팔뚝에 배치된 16개의 전극으로 구성된 부드러운 전극 어레이는 참가자의 이동성을 방해하지 않으면서 안정적인 무선 녹음을 제공합니다. 이 두 소스의 동기화된 데이터는 실제 조건에서 작동할 수 있는 고급 제스처 인식 알고리즘을 개발하기 위한 포괄적인 기반을 제공합니다. 이 접근 방식은 특히 현실적인 시나리오에서 자유로운 이동과 안정적인 신호 녹음을 촉진하여 현재 설정의 한계를 해결합니다. 이러한 발전은 직관적인 제어와 유연성이 필수적인 보철, 재활 및 대화형 기술 응용 분야를 위한 제스처 인식 기술을 지원합니다.

프로토콜

이 연구를 위해 건강한 참가자(n = 18세, 18-32세, 남녀 모두)를 모집했으며, 이는 텔아비브 대학 윤리 검토 위원회(승인 번호 0004877-3)의 승인을 받았습니다. 이 프로토콜은 인간 참가자와 관련된 연구에 대한 이사회의 지침을 준수합니다. 기관의 요구 사항에 따라 모든 참가자로부터 정보에 입각한 동의를 얻었습니다.

1. 실험자 브리핑

1. 참가자들에게 14개의 고유한 손가락 제스처( 그림 1 참조)를 연속으로 수행하고 각 제스처를 무작위 순서로 7회씩 반복하도록 요청합니다. 각 동작을 5초 동안 단단히 유지한 다음 3초 동안 휴식을 취하도록 요청하십시오. 각 세션의 총 시간은 13:04분입니다.
2. 컴퓨터 화면에 표시되는 제스처의 큰 이미지에는 제스처 성능을 나타내는 카운트다운 타이머가 함께 표시됩니다. 휴식 시간 동안 참가자에게 남은 휴식 시간을 나타내는 타이머와 함께 표시되는 다음 제스처의 작은 이미지를 보도록 요청하십시오. 두 개의 뚜렷한 비프음은 각 제스처의 시작과 끝을 알리는 신호로 참가자가 다음 제스처를 준비할 수 있도록 도와줍니다.
3. 각 참가자에게 이전에 제시된²²와 유사한 4개의 다른 위치에서 절차를 실행하도록 요청합니다.
   위치 1: 참가자 서 있음. 손을 내리고, 똑바르고, 편안합니다.
   위치 2: 안락의자에 앉아 있는 참가자. 손을 90°로 앞으로 뻗고 손바닥을 이완합니다(지지 장치를 사용할 수 있음).
   위치 3: 손을 위로 접고(팔꿈치를 안락의자에 대고), 손바닥을 편안하게 합니다.
   위치 4: 참가자는 이전 위치 중 하나를 선택하고 PC 화면에서 실시간으로 모니터링되는 카메라의 감지 범위 내에서 손을 자유롭게 움직일 수 있습니다(자세한 내용은 1.4단계 참조).
4. 각 세션마다 참가자가 팔에 근전도 장치를 착용하고 손 추적 카메라를 참가자 쪽으로 배치하도록 합니다. 참가자들에게 손바닥이 항상 카메라를 향하도록 요청합니다. 손 추적 소프트웨어는 참가자와 차장 모두 손이 올바르게 인식되었는지 확인할 수 있도록 별도의 화면에 표시됩니다.
5. 정확한 손 인식을 위해 각 위치에 대해 손 추적 카메라의 위치와 각도를 조정합니다. 또한 스펙트로그램 스크립트를 사용하여 전극에서 나오는 신호의 품질을 평가합니다.

그림 1: 데이터 수집 프로세스의 개략도. 피험자는 팔뚝(3)에 배치된 부드러운 전극 배열을 장착하고 있으며, 이는 제스처를 수행하는 동안 고해상도 표면 근전도(sEMG) 신호를 캡처합니다. 피험자는 컴퓨터 디스플레이에 무작위 순서로 제시된 14개의 서로 다른 손가락 제스처를 수행합니다(4). EMG 데이터는 데이터 수집 장치(DAU, 1)에서 개인용 컴퓨터(PC)로 무선으로 스트리밍됩니다. 동시에 손가락 관절 각도를 나타내는 손 운동학 데이터(HKD)는 손 추적 카메라(2)를 사용하여 캡처됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

2. 데이터 수집 장치 설정

1. https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git 에서 Github 저장소를 열고 설치 섹션의 자세한 지침을 따릅니다. finger_pose_estimation/data_acquisition 폴더에서 기본 Python 파일 data_collection.py 찾습니다. 이를 사용하여 실험을 실행하고, 스크립트 spectrogram.py 사용하여 실험이 시작되기 전에 EMG 신호 품질을 평가하고, 스크립트 data_analysis.py 신호 필터링 및 세분화를 위해 사용됩니다.
2. 각 세션 전에 EMG DAU(데이터 수집 장치)가 완전히 충전되었는지 확인하고 전원을 켭니다.
3. 전용 애플리케이션을 사용하여 Bluetooth를 통해 DAU를 PC에 연결합니다. Bluetooth 통신 속도를 500초(S/s)로 설정합니다.
4. PC에 핸드 트래킹 카메라의 소프트웨어를 설치하고 엽니다. 케이블을 사용하여 손 추적 카메라를 PC에 연결합니다.
5. 한 화면을 사용하여 핸드 트래킹 카메라 소프트웨어를 항상 표시할 수 있습니다. 이렇게 하면 지휘자와 참가자는 실험 중에 카메라가 손을 올바르게 인식하는지 확인할 수 있습니다.

3. 참가자 준비

1. 소개 및 동의
   1. 참가자에게 연구의 관련성과 실험 절차를 간략하게 설명합니다. 인간과 관련된 연구에 대한 기관 지침에 따라 정보에 입각한 동의를 얻습니다.
2. 전극 배치
   1. 참가자에게 강한 주먹을 쥔 후 오른손을 구부리도록 지시합니다. 참가자가 몸을 구부리는 동안 근육을 따라 부드럽게 눌러 팔뚝을 촉진하여 근육 활성화가 가장 두드러지는 지점을 식별합니다. 이 위치는 수축 중에 근육이 부풀어 오르는 부위를 느끼면 쉽게 식별할 수 있습니다.
   2. 선택 사항: 알코올 섬유가 없는 천, 프렙 젤 또는 물과 비누로 청소하여 식별된 피부 부위를 준비합니다. 해당 부위를 자연 건조시키십시오. 알코올로 과도하게 청소하면 피부가 건조해질 수 있으므로 피하십시오. 이 단계는 선택 사항입니다. 토론 섹션을 참조하십시오.
   3. EMG 전극 어레이에서 흰색 보호층을 벗겨내고 3.2.1단계에서 결정한 대로 식별된 팔뚝 부위에 전극을 조심스럽게 부착합니다. ( 그림 1 참조). 접착 테이프가 손바닥에 더 가까이 있는지 확인하십시오. 전극 배열을 부드럽게 두드려 피부에 고정합니다.
   4. 전극 어레이가 피부에 부착되면 투명 지지층을 벗겨냅니다.
   5. 전극 어레이 커넥터 카드를 DAU의 커넥터 소켓에 삽입합니다. 전극 옆에 있는 접착 테이프에 DAU를 부착합니다.
   6. 사용자 지정 Python 스펙트로그램 스크립트 Spectrogram.py 실행하여 실시간 신호 품질을 검증할 수 있습니다. 모든 전극에 대한 원시 데이터(왼쪽)와 주파수 영역(오른쪽)을 표시하는 창이 나타납니다(참조는 보충 그림 1 참조).
      1. 모든 전극이 감지되고 제대로 작동하는지, 신호가 과도한 노이즈 및 50Hz 노이즈로 깨끗한지 확인합니다.
      2. 필요한 경우 간섭을 일으킬 수 있는 전자 장치에서 멀리 이동하고 불필요한 장치의 전원을 뽑아 50Hz 소음을 줄입니다. 신호가 안정화될 때까지 기다립니다.
      3. EMG 신호 캡처 확인: 참가자에게 안락의자에 팔꿈치를 올려놓고 손가락을 움직인 다음 긴장을 풀도록 지시합니다. 명확한 EMG 신호가 표시되고 정적 베이스라인 노이즈가 표시되는지 확인합니다.
      4. 신호 확인이 완료되면 스크립트를 닫습니다.
3. 제스처 및 손 위치 검토
   1. Finger_pose_estimation > Data_acquisition 클릭하여 이미지 폴더를 엽니다. 참가자와 함께 제스처 이미지를 검토합니다.
   2. 각 동작을 이해하고 정확하게 수행할 수 있는지 확인하십시오. 참가자에게 네 가지 손 위치를 명확하게 설명합니다.
   3. 각 세션 전에 참가자에게 손을 잡는 방법을 지시하여 올바른 자세와 위치를 확인합니다.
4. 참가자 및 카메라 포지셔닝
   1. 손 위치 1의 경우 참가자에게 테이블에서 약 1m 떨어진 곳에 똑바로 서도록 지시합니다. 참가자에게 손바닥이 손 추적 카메라를 향하도록 오른손을 곧고 편안하게 잡도록 지시합니다. 셀카봉으로 테이블 위에 핸드 트래킹 카메라를 고정하고 참가자의 손을 향하도록 합니다.
   2. 손 위치 2의 경우 참가자에게 모니터에서 40-70cm 떨어진 안락의자에 편안하게 앉도록 지시합니다. 참가자에게 편안한 손바닥이 손 추적 카메라를 향하도록 오른손을 90° 앞으로 뻗도록 지시합니다. 필요한 경우 지지 장치를 사용하여 손을 안정적으로 잡으십시오. 핸드 트래킹 카메라를 위를 향하도록 테이블 위에 놓습니다.
      참고: 참가자는 고정된 자세를 유지해야 하므로 세션 내내 유지할 수 있는 편안한 자세를 찾는 것이 중요합니다.
   3. 손 위치 3의 경우 참가자에게 3.4.2단계에 설명된 대로 앉도록 지시합니다. 참가자에게 팔꿈치를 안락의자에 올려놓은 상태에서 손을 위로 접도록 지시합니다. 손바닥은 이완되어야 하며 참가자는 손 추적 카메라를 향해야 합니다. 참가자의 손을 향하도록 테이블 위에 손 추적 카메라를 고정합니다(필요한 경우 셀카봉 사용). 참가자의 위치가 화면을 보는 것과 카메라의 시야 내에 있는 것 모두에 최적인지 확인합니다.
   4. 실험 전반에 걸쳐 카메라가 손과 손가락을 감지하는지 확인하기 위해 손 추적 데이터를 표시하는 화면을 지속적으로 모니터링합니다. 선택 사항: 실험을 시작하기 전에 각 손 위치에서 EMG 신호 품질을 확인합니다(3.2.6단계).

4. 데이터 수집

1. 실험 실행
   1. Python을 열고 data_collection.py 로드합니다. 매개 변수 num_repetition, gesture_duration rest_duration가 원하는 대로 설정되었는지 확인합니다.
      1. num_repetition: 각 제스처 이미지가 표시되는 횟수를 정의합니다. 이 실험에서는 각 이미지가 7번 표시된다는 의미인 7로 설정합니다. gesture_duration: 참가자가 손 제스처를 수행하는 지속 시간(s)을 지정합니다. 이 실험에서는 5초로 설정하여 각 제스처 이미지가 표시되는 시간을 결정합니다. Rest_duration: 참가자가 제스처 사이에 손바닥을 이완하는 시간(s)을 지정합니다. 이 실험에서는 3초로 설정합니다.
   2. 핸드 트래킹 카메라 위치와 각도를 참가자의 손 위치에 맞게 조정합니다.
   3. data_collection.py 스크립트를 실행합니다. 참가자의 세부 정보(일련 번호, 연령, 성별, 세션 번호 및 손 위치)를 입력하는 창이 나타납니다. 이 정보를 입력하고 확인을 눌러 실험을 자동으로 시작합니다.
2. 데이터 수집
   1. 각 세션에 대해 자동으로 저장되는 EMG 및 핸드 트래킹 데이터를 기록합니다. 각 참가자에 대해 손 위치당 한 번씩 실험을 4회 반복합니다.

5. 실험 종료 및 실험 후 데이터 처리

1. 실험이 완료되면 데이터가 자동으로 저장됩니다. 참가자의 일련 번호가 표시된 폴더에 데이터가 저장되어 있는지 확인합니다. 각 세션은 S#(예: S1)이라는 하위 폴더에 저장되며, 각 핸드 위치 P#(P1, P2, P3 및 P4)에 대한 4개의 하위 폴더가 있습니다. 단일 세션의 폴더 크기는 약 160MB입니다.
2. 참가자가 여러 세션을 완료하는 경우 모든 데이터가 해당 세션 폴더(예: S1, S2)에 저장되었는지 확인합니다.
3. 데이터 파일
   각 핸드 위치 폴더(P#)에 다음 파일이 포함되어 있는지 확인합니다. EDF 파일에 저장된 EMG 데이터(fpe_pos{위치 번호}_{주제 번호}_S{세션 번호}_rep0_BT; CSV 파일에 저장된 핸드 트래킹 데이터(fpe_pos{포지션 번호}_{주제 번호}_S{세션 번호}_rep0_BT_full; 및 세션에 대한 메타데이터를 포함하는 로그 파일 log.txt.
4. 데이터 처리
   참고: 사용자는 신호 분석을 진행하는 방법과 사용할 도구를 선택할 수 있습니다. 여기에서는 Python에서 신호 필터링 및 데이터 분할을 수행하기 위한 스크립트를 제공합니다. Python을 사용하는 경우 모든 종속성(예: Numpy, Pandas, SciPy, MNE, Sklearn)이 설치되어 있는지 확인합니다.
   1. Python을 열고 data_analysis.py 로드한 다음 스크립트를 실행합니다.
   2. 데이터 처리에 필요한 매개 변수를 제공하기 위해 콘솔에 요청이 표시됩니다: EMG 파일 경로, 손 운동학 데이터 경로, 처리된 데이터가 저장될 경로, 샘플링 속도(Hz), 창 지속 시간(ms), 보폭 간격(ms).
   3. 이 단계에 따라 스크립트는 데이터 처리를 수행합니다.
   4. EMG 신호 필터링: 위와 같이 스크립트를 실행합니다. 이 스크립트는 먼저 20Hz 컷오프가 있는 4차 버터워스 고역 통과 필터를 적용하여 EMG가 아닌 신호를 제거한 다음 노치 필터를 적용하여 50Hz 및 100Hz 고조파를 제거하여 sEMG 신호를 필터링합니다. 또한 스크립트는 EMG 신호의 정규화를 적용합니다.
   5. EMG, HKD 데이터 및 지시된 제스처 세분화: 위와 같이 스크립트를 실행합니다. 이 스크립트는 지정된 창 지속 시간 및 보폭 간격으로 정의된 롤링 윈도우 기술을 활용하여 세분화를 적용합니다. 이 실험에서는 각각 512 및 2ms로 설정합니다. 그런 다음 스크립트는 전극 어레이 레이아웃을 유지하면서 sEMG 채널 조직을 4 x 4 공간 그리드 구성으로 변환합니다. 마지막으로 스크립트는 메타데이터를 포함하는 사전을 피클 파일로 생성합니다.
   6. 데이터 정리 및 유효성 검사 단계
      1. 아티팩트, 노이즈 또는 일관되지 않은 제스처 레이블이 포함된 세그먼트를 식별하고 데이터 세트에서 제외합니다.
      2. 데이터 신뢰성을 유지하기 위해 창 전반에 걸쳐 세그먼트 완전성과 시간적 연속성을 보장합니다.
      3. 일관성을 위해 HKD에 대한 제스처 데이터를 교차 확인합니다. HKD 세션 표준에서 벗어나는 제스처 패턴을 표시하는 창을 제거합니다.
      4. 세션에 대해 예상되는 운동학적 패턴을 따르지 않는 이상치 세그먼트를 감지하고 폐기합니다.
      5. 고급 알고리즘을 사용하여 추가 데이터 분석을 수행합니다. 현재 프로토콜에서는 제공되지 않습니다.

결과

데이터 세트는 16채널 EMG 데이터 세트와 핸드 트래킹 카메라 시스템의 데이터라는 두 가지 시간 동기화 구성 요소로 구성됩니다. 16채널 EMG 데이터는 시간이 지남에 따라 다른 근육의 전기 신호를 기록하여 근육 활동을 캡처합니다. 손 추적 시스템은 손의 골격 모델의 핵심 포인트에 해당하는 16개의 데이터 채널을 제공합니다. 모델에는 손목을 제외한 21개의 포인트가 있지만 모션 제약 조건²⁴로 인해 이 숫자가 16개로 줄었습니다. EMG 및 시각 데이터는 동기화를 설정하기 위해 기록하는 동안 동일한 컴퓨터에서 두 개의 별도 프로세스를 실행하여 수집되었습니다. 타임스탬프를 사용하여 각 프로세스의 시작을 표시하여 데이터 분석 코드가 기록이 끝날 때 근육 활동과 손 움직임 데이터를 정렬할 수 있도록 했습니다. 타임스탬프 주석은 EDF 및 CSV 파일 모두에 자동으로 저장되어 특정 손가락 제스처가 지시된 정확한 시간을 표시하고 데이터 분석 중 정렬을 용이하게 했습니다. 필터링된 EMG 신호(20Hz 4차 버터워스 고역 통과 필터)는 일반적으로 3-9μV²⁵ 범위에 속하는 낮은 기준선(회색 음영 영역)이 특징입니다. 이 기준선은 피험자의 손이 정지해 있고 근육이 쉬고 있을 때 관찰됩니다. 그러나 휴식 자세에서도 근육 긴장도가 존재하면 뚜렷한 EMG 신호를 감지할 수 있습니다. 움직임으로 인한 기계적 아티팩트는 일반적으로 10-20Hz 범위에서 나타나므로 그에 따라 필터링해야 합니다. 기준선 값이 크게 상승하면 50Hz 라인 간섭을 나타낼 수 있으므로 실험 설정 단계에서 피해야 합니다. 적당한 50Hz 소음이 지속되는 경우; 노치 필터가 적용됩니다. 제거하기가 더 어려운 날카로운 움직임 아티팩트는 종종 신호에서 뚜렷한 고진폭 스파이크로 나타납니다( 그림 2A의 별표 참조). 16전극 어레이에 걸친 EMG 신호의 진폭은 측정된 영역에 대한 근육 활동의 공간적 분포를 반영하여 다양합니다. 이러한 차이는 손 제스처 중 근육 수축의 이질성에 대한 귀중한 통찰력을 제공합니다.

손 추적 카메라는 기록된 EMG 신호와 밀접한 상관 관계가 있을 것으로 예상되는 손가락 각도(손 운동학 데이터, HKD)에 대한 직접적인 정보를 제공합니다. 제스처 중에 특정 제스처에 따라 정상 범위²⁶의 손가락 각도가 조정됩니다. 손 추적 카메라와 손 사이의 가시 경로가 방해받지 않으면 그림 2에서 볼 수 있듯이 결과 신호가 안정적이고 정확합니다. 그러나 시각적 접촉이 끊어지거나 시스템에 기술적 제한이 있는 경우 HKD가 불규칙해져서 잘못된 값 사이의 점프가 표시될 수 있습니다. 이러한 이상치 데이터는 데이터 수집 중에 최소화하고 결과의 무결성을 유지하기 위해 최종 분석에서 폐기해야 합니다.

HKD는 직관적이며 수행된 실제 제스처와 직접 비교할 수 있습니다. 피사체 간과 다른 손 위치에 걸쳐 낮은 변동성을 나타냅니다. 반면, 근전도 데이터는 손의 크기와 근육 발달과 같은 해부학적 차이로 인해 개인마다 크게 달라지는 경향이 있다²⁷. 또한, 지배적인 핸드와 비주로 사용하는 핸드 사이에 변동성이 관찰될 수 있습니다. 이러한 주제별 변동성은 오프라인 분석 중에 해결할 수 있습니다.

그림 2에서는 EMG와 HKD가 모두 지시된 제스처 트리거에 대해 오프셋되어 있음이 분명합니다. 이러한 불일치는 응답 시간과 자연스러운 움직임 실행으로 인해 발생합니다²⁸. 회귀 작업에서는 이러한 변동성이 데이터의 풍부함에 기여할 수 있는 반면, 분류 작업에서는 유사한 시나리오²⁸에 적용된 것처럼 일반화된 우도 비율 접근 방식을 사용하여 관리할 수 있습니다.

그림 2: 손가락 외전 중 대표적인 sEMG 및 HKD. 단일 참가자가 손 위치 1(손을 내리고, 곧게 펴고, 이완)하는 동안 수행되는 동적 손가락 외전 및 휴식 중에 기록된 표면 근전도(sEMG) 신호 및 손 운동학 데이터(HKD). (A) 시간 함수로 16개 채널에서 필터링된 EMG 신호. 별표(*)는 채널 5의 EMG 기록에서 감지된 기계적 인공물을 나타냅니다. (B) HKD, 관절 각도를 시간의 함수로 보여줍니다. 관절 각도는 승모근중수골(TMC), 중수골(MCP) 및 근위부 지절간(PIP)의 다양한 관절에서 측정됩니다. 실험 단계(휴식 및 납치)는 x축을 따라 표시됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

이러한 대표적인 결과는 손 제스처를 캡처하는 데 동기화된 EMG 및 HKD 데이터의 유용성을 보여주었습니다. EMG 신호를 해당 HKD와 정렬하면 근육 활동을 특정 손가락 움직임에 매핑할 수 있습니다. 예측 모델을 구성할 때 연구원은 HKD를 실측 자료로 사용하여 EMG 기반 제스처 예측을 반복적으로 검증하고 개선할 수 있습니다. 이 접근법은 프로토콜의 실질적 적용 가능성을 강조하고 보다 자연스러운 환경에서 추가 연구의 필요성을 시사합니다.

보충 그림 1: 신호 검증 단계 중에 표시되는 스펙트로그램 창. 왼쪽 패널에는 원시 EMG 데이터가 표시되고 오른쪽 패널에는 감지된 주파수 영역이 표시됩니다. (A) 50Hz 및 100Hz 간섭이 강한 매우 잡음이 많은 EMG 신호의 예. (B) 참가자를 전기 장치에서 더 멀리 이동시킨 후 동일한 EMG 신호를 기록하여 간섭을 최소화한 깨끗한 EMG 신호를 얻은 예. 이 파일을 다운로드하려면 여기를 클릭하십시오.

토론

이 연구에서 제시된 프로토콜은 sEMG 신호와 HKD의 조합을 통해 손 제스처 인식을 향상시키는 것을 목표로 하는 중요한 단계, 수정 및 문제 해결 전략을 간략하게 설명합니다. 주요 제한 사항을 해결하고 이 접근 방식을 기존 대안과 비교하여 다양한 연구 영역에서의 잠재적인 응용 프로그램을 강조합니다. 프로토콜의 가장 중요한 측면 중 하나는 손 추적 카메라의 올바른 위치 및 정렬을 보장하는 것입니다. 정확한 제스처 캡처는 참가자의 손을 기준으로 한 카메라의 각도와 거리에 따라 크게 달라집니다. 카메라 포지셔닝에서 약간의 편차만 있어도 추적의 부정확성으로 이어져 제스처 데이터의 충실도가 떨어질 수 있습니다. 이 정렬은 일관되고 신뢰할 수 있는 데이터 수집을 보장하기 위해 각 참가자와 손의 위치에 맞게 신중하게 조정해야 합니다. 또한 참가자가 제스처가 잘못 실행되거나 실험 흐름과 잘못 정렬되는 정크 데이터를 방지하기 위해 프로토콜에 대해 잘 알고 있는 것이 중요합니다. 참가자가 제스처와 실험 설정에 익숙하고 익숙한지 확인하면 데이터 노이즈를 최소화하고 녹음 품질을 향상시킬 수 있습니다.

이러한 유형의 연구에서 일반적인 문제는 sEMG와 HKD 모두에서 소음 오염입니다. sEMG 신호는 근육 피로, 모션 아티팩트 및 전자기 간섭과 같은 환경 노이즈와 같은 요인에 특히 민감합니다. 대역 통과 필터링과 같은 전처리 기술은 노이즈를 줄이고 신호 선명도를 개선하는 데 필수적입니다. 전극을 적절하게 배치하고 참가자에게 휴식 단계에서 이완된 근육을 유지하도록 지시하면 모션 아티팩트를 더욱 완화할 수 있습니다. 이러한 예방 조치에도 불구하고 해부학, 손의 강도 및 근육 활성화 패턴의 개인차로 인해 sEMG 신호의 일부 변동은 불가피합니다. 이러한 가변성은 피험자와 조건에 따라 이러한 차이를 정규화할 수 있는 유연한 알고리즘을 통해 해결할 수 있습니다.

고품질 sEMG 신호를 얻기 위한 핵심 요소는 초기 신호 검증입니다. 겔 전극을 사용하는 기존 프로토콜은 신호 선명도를 개선하기 위해 각질 제거 또는 알코올로 세척하는 것과 같은 피부 준비가 필요했습니다. 그러나 이전 연구에서는 건조한 전극의 경우 피부 준비가 신호 품질에 큰 영향을 미치지 않을 수 있음을 보여주었습니다²⁵. 이 프로토콜에서 피부 청소는 선택 사항이므로 프로세스를 단순화합니다. 신호 품질에 영향을 미치는 또 다른 피부 관련 문제는 과도하고 두꺼운 팔 털입니다. 이러한 경우 해당 부위를 면도하거나 연구에서 피험자를 제외하는 것이 좋습니다.

제스처 인식을 위해 sEMG를 사용할 때 중요한 문제 중 하나는 손 위치에 대한 민감도입니다. 동일한 제스처를 수행하더라도 손 방향의 변화로 인해 다른 EMG 신호 패턴이 발생할 수 있습니다. 이 문제를 해결하기 위해서는 손 위치의 가변성을 수용할 수 있는 기계 학습 모델이 필수적입니다²². 이러한 모델은 견고성과 일반화 가능성을 개선하기 위해 여러 손 자세의 데이터로 훈련되어야 합니다. 시각 데이터와 sEMG 데이터의 동기화는 또 다른 중요한 고려 사항입니다. 제스처 실행과 데이터 기록 간의 불일치를 방지하기 위해 제스처의 일관된 타이밍이 중요합니다. 이 프로토콜은 시각적 카운트다운 및 청각 신호를 사용하여 데이터 수집 중 정렬 불량을 수정하기 위해 필요한 경우 정확한 타이밍 및 재보정 단계를 사용하도록 합니다.

장점에도 불구하고 이 프로토콜에는 몇 가지 제한 사항이 있습니다. 한 가지 주요 제약 조건은 손 추적 카메라의 제한된 시야로, 참가자의 손이 카메라의 감지 범위 내에 있어야 합니다. 이렇게 하면 분석이 작은 움직임 세트로 제한됩니다. 실험실 밖 실험의 경우 더 복잡한 비디오 이미징이 필요하거나 스마트 장갑을 사용해야 합니다. 참가자의 피로는 또한 긴 세션 동안 문제를 일으키며, 잠재적으로 제스처 정확도와 근육 활성화에 영향을 미쳐 sEMG 데이터의 품질을 저하시킬 수 있습니다. 이러한 영향을 완화하려면 세션 길이를 제한하거나 휴식을 도입하여 피로를 최소화해야 할 수 있습니다. 또한 전력선 간섭은 특히 참가자가 데이터 캡처를 위해 PC에 가까이 있을 때 sEMG 신호에 노이즈를 도입할 수 있습니다. 시스템의 무선 버전은 참가자가 컴퓨터에서 더 멀리 떨어질 수 있도록 함으로써 이러한 간섭을 줄일 수 있습니다.

EMG 기반 손가락 제스처 감지의 중요한 방법론적 한계는 sEMG 신호의 높은 주제 간 변동성에서 비롯되며, 이를 위해서는 각 참가자에 대한 맞춤형 모델 개발이 필요합니다. 이 주제별 접근 방식은 더 정확하지만 프로토콜의 확장성을 제한하고 새로운 사용자마다 추가 보정 및 교육 시간이 필요합니다. EMG 및 HKD 데이터 스트림은 이중 프로세스 기록으로 인해 약간의 시간 동기화 차이를 보여줍니다. 이러한 타이밍 불일치는 유지된 포즈가 시간적으로 안정적이기 때문에 정적 제스처 분석에 최소한의 영향을 미칩니다. 정적 제스처의 지속적인 특성은 보다 정확한 동기화가 필요한 동적 제스처와 달리 EMG 및 운동학적 기능이 모두 안정화될 수 있는 충분한 시간을 제공합니다.

이 방법의 주요 장점은 제스처를 캡처할 수 있다는 것입니다. 엄격한 설정과 엄격한 제스처 매개변수를 필요로 하는 다른 시스템과 달리, 이 프로토콜은 동적이고 유연한 손 위치를 수용한다¹⁹. 이러한 유연성은 광범위한 모션을 분석하는 것을 목표로 하는 연구에 특히 유용하며, 이를 통해 실제 응용 분야에 더 잘 적용할 수 있습니다. 더욱이, 이 프로토콜은 종종 복잡한 설정을 포함하는 고급 모션 캡처 및 sEMG 시스템에 비해 비용 효율적입니다²⁹. 손 추적 카메라와 반자동 sEMG 알고리즘을 통합함으로써 이 방법은 데이터 품질을 손상시키지 않으면서 제스처 인식 연구를 위한 실행 가능한 대안을 제공합니다. 또한 실시간 데이터 처리에 대한 시스템의 잠재력은 실시간 응답성이 필수적인 신경 보철 및 재활과 같은 응용 분야에서 즉각적인 피드백을 제공할 수 있는 가능성을 열어줍니다. 이 프로토콜은 여러 분야, 특히 신경 보철에 중요한 영향을 미칩니다. sEMG 신호에서 손 제스처를 정확하게 예측하는 것은 의수를 제어하는 데 매우 중요하며, 이 방법이 제공하는 손 위치의 유연성은 실시간 보철 장치에 이상적인 후보입니다. 재활에서 이 프로토콜은 손이나 손가락 장애가 있는 환자의 운동 회복을 모니터링하고 향상시키는 데 사용할 수 있습니다. 제스처 수행 중 근육 활성화 패턴을 분석함으로써 이 시스템은 개인의 필요에 맞게 재활 운동을 조정하고 운동 회복에 대한 개인화된 접근 방식을 제공하는 데 사용할 수 있습니다. 인간-컴퓨터 상호 작용(HCI)의 경우 이 방법을 사용하면 보다 자연스러운 제스처 기반 제어 시스템을 구현하여 사용자 인터페이스의 직관성과 효율성을 향상시킬 수 있습니다. 마지막으로, 이 프로토콜은 인체 공학 연구에 적용되어 다양한 손의 위치와 제스처가 근육 활동과 피로에 어떤 영향을 미치는지 평가할 수 있으며, 잠재적으로 작업장 디자인 및 사용자 인체 공학의 발전으로 이어질 수 있습니다.

참가자 간에 일관된 수축 강도를 보장하기 위해 향후 연구에서는 힘에 민감한 저항기가 있는 장갑을 구현하여 힘을 직접 측정할 수 있습니다. 이를 통해 피험자 전반에 걸쳐 표준화된 노력을 기울일 수 있어 EMG 데이터의 신뢰성이 향상됩니다. 또한 이 힘 측정을 관절 운동학의 레이블로 통합하면 근육의 내부 상태를 보다 자세히 표현할 수 있어 근육 기능 및 움직임 패턴에 대한 분석을 풍부하게 할 수 있습니다. 이 접근 방식은 데이터 일관성을 향상시킬 뿐만 아니라 근육 수축과 관절 움직임 사이의 관계에 대한 더 깊은 통찰력을 제공합니다.

결론적으로, 이 프로토콜은 신경 보철, 재활, HCI 및 인체 공학 전반에 걸쳐 광범위한 응용 프로그램을 통해 손 제스처 인식에 대한 새롭고 유연한 접근 방식을 제공합니다. 이 시스템에는 한계가 있지만 유연성, 비용 효율성 및 실시간 사용 가능성은 기존 방법에 비해 상당한 발전을 나타냅니다. 이러한 강점으로 인해 제스처 인식 기술의 추가 개발 및 혁신을 위한 유망한 도구가 됩니다.

자료

Name	Company	Catalog Number	Comments
Adjustable Selfie Stick			Used to position and angle the hand-tracking camera in the desired orientation for optimal data capture during the experiment.
Alcohol pad			To clean the area for electrode placement.
Data acquisition unit (DAU)	X-trodes Ltd.	XTR-BT V1.3	Realtime compatible DAU 2.0.17 or 4.0.1
Finger Gestures Recognition library			https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2	Ultraleap	129-SP4-00005-03	Hand-tracking camera
Long Type-C to Type-C cable			Connection of the hand-tracking camera to the PC.
PC Monitors			One for guidelines, one for viewing the hand-tracking camera data
Personal Computer (PC)	Windows		Windows 10+; Processors: Inteli7 processor. BT receiver.
Python code			A script enabling seamless data streaming and recording up to 500 S/s when DAU is connected to PC via Bluetooth
Ultraleap Camera Python API	Ultraleap		Python API and instructions from Ultraleap’s GitHub repository (https://github.com/ultraleap/leapc-python-bindings) used to collect data from the Ultraleap unit during the experiment
Ultraleap Hyperion	Ultraleap		Tracking software
XTR EXG16	X-trodes Ltd.	XTELC0003405RM	16-channel wearable dry electrode array patch for EMG, ECG monitoring
X-trodes PC App	X-trodes Ltd.	1.1.35.0	An application for connecting X-trodes DAU to PC via BT