가상 현실에서의 일상 생활 움직임 모션 캡처 시스템의 기구학을 측정

요약

우리는 모션 캡처 시스템 일상 생활 (IADL)의 기 악 활동을 평가 하기 위해 가상 현실 테스트를 설계. 우리는 다양 한 움직임, 궤적, IADL 기능 평가를 완료 시간과 이동 거리를 포함 하 여 참가자의 해석에 대 한 자세한 운동학 분석을 제안 합니다.

초록

일상 생활 (IADL)의 기 악 활동을 완료 하는 무 능력은 다양 한 신경 심리적 질병에 선구자. IADL의 평가 설문지 기반 사용 하기 쉽습니다 하지만 주관적인 편견 하는 경향이 있습니다. 여기, 우리는 2 개의 복잡 한 IADL 작업을 평가 하기 위해 소설 가상 현실 (VR) 테스트 설명: 금융 거래를 처리 하 고 대 중 교통을 사용 하 여. 참가자 VR 환경에서 작업을 수행 하는 동안 모션 위치와 방향을 지배적인 손 및 머리는 3 차원 데카르트 좌표계에서의 시스템 추적을 캡처합니다. 운동학 적 원시 데이터 수집 되 고 ' 운동학 성능 측정,' 즉, 변환 모션 궤도, 이동 거리, 및 완료 시간. 모션 궤도 공간에서 특정 신체 일부 (예:, 지배적인 손 또는 머리)의 경로입니다. 궤적의 총 거리를 참조 거리를 이동 그리고 완료 시간 IADL 작업을 완료 하는 데 걸리는 시간. 운동학이 측정 건강 한 컨트롤에서 인지 장애 환자 차별 수 있습니다. 이 동 측정 프로토콜의 개발 초기 IADL 관련 인지 장애의 감지 수 있습니다.

서문

매일 (IADL)와 같은 금융 거래 처리, 대 중 교통을 사용 하 여, 요리, 의료 마커 때문에 그들은 여러 신경 심리적 기능¹필요 생활의 경 음악 활동. 장애인된 IADL 기능 따라서 신경 질병, 가벼운 인지 장애 (MCI) 등 치 매²에 선구자 이라고 여겨진다. 골드의 종합적인 검토 IADL 작업³ 의 표시 인 더 까다로운 작업, 재정 관리 등 대 중 교통을 사용 하 여 MCI의 치 매 초기 예측 했다.

날짜 하려면, IADL의 가장 일반적으로 사용 되 평가 각자 보고 질문 지, 정보 기반 설문 조사 및 성능 기반 평가⁴입니다. IADL의 평가 설문지 기반 비용 효율적이 고 사용 하기 쉬운, 하지만 주관적인 편견 하는 경향이 있다. 예를 들어, 자기 보고, 환자는 경향이에 이상-또는 아래-estimate 자신의 IADL 기능⁵. 마찬가지로, 정보는 관찰자의 misperceptions 또는 지식 격차⁴IADL 기능을 잘못 판단. 많은 작업은 일반적인 임상 설정⁶에 대 한 적절 한 따라서, IADL 특정 작업을 수행 하는 환자에 게 성능 기반 평가 선호 되었습니다.

최근, 가상 현실 (VR) 연구가이 기술 의학 및 의료 평가⁷재활 훈련에서 모든 것을 포함 하는 건강 관리에 중요 한 응용 프로그램에 있을 수 있었다는 것으로 나타났습니다. 모든 참가자는 동일한 조건 VR, 현실 세계를 모방을 테스트할 수 있습니다. 예를 들어, 얼 레인 외. ⁸ 가상 커피 만들기 작업을 개발 하 고 인지 장애를 가진 환자는 작업 제대로 수행 했다. Klinger 외. ⁹ 다른 VR 환경 메일링 및 작업 쇼핑에 대 한 개발과 신경 심리적 시험 결과 및 VR에서 작업 완료 시간 사이의 의미 있는 관계를 발견. 마우스와 키보드^8,9등 기존의 입력된 장치를 사용 하 여 때 IADL 평가의 이전 VR 연구는 주로 반응 시간이 나 정확도 등 간단한 성능 측정에 집중 됩니다. IADL에 대 한 자세한 성능 데이터 따라서 MCI⁴환자에 대 한 화면을 효율적으로 필요 합니다.

실시간 모션 캡처 데이터의 운동학 적 분석은 양적 문서 IADL 작업과 관련 된 자세한 성능 데이터를 강력한 접근 이다. 예를 들어 화이트 외. ¹⁰ 일상 생활 작업 동안 참가자의 관절 각도 데이터를 캡처하고 캡처한 데이터 양적 물리 치료의 효과 평가 하기 위해 사용 하는 가상 부엌 개발. Dimbwadyo-Terrer 외. ¹¹ 일상 생활의 기본 작업을 수행 하는 경우 상 지 성능을 평가 하는 몰입 형 VR 환경 개발과 운동학 데이터 어퍼 사지의 기능 비늘으로 매우 상관 VR 환경에서 기록 했다. 모션 캡처 시스템 이러한 운동학 분석 더 신속 하 게 환자의 인지 장애¹²를 평가 하는 기회를 제공할 수 있습니다. MCI 환자에 대 한 심사에 상세한 운동학 적 데이터의 포함은 크게 건강 한 컨트롤¹³에 비해 환자의 분류를 개선.

여기, 우리 일상 생활 운동 몰입 형 VR 환경에서 모션 캡처 시스템의 기구학을 평가 하기 위해 프로토콜을 설명 합니다. 프로토콜 구성 두 복잡 한 IADL 작업: "작업 1: 돈을 인출" (금융 거래 처리) 및 "작업 2: 버스를 타고" (대 중 교통을 사용 하 여). 작업은 수행 하는 동안 모션 캡처 시스템 위치와 지배적인 손 및 머리의 방향을 추적. 작업 1을 완료, 지배적인 손 궤적, 이동 거리, 및 완료 시간 수집 했다. 작업 2에서 머리 궤적, 이동 거리, 및 완료 시간 수집 했다. 이 문서에서는 대표적인 결과 섹션 내용을 MCI 환자의 예비 시험 (즉, IADL 기능은 장애인)에 비해 건강 한 컨트롤 (즉, IADL 기능은 그대로).

프로토콜

여기에 설명 된 모든 실험 절차 (HYI-15-029-2) 헬싱키의 선언에 따라 제도적 검토 보드의 한 양 대학에 의해 승인 되었다. 6 건강 한 컨트롤 (4 남성 및 2 명의 여성)와 6 MCI 환자 (3 남성 3 여성)는 3 차 의료 센터, 한 양 대학 병원에서에서 채용 했다.

1. 참가자 모집

1. (즉, 장애인된 IADL 기능) MCI 환자와 건강 한 컨트롤 (즉, 정상적인 IADL 기능) 70-80 세를 모집 합니다.
2. 10 년 임상 경험의 신경과의 도움으로 환자의 병력을 검토 하 고 신경/정신 질환 또는 뇌 수술의 역사를 가진 환자를 제외 합니다.
   참고: 사용 하 여 다음 신경 심리적 시험: 소형 정신 상태 검사-치 매 검사, 한국어 경 음악 활동의 일상 생활, 자유 및 상기 테스트, 숫자 범위 테스트-앞 으로/뒤로, 트레일 만들기 테스트-A/B^{13 Cued 선택적} , 그리고 알 버트 외 의 기준 MCI 진단 ¹⁴ 입니다.

2. VR 소프트웨어를 설치 하 고 컴퓨터를 연결

1. 그림 1과 유사한 전용된 룸에 하드웨어를 설치. 룸 크기 몰입 형 가상 환경에서 (2.5 x 2.5 m³x 4)이이 프로토콜을 수행 4 컴퓨터, 4 입체 3 차원 (3D) 프로젝터, 및 8 모션 추적 카메라 위치와 방향을 지배적인 손의 추적을 포함 하 고 머리 두 IADL 작업 중입니다.
   참고:이 문서에 사용 되는 VR 기술은 컴퓨터 하드웨어 및 소프트웨어는 현실적인 개체 및 이벤트 제공 될 수 있는 가상 환경에 몰입 하 고 인터랙티브 3D 경험을 제공 하는. 하드웨어 및 소프트웨어의 세부 자료 테이블에 설명 되어 있습니다.
2. 모든 컴퓨터 (Visual Studio 2012 재배포 가능 패키지 (x86), DirectX, MiddleVR, 또는 동등한) 필요한 소프트웨어를 갖추고 있는지 확인 합니다. MiddleVR, 즉, 미들웨어 소프트웨어, 입력된 장치, 월, 클러스터링, 및 상호 작용에 대 한 라이브러리의 최신 버전을 얻으려면 웹사이트¹⁵ 확인.
3. 입체 3D 프로젝터를 컴퓨터를 연결 합니다. 그래픽 설정은 1920 x 1080 픽셀의 해상도입니다.
4. 4 컴퓨터를 홈 네트워크에 연결 하는 Windows 10 홈 그룹을 만듭니다. 주 컴퓨터에 폴더를 만들고 다른 홈 컴퓨터와 공유 합니다.
5. 주 컴퓨터에 미들웨어 소프트웨어를 시작 합니다. "클러스터" 버튼을 클릭 합니다. 서버 및 클라이언트 다른 컴퓨터는 주 컴퓨터를 설정 합니다. 이 모든 디바이스의 상태와 동기화 됩니다. "3D 노드" 버튼을 클릭 합니다. 위치, 방향, 및 가상 환경 화면 크기를 지정 합니다.
6. 웹사이트¹⁵ 에 따라 설정을 완료 하 고 구성 파일을 저장 합니다.

3. 가상 환경에서 모션 캡처 시스템 설정

1. 캡처 볼륨을 완전히 커버 하는 가상 환경에서 8 모션 추적 카메라를 탑재 합니다. 그들은 캡처 동안 고정 된 상태로 유지 되도록 카메라를 안전 하 게 수정 합니다. 개체는 가상 환경에서 항상 적어도 2 대의 카메라에 의해 표시 됩니다 확인 하십시오.
2. OptiTrack 동기 소프트웨어, 즉, 모션 캡처 소프트웨어를 설치 수동¹⁶를 사용 하 여 기본 컴퓨터에 설치 합니다. 카테고리 6 이더넷 케이블 모션 캡처 시스템와 주 컴퓨터를 연결 합니다.
3. 소프트웨어 수동¹⁶에 자세한 다음 단계 모션 캡처 시스템 보정.
   1. 캡처 볼륨에서 모든 외부 반사 또는 불필요 한 표시를 제거 합니다.
   2. 원치 않는 반사 또는 주변 간섭 마스크 "마스크 표시" 버튼을 클릭 합니다.
   3. "시작 Wanding" 버튼을 클릭 합니다. 교정 지팡이 사용 하 여 각각의 위치와 방향을 3 차원 공간에서 계산 하기 위해 샘플 프레임의 캡처를 지 원하는.
   4. 수집 된 샘플을 사용 하 여 시스템 보정에 "계산" 버튼을 클릭 합니다.
   5. (순서에 최악의 최고) 교정 결과 확인: 가난, 박람회, 좋은, 좋은, 우수한, 및 특별. 결과 보다 큰 경우 "적용" 버튼을 클릭 합니다. 그렇지 않으면, "취소" 버튼을 클릭 하 고 wanding 프로세스를 반복 합니다.
   6. 기원 하려는 3D 공간 안에 교정 사각형을 놓습니다. "지 면 설정" 버튼을 추적된 3D 좌표계 원점 설정을 클릭 합니다.
   7. 지배적인 손 및 머리에 대 한 연결 된 반사 마커를 선택 합니다. "강 체" 버튼을 클릭 한 다음 "만들기에서 선택 표시" 버튼을 클릭 합니다.
4. 모션 캡처 소프트웨어, "스트리밍" 메뉴를 엽니다. 나열 된 포트 번호 3883, 인지 확인 하 고 "VRPN 스트리밍 엔진" 카테고리에서 "브로드캐스트 프레임 데이터" 상자를 선택 합니다. "Ctrl" + "S" 교정 파일 저장을 클릭 하십시오.
5. 주 컴퓨터에 미들웨어 소프트웨어를 시작 합니다. "장치"를 클릭 합니다. 모션 캡처 시스템에서 추적 데이터를 얻기 위해 VRPN 추적기를 추가 하 고 구성 파일을 저장 합니다.

4. 사용을 위해 가상 환경 준비

1. 가상 환경에서 모든 반사 개체 (즉, 시계, 반지, 귀걸이, 금속, 등)를 제거 합니다.
2. 컴퓨터, 입체 3D 프로젝터 및 모션 캡처 시스템 (360 프레임 / 초)를 켭니다.
3. 일단 4 컴퓨터를 실행 하는 VRDaemon 소프트웨어를 시작 합니다. 예를 들어 "C:\Program Files (x86) \MiddleVR\bin."에 있는 "VRDaemon.exe"에 더블 클릭
4. 주 컴퓨터에 모션 캡처 소프트웨어를 시작 합니다. 상단 메뉴 "열기 기존 프로젝트." 레이블이 있는 단추를 클릭 합니다 카메라 보정 파일을 로드 합니다.
5. 주 컴퓨터에 미들웨어 소프트웨어를 시작 합니다. "시뮬레이션" 버튼을 클릭 합니다. 공유 폴더에서 적절 한 시뮬레이션 및 구성 파일을 로드 합니다.
6. 미들웨어 소프트웨어에 선택한 시뮬레이션 및 구성 파일 몰입 형 가상 응용 프로그램을 실행 하려면 "실행" 버튼을 누릅니다.

5. 가상 환경 참가자 숙지

1. 입체 안경 무게 약 50 g 참가자를 제공 합니다. 입체 안경의 디스플레이 주파수는 192 Hz. 입체 안경을 편안 하 게 눈과 귀가; 배치 확인 그림 2A참조.
2. 참가자의 지배적인 손 및 머리 1 g 미만의 무게 반사 마커를 부착 합니다. 반사 마커를 단단히; 연결 조심 그림 2B참조. 그들은 자유롭게 움직일 수 있다는 참가자 이나 머리의 움직임을 사용 하 여 가상 환경에서 회전 하 고 지배적인 손 가진 가상 개체를 클릭 하 여. 가상 손 참가자의 검지 손가락;의 위치를 모방 하기 위해 가상 환경에 나타납니다. 그림 3을 참조 하십시오.
3. 참가자가 자유롭게 이동 요청 (즉, 일어, 아래, 왼쪽가 앉아서 오른쪽) VR 환경 자체에 익숙해지도록 하 5 분에 대 한 가상 환경에서. 그럼 참가자가 지배적인 손 가진 가상 개체와 상호 작용 하는 방법에 익숙해지도록 5 분 가상 버튼 클릭 부탁 드립니다. 참가자 한 경우 또 다른 10 분 훈련 세션을 제공 합니다.
4. 참가자 시뮬레이터 병 설문¹⁷VR 질병에 면역 인지 확인 하십시오.
   주의: 동기화 동작 입체 디스플레이에 추적 VR 질병, 불편, 두통, 위 인식, 구역 질, 구 토, 창백, 발한, 피로, 졸음, 방향 감각 상실, 그리고 무관심에 발생할 수 있습니다 발생할 수 있습니다. 참가자의 피로 불평 또는 시뮬레이터 병 점수 너무 높다, 프로토콜을 중지.

6. 수행 "작업 1: 돈을 인출"

주의: 작업 1과 작업 2 월 효과 제거 하려면 시퀀스 맞출.

1. 참가자에 게 작업의 세부 정보를 설명 하 고 제공 하는 가상 환경에서 작업을 완료 하려면 8 작업 단계. 단계는 (1) 삽입 ATM, (2) 선택 '철회' 메뉴, (3) 선택 철회, (4) 빌 종류 선택, (5) PIN (개인 id 번호)을 입력, (6) 확인 옵션을 선택, (7) 제거, 카드 금액에 카드와 (8)에서 돈을 ATM ( 그림 4참조).
2. 주 컴퓨터에 미들웨어 소프트웨어를 시작 합니다. "시뮬레이션" 탭에서 작업 1과 구성 파일에 대 한 시뮬레이션 파일을 선택 합니다. "실행" 단추. "작업 1: 돈을 인출" 가상 환경에서 실행 됩니다.
   참고: 작업 1 파일에 대 한 추가 파일 1에 있는 "작업 1 철수 Money.zip" 칙 참조. 참고 가상 작업 Unity 3D 엔진으로 개발 되었다.
3. 경우는 "작업 1: 돈을 인출"을 다음과 같이 수행할 참가자를 지시 가상 환경에서 실행: "쇼핑을 위한 ATM에서 70, 000 원 (약 60 달러에 해당) 철회 하시기 바랍니다. 노트의 선택 두 가지, 하나 두 10000 및 50000 원 50000 원 주 원 20000 원에 대 한 메모. 거래에 대 한 암호는 오늘날의 날짜입니다. 예를 들어, 실험 수행 11 월 11 일에, PIN는 1111입니다. 제발 추가 참조에 대 한 영수증 계속. "
4. 작업이 완료 되 면 공유 폴더에서 추가 분석을 위해 CSV 파일 (쉼표로 구분 된 값)에 저장 된 운동학 적 데이터를 확인 합니다.
   참고: 동안 모션 캡처 시스템을 사용 하 여 "작업 1: 돈을 인출" 1의 기록 주파수 작업 할 때 위치와 지배적인 손의 방향을 기록 ms.
5. 시작 하기 전에 약 5 분 휴식을 참가자에 게 "작업 2: 버스."

7. 수행 "작업 2: 버스를 타고"

1. 참가자에 게 작업의 세부 사항을 설명 하 고 완료 하는 방법에 지침을 제공 "작업 2: 버스를 타고" 다음과 같이: "버스 정류장에서 기다려 고 대상 버스 이용 하시기 바랍니다. 대상 버스 정보는 특정 줄 번호, 색상, 그리고 대상에 의해 VR 화면에 주어질 것 이다. 대상 버스 도착 하면, 대상 버스의 문 앞에 버스 정류장에서 도보로 해야 합니다. 8 다른 대상 버스 수 무작위로 생성 되며 발표. " 그림 5를 참조 하십시오.
2. 주 컴퓨터에 미들웨어 소프트웨어를 시작 합니다. "시뮬레이션" 탭에서 작업 2와 구성 파일에 대 한 시뮬레이션 파일을 선택 합니다. 다음 "실행" 버튼을 누르면 "작업 2: 버스를 타고" 가상 환경에서 실행 됩니다.
   참고: 작업 2 파일 추가 파일 2에 연결 된 "작업 2 걸릴는 Bus.zip" 파일 참조. 참고 가상 작업 Unity 3D 엔진으로 개발 되었다.
3. 경우는 "작업 2: 버스" 참가자가 버스 정류장에 대기 지시 가상 환경에서 실행 됩니다. 버스 정류장에 도착 하는 버스를 만들기 위해 키보드에서 "스페이스바" 키를 클릭 합니다.
4. 작업이 완료 되 면 공유 폴더에서 추가 분석을 위해 CSV 파일에 저장 된 운동학 적 데이터를 확인 합니다.
   참고: 동안 모션 캡처 시스템을 사용 하 여 "작업 2: 버스를 타고" 1의 기록 주파수 작업 할 때 위치와 머리의 방향을 기록 ms.
5. 프로토콜 완료 됩니다. 참가자는 입체 안경을 제거 하 고 지배적인 손 및 머리에서 반사 마커를 분리 도움이 됩니다.

결과

CSV 파일에서 "작업 1: 돈을 인출" 지배적인 손 궤적, 이동 거리, 및 완료 시간을 계산 하는 통계 소프트웨어 R를 사용 하 여 분석 했다. 지배적인 손 움직임의 궤적 시각 이다 (그림 6). 지배적인 손의 이동 거리는 작업 1을 수행 하는 동안 순차적인 손 위치 사이 총 거리를 합산 하 여 계산 됩니다. 위치 사이 거리 유클리드 거리가입니다. 완료 시간 (즉...

토론

우리 일상 생활 움직임 모션 캡처 시스템 몰입 형 VR 환경에서의 운동학 적인 측정 프로토콜 상세. 첫째, 실험 설정, 설정 하는 방법에 가이드 준비, 하 고 몰입 형 가상 현실 환경에 익숙해지도록 참가자. 둘째, 우리는 VR에서 두 표준화 IADL 작업을 개발. 셋째, 단계 3과 단계 5 프로토콜 섹션에서 VR 질병을 최소화 하기 위해 가장 중요 한 단계입니다. 가상 환경 (3 단계)에서 모션 캡처 시스템을 설정할...

자료

Name	Company	Catalog Number	Comments
Computer	N/A	N/A	Computer requirements:                                                            - Single socket H3 (LGA 1150) supports - Intel® Xeon® E3-1200 v3, 4th gen. Core i7/i5/i3 processors - Intel® C226 Express PCH - Up to 32GB DDR3 ECC/non-ECC 1600MHz UDIMM in 4 sockets - Dual Gigabit Ethernet LAN ports - 8x SATA3 (6Gbps) - 2x PCI-E 3.0 x16, 3x PCI-E 2.0 x1, and 2x PCI 5V 32-bit slots - 6x USB 3.0 (2 rear + 4 via headers) - 10x USB 2.0 (4 rear + 6 via headers) - HD Audio 7.1 channel connector by Realtek ALC1150 - 1x DOM power connector and 1x SPDIF Out Header - 800W High Efficiency Power Supply - Intel Xeon E3-1230v3 - DDR3 PC12800 8GB ECC - WD 1TB BLUE WD 10EZEX  3.5" - NVIDIA QUADRO K5000 & SYNC
Stereoscopic 3D Projector	Barco	F35 AS3D WUXGA	Resolution: - WQXGA (2,560 x 1,600) - Panorama (2,560 x 1,080) - WUXGA (1,920 x 1,200), 1080p (1,920 x 1,080)
Stereoscopic Glasses	Volfoni	Edge 1.2	For further information, visit http://volfoni.com/en/edge-1-2/
Motion Capture Systems	NaturalPoint OptiTrack	17W	For further information, visit http://optitrack.com/products/prime-17w/
OptiTrack (Motion capture software)	NaturalPoint OptiTrack	Motive 2.0	For further information, visit https://optitrack.com/downloads/motive.html
MiddleVR (Middleware software)	MiddleVR	MiddleVR For Unity	For further information, visit http://www.middlevr.com/middlevr-for-unity/
VRDaemon (Middleware software)	MiddleVR	MiddleVR For Unity	For further information, visit http://www.middlevr.com/middlevr-for-unity/
Unity3D (Game engine)	Unity Technologies	Personal	For further information, visit https://unity3d.com/unity