Three-Dimensional Mapping of the Rotation of Interactive Virtual Objects with Eye-Tracking Data

요약

우리는 대화형 공간 작업에서 정량적 프로세스 데이터를 기록하고 이러한 회전 데이터를 시선 추적 데이터와 매핑하기 위한 간단하고 사용자 정의 가능하며 효율적인 방법을 개발했습니다.

초록

3차원(3D) 가상 물체와 인간의 상호 작용을 실시간으로 기록하는 방법을 제시합니다. 이 접근 방식은 조작된 물체의 회전 데이터를 시선 추적과 같은 행동 측정과 연결하여 기본 인지 과정에 대해 더 나은 추론을 하는 것으로 구성됩니다.

이 작업은 컴퓨터 화면에 표시되는 동일한 3D 물체(분자)의 두 개의 동일한 모델, 즉 회전하는 대화형 물체(iObj)와 정적 대상 물체(tObj)를 표시하는 것으로 구성됩니다. 참가자는 iObj의 방향이 tObj의 방향과 동일하다고 간주될 때까지 마우스를 사용하여 iObj를 회전해야 합니다. 컴퓨터는 모든 상호 작용 데이터를 실시간으로 추적합니다. 참가자의 시선 데이터도 시선 추적기를 사용하여 기록됩니다. 측정 주파수는 컴퓨터에서 10Hz, 아이트래커에서 60Hz입니다.

tObj에 대한 iObj의 방향 데이터는 회전 쿼터니언으로 기록됩니다. 응시 데이터는 iObj의 방향과 동기화되고 동일한 시스템을 사용하여 참조됩니다. 이 방법을 사용하면 iObj 및 tObj와의 인간 상호 작용 과정에 대한 다음과 같은 시각화를 얻을 수 있습니다 : (1) 다른 시간 종속 데이터와 동기화 된 각도 격차; (2) 우리가 "회전 공"이라고 부르기로 결정한 것 내부의 3D 회전 궤적; (3) 3D 고정 히트맵. 프로토콜의 모든 단계는 GNU Octave 및 Jmol과 같은 무료 소프트웨어를 사용했으며 모든 스크립트는 보충 자료로 사용할 수 있습니다.

이 접근 방식을 사용하면 도달한 결과뿐만 아니라 정신적 또는 신체적 회전과 관련된 작업 해결 과정에 대한 자세한 정량적 연구를 수행할 수 있습니다. 3D 모델의 각 부분이 참가자가 과제를 해결하는 데 얼마나 중요한지 정확하게 측정할 수 있으며, 따라서 모델을 물체의 특성, 개인의 인지 능력, 인간-기계 인터페이스의 특성과 같은 관련 변수와 연관시킬 수 있습니다.

서문

정신 회전(MR)은 개인이 물체를 정신적으로 조작하고 회전할 수 있도록 하여 물체의 특징과 공간 관계를 더 잘 이해할 수 있도록 하는 인지 능력입니다. 그것은 시공간 능력 중 하나이며, 1890년 초에 연구된 기본인지 그룹¹. 시공간 능력은 유전적 요인과 환경적 요인 모두에 의해 영향을 받는 개인의 인지 레퍼토리의 중요한 구성 요소입니다 2,3,4,5. 시공간 능력에 대한 관심은 20세기 전반에 걸쳐 노화⁶ 및 발달⁷, 과학, 기술, 공학 및 수학(STEM)^8,9, 창의성¹⁰ 및 진화적 특성¹¹과 같은 주요 주제에서 시공간 능력이 중요하다는 증거가 증가함에 따라 증가했습니다.

프로토콜

1. 데이터 수집 도구의 준비

1. 온라인 데이터 수집을 설정합니다(선택 사항).
   참고: 이 단계에서는 프로젝트 코드 및 작업 웹 페이지의 사용자 지정 가능한 복제본을 설정하는 방법을 설명합니다( 보충 파일 1). 이 단계는 https://pages.github.com/ 및 https://github.com/jamiewilson/form-to-google-sheets 에서 사용할 수 있는 자습서에서 조정되었습니다. 사용자가 데이터 처리 방법에만 관심이 있고 데이터 기록에는 관심이 없는 경우 웹 페이지 https://rodrigocnstest.github.io/iRT_JoVE.html 함께 사용할 수 있습니다.보충표 S1 및 https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave 의 리포지토리 파일을 선택하고 1.1, 1.2 단계 및 해당 하위 단계를 건너뜁니다.
   1. GitHub(https://github.com/)에 로그인합니다.
   2. 원래 GitHub 페이지 리포지토리의 퍼블릭 클론을 만듭니다.
      1. 계정에 로그인되어 있는 동안

토론

앞서 언급했듯이 이 논문은 쉽게 사용자 정의할 수 있고 무료로 제공되는 소프트웨어만 사용하여 모든 것이 작동하도록 단계별 지침을 제공하는 대화형 3D 개체에 대한 고정 및 saccade 모션 데이터의 실시간 매핑에 대한 자세한 절차를 제시하는 것을 목표로 합니다.

이 실험적인 설정에는 가능한 세 축 중 두 축에서 PR을 사용하여 다른 물체의 방향을 ?.......

자료

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.