Three-Dimensional Mapping of the Rotation of Interactive Virtual Objects with Eye-Tracking Data

요약

우리는 대화형 공간 작업에서 정량적 프로세스 데이터를 기록하고 이러한 회전 데이터를 시선 추적 데이터와 매핑하기 위한 간단하고 사용자 정의 가능하며 효율적인 방법을 개발했습니다.

초록

3차원(3D) 가상 물체와 인간의 상호 작용을 실시간으로 기록하는 방법을 제시합니다. 이 접근 방식은 조작된 물체의 회전 데이터를 시선 추적과 같은 행동 측정과 연결하여 기본 인지 과정에 대해 더 나은 추론을 하는 것으로 구성됩니다.

이 작업은 컴퓨터 화면에 표시되는 동일한 3D 물체(분자)의 두 개의 동일한 모델, 즉 회전하는 대화형 물체(iObj)와 정적 대상 물체(tObj)를 표시하는 것으로 구성됩니다. 참가자는 iObj의 방향이 tObj의 방향과 동일하다고 간주될 때까지 마우스를 사용하여 iObj를 회전해야 합니다. 컴퓨터는 모든 상호 작용 데이터를 실시간으로 추적합니다. 참가자의 시선 데이터도 시선 추적기를 사용하여 기록됩니다. 측정 주파수는 컴퓨터에서 10Hz, 아이트래커에서 60Hz입니다.

tObj에 대한 iObj의 방향 데이터는 회전 쿼터니언으로 기록됩니다. 응시 데이터는 iObj의 방향과 동기화되고 동일한 시스템을 사용하여 참조됩니다. 이 방법을 사용하면 iObj 및 tObj와의 인간 상호 작용 과정에 대한 다음과 같은 시각화를 얻을 수 있습니다 : (1) 다른 시간 종속 데이터와 동기화 된 각도 격차; (2) 우리가 "회전 공"이라고 부르기로 결정한 것 내부의 3D 회전 궤적; (3) 3D 고정 히트맵. 프로토콜의 모든 단계는 GNU Octave 및 Jmol과 같은 무료 소프트웨어를 사용했으며 모든 스크립트는 보충 자료로 사용할 수 있습니다.

이 접근 방식을 사용하면 도달한 결과뿐만 아니라 정신적 또는 신체적 회전과 관련된 작업 해결 과정에 대한 자세한 정량적 연구를 수행할 수 있습니다. 3D 모델의 각 부분이 참가자가 과제를 해결하는 데 얼마나 중요한지 정확하게 측정할 수 있으며, 따라서 모델을 물체의 특성, 개인의 인지 능력, 인간-기계 인터페이스의 특성과 같은 관련 변수와 연관시킬 수 있습니다.

서문

정신 회전(MR)은 개인이 물체를 정신적으로 조작하고 회전할 수 있도록 하여 물체의 특징과 공간 관계를 더 잘 이해할 수 있도록 하는 인지 능력입니다. 그것은 시공간 능력 중 하나이며, 1890년 초에 연구된 기본인지 그룹¹. 시공간 능력은 유전적 요인과 환경적 요인 모두에 의해 영향을 받는 개인의 인지 레퍼토리의 중요한 구성 요소입니다 2,3,4,5. 시공간 능력에 대한 관심은 20세기 전반에 걸쳐 노화⁶ 및 발달⁷, 과학, 기술, 공학 및 수학(STEM)^8,9, 창의성¹⁰ 및 진화적 특성¹¹과 같은 주요 주제에서 시공간 능력이 중요하다는 증거가 증가함에 따라 증가했습니다.

MR의 현대 아이디어는 1971 년 Shepard와 Metzler (SM)가 발표 한 선구적인 연구에서 파생됩니다¹². 그들은 일련의 "동일하거나 다른" 작업을 사용하여 크로노미터 방법을 고안하여 나란히 표시된 추상적인 3D 물체의 두 가지 투영을 제시했습니다. 참가자들은 어떤 축에서 물체를 정신적으로 회전시키고 이러한 투영이 동일한 물체를 다르게 회전시키는지 아니면 별개의 물체를 묘사하는지 결정해야 했습니다. 이 연구는 응답 시간(RT)과 동일한 물체의 표현 간의 각도 차이(AD) 사이에 양의 선형 상관 관계가 있음을 밝혔습니다. 이 상관 관계를 각도 차이 효과(ADE)라고 합니다. ADE는 MR의 행동 징후로 간주되며 13,14,15,16,17,18,19,20,21,22,23,24,25 분야의 여러 영향력 있는 후속 연구에서 유비쿼터스가되었습니다.. SM 연구에 사용된 3D 물체는 컴퓨터 그래프의 선구자인 Bell^{Laboratories 26}의 Michael Noll이 생성한 10개의 연속된 큐브로 구성되었습니다. 그들은 SM 수치라고 불리며 MR 연구에서 널리 사용됩니다.

셰퍼드와 메츨러의 중요한 작업에는 두 가지 발전이 매우 중요했다. 첫째, MR 평가 분야에서의 기여를 고려합니다. 1978년, 밴더버그(Vanderberg)와 쿠제(Kuze²⁷)는 SM의 "같거나 다른" 수치를 기반으로 한 20개 항목으로 구성된 심리 측정 테스트를 개발했는데, 이는 정신 회전 테스트(VKMRT)로 알려지게 되었습니다. 각 테스트 항목은 목표 자극을 제시합니다. 참가자는 목표 자극에 묘사된 것과 동일한 대상을 나타내는 것과 그렇지 않은 4가지 자극 중에서 선택해야 합니다. VKMRT는 MR 능력과 성별 관련 차이 6,21,24,28,29,30, 노화 및 발달 ^6,31,32, 학업 성취도 8과 같은 다양한 기타 요인 간의 상관 관계를 조사하는 데 사용되었습니다.^,33, 음악 및 스포츠 기술³⁴. 1995 년 Peters et al.은 VKMRT^35,36에 대한 재 그려진 수치를 사용한 연구를 발표했습니다. 유사하게, "동일하거나 다른" 작업 설계에 따라, MR 과정을 조사하고 MR 능력을 평가하기 위해 컴퓨터 생성 자극의 다양한 다른 라이브러리가 사용되었다(원래 SM 자극의 3D 버전 19,22,23,37,38, SM 도형 ^25,39,40을 모방한 인체, 2D 회전을 위한 평면 다각형^{41, 42}, 해부학 및 장기⁴³, 유기적 모양⁴⁴, 분자^45,46 등²¹). Guay가 1976^{년 47} 년에 제안한 Purdue Spatial Visualization Test (PSVT)도 관련이 있습니다. 여기에는 MR(PSVT:R)을 포함한 일련의 테스트가 수반됩니다. VKMRT와 다른 자극을 사용하는 PSVT:R은 참가자가 모델 자극에서 회전 연산을 식별하고 정신적으로 다른 자극에 적용하도록 요구합니다. PSVT:R은 특히 STEM 성취도 48,49,50에서 MR의 역할을 조사하는 연구에서 널리 사용됩니다.

Shepard와 Metzler의 중요한 연구에서 매우 중요한 두 번째 발전은 특히 시선 추적 장치의 사용을 통해 MR 프로세스에 대한 이해에 기여한 것입니다. 1976년, 저스트와 카펜터⁽¹⁴)는 아날로그 비디오 기반 시선 추적 장비를 사용하여 셰퍼드와 메츨러의 ADE 실험에 기반한 연구를 수행했습니다. saccadic 안구 운동과 RT에 대한 결과로부터, 그들은 세 단계로 구성된 MR 과정 모델을 제안했다 : 1) 그림의 유사한 부분이 인식되는 탐색 단계; 2) 식별된 부분 중 하나가 정신적으로 회전하는 변형 및 비교 단계; 3) 수치가 동일한지 여부를 결정하는 확인 단계. 결정을 내릴 수 있을 때까지 단계가 재귀적으로 반복됩니다. 각 단계는 관찰된 ADE와 밀접한 관련이 있는 특정 saccadic 및 fixational 안구 운동 패턴에 해당합니다. 따라서 눈 활동을 크로노미터 데이터와 연관시킴으로써 Just와 Carpenter는 MR 프로세스 연구를 위한 인지 신호를 제공했습니다. 현재까지 이 모델은 적응이 있었지만 여러 연구에서 채택되었습니다 15,42,46,51,52,53.

이 트랙에 이어 행동 18,19,22,23,25,34,40,54,55 및 뇌 활동 20,22,56,57을 모니터링하는 여러 후속 연구가 있습니다 자극 회전 중 기능이 수행되었습니다. 그들의 발견은 MR과 운동 프로세스 사이의 협력적 역할을 지적합니다. 또한, 개인차와 관련하여 MR과 관련된 문제 해결 전략을 조사하는 것에 대한 관심이 높아지고 ^있다 15,41,46,51,58.

전반적으로, MR 과정을 이해하는 것을 목표로 하는 연구의 설계는 참가자에게 운동 반응을 수반하는 MR 작업을 수행하도록 요청하는 시각적 자극으로 과제를 제시하는 것을 기반으로 한다고 간주할 수 있습니다. 이 반응이 자극의 회전을 허용하는 경우 종종 물리적 회전(PR)이라고 합니다. 각 연구의 특정 목표에 따라 MR 및 PR의 데이터 수집 및 분석을 위해 다양한 전략과 장치가 사용되었습니다. 과제 자극 제시 단계에서, 자극의 유형(즉, 이전에 인용된 예시)을 변경할 수 있습니다. 프로젝션(전통적 디스플레이(22,23,25,29,40,41,59), 스테레오스코프(¹⁹) 및 버추얼(⁶⁰) 및 혼합(⁴³) 현실 환경에서의 컴퓨터 생성 이미지); 및 자극의 상호 작용 (정적 이미지 12,27,36, 애니메이션⁶¹ 및 상호 작용 가상 객체 19,22,23,43,53,59).

MR은 일반적으로 RT (ADE)뿐만 아니라 안구 및 뇌 활동의 측정으로부터 추론됩니다 25,46,62. 안구 활동은 saccadic 움직임 및 고정(^{14,15,42,51,52,54,58,60}) 및 동공측정법⁽⁴⁰)으로 구성된 시선추적 데이터를 사용하여 측정된다. RT 데이터는 전형적으로 레버(¹³), 버튼 및 스위치(^14,53), 페달(⁵³), 회전 노브(¹⁹), 조이스틱(³⁷), 키보드(⁶¹) 및 마우스(29,58,60), 구동 휠(⁵³), 관성 센서(^22,23), 터치 스크린(^52,59)과 같은 다양한 장치를 작동하는 동안 기록된 모터 응답 데이터로부터 발생한다및 마이크²². RT 외에도 PR을 측정하기 위해 연구 설계에는 참가자가 MR 작업 ^22,23,52,53을 수행하는 동안 상호 작용 자극의 수동 회전을 기록하는 것도 포함됩니다.

1998년, Wohlschläger와 Wohlschläger¹⁹ 는 노브로 조작하는 대화형 가상 SM 자극을 사용하여 "동일하거나 다른" 작업을 사용했으며, 회전은 작업당 한 축으로 제한되었습니다. 그들은 RT와 작업 중에 수행된 물리적 회전의 누적 기록을 측정했습니다. 상호작용 자극의 실제 회전이 있는 상황과 없는 상황을 비교한 결과, 그들은 MR과 PR이 상상된 회전과 실제로 수행된 회전 모두에 대한 공통 과정을 공유한다는 결론을 내렸습니다.

2014년에는 가상 상호 작용 자극과 함께 동일한 유형의 작업을 사용하는 두 가지 연구가 수행되었습니다^22,23. 그러나 물체는 3D 공간에서 움직임을 포착하는 관성 센서로 조작되었습니다. 두 경우 모두, RT 외에도 회전 궤적(작업 중 참조 자극과 상호 작용 자극 간의 회전 차이의 진화)이 기록되었습니다. 이러한 궤적에서 누적 정보(즉, 쿼터니언 단위의 총 회전 수)와 솔루션 전략에 대한 자세한 정보를 모두 추출할 수 있었습니다. Adams et ^al.23은 MR과 PR 사이의 협력 효과를 연구했습니다. RT 외에도 회전 궤적의 적분을 해상도의 정확성과 객관성의 매개변수로 사용했습니다. 곡선 프로파일은 3단계 모델(⁶³)(계획, 주요 회전, 미세 조정)에 따라 해석되었습니다. 결과는 MR과 PR이 반드시 단일 공통 요인을 갖는 것은 아니라는 것을 나타냅니다. Gardony et ^al.22은 RT, 정확도 및 실시간 회전에 대한 데이터를 수집했습니다. MR과 PR의 관계를 확인하는 것 외에도 회전 궤적을 분석한 결과 참가자가 서로 다른지 여부를 식별할 수 있을 때까지 수치를 조작한 것으로 밝혀졌습니다. 만약 그들이 동일하다면, 참가자들은 그것들이 동일하게 보일 때까지 그것들을 회전시킬 것이다.

이 전략을 계속하기 위해 2018년에도 Wetzel과 Bertel⁵² 는 터치스크린 태블릿을 인터페이스로 사용하여 "동일하거나 다른" 작업에 인터랙티브 SM 피규어를 사용했습니다. 또한, 연구진은 시선 추적 장치를 사용하여 MR 과제 해결과 관련된 인지 부하의 매개변수로 고정 시간과 saccadic 진폭에 대한 누적 데이터를 얻었습니다. 저자들은 MR과 PR 간의 관계와 과제 해결 과정에 대해 위에서 논의한 이전 연구를 확인했습니다. 그러나 이 연구에서는 자극에 대한 고정 매핑 및 saccades 데이터를 사용하지 않았습니다.

가상 3D 물체에 대한 시선 추적 데이터를 매핑하기 위한 방법론적 접근법은 일반적으로 가상 환경에서의 시각적 주의와 관련된 요인을 연구하는 데 관심이 있는 연구자들에 의해 제안되고 지속적으로 개선되어 왔다(⁶⁴). 저렴하고 유사한 시선 추적 장치를 사용하긴 했지만, 이러한 방법은 앞서 언급한 것과 같은 인터랙티브 3D 물체를 사용한 정신 회전 연구에 사용되는 실험 레퍼토리에 효과적으로 통합되지 않은 것으로 보입니다. 반대로, 인터랙티브 3D 물체에 대한 고정 및 saccade 모션 데이터의 실시간 매핑을 보고하는 문헌에서 어떤 연구도 찾지 못했습니다. 눈 활동 데이터를 회전 궤적과 쉽게 통합할 수 있는 편리한 방법은 없는 것 같습니다. 이 연구에서는 이러한 간극을 메우는 데 기여하는 것을 목표로 합니다. 이 절차는 데이터 수집에서 그래픽 출력 생성에 이르기까지 자세히 제시됩니다.

이 논문에서는 가상 인터랙티브 3D 물체를 사용하여 정신 회전 과정을 연구하는 방법을 자세히 설명합니다. 다음과 같은 개선 사항이 강조되어 있습니다. 첫째, 3D 가상 모델과의 상호 작용 세션 동안 정량적 행동 모터(컴퓨터 인터페이스를 통한 수동 구동 물체 회전) 및 안구(시선 추적) 데이터 수집을 통합합니다. 둘째, 시각적 작업 디자인, 데이터 수집, 기록 및 처리를 위해 기존 컴퓨터 장비와 시선 추적 장치만 필요합니다. 셋째, 각도 격차, 물리적 회전, 쿼터니언 회전 궤적, 3D 가상 물체에 대한 시선 추적 데이터의 적중 매핑과 같은 데이터 분석을 용이하게 하기 위해 그래픽 출력을 쉽게 생성합니다. 마지막으로, 이 방법에는 무료 소프트웨어만 필요합니다. 개발된 모든 코드와 스크립트는 무료(https://github.com/rodrigocnstest/rodrigocnstest.github.io)로 사용할 수 있습니다.

프로토콜

1. 데이터 수집 도구의 준비

1. 온라인 데이터 수집을 설정합니다(선택 사항).
   참고: 이 단계에서는 프로젝트 코드 및 작업 웹 페이지의 사용자 지정 가능한 복제본을 설정하는 방법을 설명합니다( 보충 파일 1). 이 단계는 https://pages.github.com/ 및 https://github.com/jamiewilson/form-to-google-sheets 에서 사용할 수 있는 자습서에서 조정되었습니다. 사용자가 데이터 처리 방법에만 관심이 있고 데이터 기록에는 관심이 없는 경우 웹 페이지 https://rodrigocnstest.github.io/iRT_JoVE.html 함께 사용할 수 있습니다.보충표 S1 및 https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave 의 리포지토리 파일을 선택하고 1.1, 1.2 단계 및 해당 하위 단계를 건너뜁니다.
   1. GitHub(https://github.com/)에 로그인합니다.
   2. 원래 GitHub 페이지 리포지토리의 퍼블릭 클론을 만듭니다.
      1. 계정에 로그인되어 있는 동안 Import repository from https://github.com 를 클릭합니다.
      2. 이전 리포지토리의 복제 URL 필드에서 리포지토리 이름 필드에 URL https://github.com/rodrigocns/rodrigocns_JoVE 붙여넣고, username.github.io 를 입력하고, 여기서 username은 계정에서 사용되는 사용자 이름이고, Public 옵션이 활성화되어 있는지 확인합니다. 그런 다음 녹색 버튼 Begin import를 클릭하십시오.
         참고: 이제 저장소에는 이 설정의 나머지 부분에 필요한 대부분의 파일이 포함되어 있으며 저장소에 대한 모든 변경 사항은 몇 분 후에 웹 사이트에서 업데이트됩니다. 예를 들어, rodrigocnstest라는 사용자는 https://rodrigocnstest.github.io 에서 자신의 페이지에 액세스하고 https://github.com/rodrigocnstest/rodrigocnstest.github.io 에서 GitHub 리포지토리에 액세스합니다.
   3. 실험 데이터를 온라인에 저장할 클라우드 스프레드시트를 설정합니다.
      1. Google 계정에 가입하거나 로그인합니다.
      2. 계정에 로그인한 상태에서 에서 사용할 수 있는 iRT 스프레드시트 정리 파일로 이동합니다 https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=공유.
      3. 이 스프레드시트에서 File(파일) | 사본을 만드십시오. 작은 확인 창이 나타납니다.
      4. 작은 창에서 파일 이름을 지정하고 사본 만들기 버튼을 클릭합니다.
   4. Google Apps Script를 설정하여 만든 스프레드시트 내의 데이터 저장을 자동화합니다.
      1. 스프레드시트 파일 내에서 옵션을 클릭하십시오 Extension | Apps Script를 탭합니다.
         참고: 이 스크립트는 스프레드시트와 연결되도록 스프레드시트 내부에서 만들거나 액세스해야 합니다. 외부에서 스크립트를 만들려고 하면 작동하지 않을 수 있습니다.
      2. Run 버튼을 클릭하여 스크립트를 처음으로 실행합니다.
      3. Review permissions(권한 검토) 버튼을 클릭합니다. 새 창이 나타납니다. 스프레드시트를 만들 때 사용한 것과 동일한 계정을 클릭합니다.
         참고: 이 단계를 처음 수행하는 경우 앱이 계정의 정보에 대한 액세스를 요청하는 것에 대해 사용자에게 경고하는 안전 경고가 나타날 수 있습니다. 앱이 스프레드시트 내용에 도달하려고 시도하고 데이터로 채울 수 있는 권한을 요청하므로 안전합니다. 경고가 나타나지 않으면 1.1.4.4단계를 건너뛸 수 있습니다.
      4. Advanced( 고급) | iRT에서 시트로(안전하지 않음)로 이동 | 허용 버튼을 클릭합니다.
         참고: 실행 후 실행이 완료되었다는 알림이 실행 로그 내에 나타나야 합니다.
      5. 왼쪽 슬라이딩 패널에서 트리거 버튼(위에서 아래로 네 번째 아이콘)을 클릭합니다 . + 트리거 추가 버튼을 클릭합니다.
      6. Choose which function to run(실행할 함수 선택)에서 doPost를 선택합니다. Select event source(이벤트 원본 선택)에서 From spreadsheet(스프레드시트에서)를 선택합니다. Select event type(이벤트 유형 선택)에서 On form submit(양식 제출 시)을 선택합니다. 그런 다음 저장을 클릭합니다. 권한 팝업이 나타나면 1.1.4.3-1.1.4.4단계를 수행합니다. 브라우저가 팝업을 차단하게 되면 차단을 해제하십시오.
      7. Deploy(배포) 드롭다운 버튼을 클릭합니다. 새 배포.
      8. 톱니바퀴 아이콘 위에 마우스를 놓고 웹앱 옵션이 선택되어 있는지 확인합니다.
      9. New description(새 설명) 필드에 Deployment 1(배포 1)과 같은 설명을 작성합니다. Who has access 필드에서 Anyone을 선택한 다음 Deploy 버튼을 클릭합니다.
         참고: New description(새 설명 ) 필드의 목적은 스크립트 배포를 구성하는 것입니다. 첫 번째 배포와 같이 독자가 원하는 대로 이름을 지정할 수 있습니다. 다음으로 실행 필드는 이미 Me(email)로 표시되어야 하며, 여기서 email은 지금까지 사용된 이메일입니다.
      10. 새 팝업 내에서 스크립트 배포의 웹앱 URL을 복사합니다.
          참고: 어떤 이유로든 복사된 웹앱 URL을 잃어버리게 된 경우 Deploy(배포 ) 드롭다운 메뉴 | 배포를 관리합니다. 웹앱 URL이 있어야 합니다.
      11. https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js 의 페이지로 이동합니다. 여기서 rodrigocnstest 는 GitHub에서 사용되는 사용자 이름입니다. 1.1.4.10단계에서 복사한 웹앱 URL의 5줄에 있는 기존 URL을 바꾸고 녹색 단추 변경 내용 커밋...을 클릭합니다.
          참고: 복사된 URL 값은 단일 ' ' 또는 이중 " "' 따옴표 사이에 있어야 합니다. 복사한 URL이 웹앱에서 올바른 URL인지 다시 확인합니다.
      12. 마지막으로 화면 중앙에 있는 변경 사항 커밋 확인 버튼을 클릭합니다.
   5. 프로세스가 올바르게 완료되었고 페이지가 작동하는지 확인합니다.
      1. https://github.com/username/username.github.io/ 의 리포지토리로 이동하여 username 은 GitHub에서 사용되는 사용자 이름이고 1.4.14단계에서 변경한 후 배포가 업데이트되었는지 확인합니다.
      2. https://username.github.io/iRT_JoVE 에서 웹 페이지로 이동하여 사용자 이름을 GitHub에서 사용되는 사용자 이름으로 변경한 후 다음을 클릭합니다.
      3. 이동을 클릭하고 마우스로 오른쪽에 있는 개체를 클릭하고 끌어 상호 작용을 한 다음 DONE! 버튼을 클릭합니다.
      4. 1.1.3 및 1.1.4 단계에서 구성한 스프레드시트 파일로 돌아가서 완료 버튼을 누를 때마다 새로 추가된 데이터 줄이 있는지 확인합니다.
2. 오프라인 데이터 수집을 설정합니다(선택 사항).
   참고: iRT(대화형 회전 작업)의 데이터를 실행하고 획득하기 위한 방법은 위에서 설명한 단계에서 구성된 클라우드 서비스를 통해 온라인 상태입니다. 원하는 경우(인터넷 연결이 문제일 수 있거나 다른 실행 방법이 있을 수 있으므로) 테스트가 실행될 장소에서 인터넷 연결 여부에 관계없이 로컬로 테스트를 실행할 수도 있습니다. 다음 단계는 선택적 대안이며 이를 수행하는 방법을 설명합니다. 그렇지 않으면 1.3단계로 건너뜁니다.
   1. https://github.com/rodrigocnstest/rodrigocnstest.github.io 링크에서 GitHub 리포지토리에 액세스합니다. 녹색 버튼을 클릭하십시오 < > 코드 | ZIP을 다운로드한 다음 다운로드한 파일의 압축을 풉니다.
      참고: 로컬에 저장된 파일을 변경해도 저장소의 파일은 변경되지 않으며 그 반대의 경우도 마찬가지입니다. 두 버전에 대한 모든 변경 사항은 업데이트된 파일을 수동으로 복사하거나 git/GitHub 데스크톱을 사용하여 두 위치에 모두 적용해야 합니다.
   2. https://www.mozilla.org/en-US/firefox/new/ 링크를 통해 최신 버전의 Mozilla Firefox를 받으십시오.
   3. Mozilla Firefox 브라우저를 열고 URL 슬롯에 "about:config"를 입력하고 검색 필드에 "security.fileuri.strict_origin_policy"를 입력한 다음 해당 값을 false로 변경합니다. 참고: 이제 Windows 운영 체제의 Mozilla Firefox에서 다운로드한 웹 페이지 파일에 로컬로 액세스할 수 있어야 합니다. 다른 브라우저와 운영 체제는 로컬에서 작동하도록 구성할 수 있으며, 각각은 링크 http://wiki.jmol.org/index.php/Troubleshooting/Local_Files 에 설명된 설정으로 구성됩니다.
3. 데이터 처리 도구를 설정합니다.
   1. https://octave.org/download 에서 최신 버전의 GNU Octave를 다운로드하여 설치하십시오.
4. 시선 추적 장치를 설정합니다.
   1. 녹음 시스템 소프트웨어가 랩톱에 설치되어 있는지 확인하십시오.
   2. 산만하지 않도록 연구실이 깨끗하고 잘 정리되어 있는지 확인하십시오.
   3. 하루 종일 일관된 조명을 유지하기 위해 실내에 인공 조명을 사용하십시오.
   4. 컴퓨터를 테이블 위에 설치하고 참가자가 마우스를 편안하게 움직일 수 있는지 확인합니다.
   5. 시험 중 움직임을 최소화하기 위해 참가자에게 편안한 의자, 가급적이면 고정식 의자를 제공하십시오.
   6. 하나의 USB 케이블을 연결하여 적외선 조명에 전원을 공급하고 노트북/컴퓨터와 카메라의 시선 추적기 사이에 다른 USB 케이블을 연결합니다.
   7. 화면 아래에 아이트래커를 놓습니다.

2. 데이터 수집

1. 데이터 수집 소프트웨어를 초기화합니다.
   1. 컴퓨터에서 시선 추적 소프트웨어를 실행하여 시선 추적기에서 데이터를 수신합니다.
   2. 소프트웨어의 기본 창에서 Screen Capture 옵션을 선택하여 실험 중 시선을 캡처합니다(히트맵 시각화 및 원시 내보내기 데이터에도 이 소프트웨어를 사용할 수 있음).
   3. 새 프로젝트를 클릭하여 데이터를 저장해야 하는 새 프로젝트와 프로젝트 폴더를 만듭니다.
   4. 예제로 제공된 페이지를 사용하거나 1.1단계에서 만든 페이지를 사용하는 경우 https://rodrigocnstest.github.io/iRT_JoVE.html 에서 테스트 페이지를 엽니다. 또는 1.2단계에서 이전에 구성한 브라우저에서 로컬로 iRT_JoVE.html 파일을 엽니다.
   5. 필요한 경우 데이터 식별에 도움이 되도록 이름 및 이메일 필드를 채우고 생성된 데이터의 백업 복사본을 다운로드하려면 확인란을 선택합니다.
      참고: 오프라인 방법(1.2단계)을 사용하는 경우 백업 복사본을 다운로드하는 것이 좋습니다.
   6. 실험을 한 번 실행하여 브라우저가 요소를 올바르게 로드하는지, 제시된 작업이나 데이터 수집에 문제가 없는지 확인하십시오.
2. 실험을 실행합니다.
   1. 참가자에게 실험의 목적, 사용된 기술, 포함/제외 기준을 설명합니다. 참가자가 모든 것을 이해했는지 확인하십시오. 참가자가 동의 양식을 작성하도록 합니다.
   2. 참가자에게 시선 추적 시스템 앞에 앉아서 가능한 한 편안하게 지내도록 요청합니다.
   3. 참가자와 카메라 사이에 최적의 거리를 확보하기 위해 의자를 움직입니다(이상적인 길이는 시선 추적기에서 참가자의 눈까지 65cm입니다).
   4. 참가자에게 실험 중에 가능한 한 가만히 있으라고 요청합니다. 참가자의 동공을 올바르게 캡처하기 위해 카메라의 높이를 조정합니다(일부 소프트웨어는 각막 반사를 보여주기 위해 동공을 강조 표시합니다).
   5. 자동 게인 활성화를 클릭하여 동공이 발견될 때까지 카메라 게인을 변경하여 동공 추적을 최적화합니다(일부 소프트웨어에는 이 옵션이 없음).
   6. 참가자에게 화면에서 일련의 점을 보고 머리를 움직이지 않고 점의 움직임을 따라가도록 요청합니다.
   7. 보정을 클릭하여 보정을 시작합니다(아이트래커가 참가자가 화면을 보고 있는 위치를 추적할 수 있도록 합니다).
      알림: 화면에 아무 것도 표시되지 않고 보정 마커(점)가 화면의 5개 위치를 이동합니다.
   8. 보정 후 보정 정확도를 확인하기 위해 시각적 시점 추정치가 화면에 그려집니다. 참가자에게 디스플레이의 특정 지점을 보고 시선이 올바르게 표시되는지 확인하도록 요청합니다.
   9. 보정이 만족스럽지 않으면 카메라를 조정하고 시스템이 시선을 적절하게 추적할 때까지 보정을 다시 시도하십시오.
   10. 시선 추적 소프트웨어(메인 메뉴)의 오른쪽에 있는 데이터 수집 버튼을 클릭하여 데이터 수집 모드를 활성화합니다. 캡처된 화면의 실시간 표시는 기본 디스플레이 창에 표시된 응시 데이터와 함께 표시됩니다.
   11. 메인 메뉴에서 응시 비디오 단추를 클릭하여 시선 추적기로 캡처한 사용자의 얼굴을 표시합니다. 그런 다음 레코드 시작 을 클릭하여 실험을 시작합니다.
       참고: 실험 중에는 참가자의 동공이 강조 표시되고 눈은 노트북 화면을 가로질러 움직이는 점으로 표시됩니다. 시선 추적기가 화면을 가로질러 동공과 눈을 추적하는지 확인합니다.
   12. 점이 자주 사라지거나 깜박이면 실험을 중지하고 다시 보정을 시도하십시오.
   13. 이전에 열었던 iRT의 창을 열고 참가자에게 다음을 클릭하도록 지시합니다.
   14. 참가자에게 다음 지침을 제공합니다: "이 섹션에서는 세 가지 회전 작업을 수행합니다. GO! 버튼을 누르면 두 개의 개체가 화면 반대쪽에 나타납니다. 목표는 왼쪽의 개체와 최대한 일치할 때까지 오른쪽의 개체를 회전하는 것입니다. 개체를 회전하려면 개체를 클릭하고 개체 위로 끕니다. 세 가지 작업을 각각 완료하면 완료 !버튼을 눌러 결론을 내립니다."
       참고: 각 작업에 대해 5분 표시(정확히 327^초 )를 초과하는 모든 iRT 데이터는 손실될 수 있습니다. 이 방법을 더욱 개발함에 따라 이 제한을 확장해야 합니다.
   15. 실험이 끝나면 연장 케이블에서 아이트래커가 꺼져 있는지 확인하고 렌즈 캡을 카메라에 다시 끼웁니다.
3. 데이터를 추출합니다.
   1. 아이트래커 데이터 수집이 완료되면 데이터 분석을 클릭하여 수집된 데이터에 액세스합니다.
   2. 사용자에 대해 기록된 모든 데이터가 포함된 .csv 파일을 내보냅니다.
      참고: 아이트래커 데이터의 첫 번째 열은 서로 다른 데이터 세트를 시간에 맞게 일치시킬 수 있는 유일한 방법이므로 데이터의 UNIX epoch여야 합니다 . 파일에 포함되어 있지 않은 경우 사용된 다른 시간 표준에서 변환해야 합니다. 파일은 ".csv" 또는 ".xlsx" 형식일 수 있습니다.
   3. 대화형 회전 작업 페이지의 온라인 버전(1.1단계)을 사용하는 경우 온라인 데이터를 수신하는 데 사용되는 Google 스프레드시트 파일(1.1.3단계에서 생성)을 열고 파일 | 다운로드 | 마이크로소프트 엑셀(.xlsx).
      참고: 이러한 데이터는 데이터 전송을 용이하게 하기 위해 패키지화되어 있습니다(각 작업은 데이터로 채워진 한 줄에 해당). 내부 데이터를 처리하려면 패키징된 데이터의 각 줄을 먼저 "언패킹"해야 합니다.

3. 데이터 처리 및 분석

1. 데이터의 패키징을 해제하고, 병합하고, 처리합니다.
   참고: 다음 단계에서는 제공된 스크립트를 사용하여 데이터를 처리하는 방법을 설명합니다( 추가 파일 2 참조). GNU Octave 스크립트는 파일에 대한 사용자 입력을 요청합니다. 입력이 공백으로 전송되면 사용자 데이터가 덮어쓰지 않은 경우 제공된 샘플 데이터를 참조하는 기본값이 대신 사용됩니다. 스크립트 실행이 완료되면 닫을 수 있습니다.
   1. 아직 다운로드하지 않은 경우 사용 중인 저장소(사용자 고유 또는 https://github.com/rodrigocns/rodrigocns_JoVE 의 원본)를 다운로드하고 압축을 풉니다.
   2. 스크립트 1.unpacking_sheets.m, 2.data_merge_and_process.m 3.3D rotational trajectory.m 및 폴더 모델이 Octave 폴더의 다운로드 한 저장소 내에 있는지 확인하고 2.3.2 및 2.3.3 단계에서 다운로드 한 데이터 파일을 옥타브 스크립트가있는 동일한 폴더로 이동합니다.
      참고: 새로 작성된 파일과 이름이 같은 폴더에 이미 있는 기존 파일은 덮어쓸 수 있습니다. 그에 따라 파일의 이름을 바꾸거나 다른 폴더로 이동합니다.
   3. GNU Octave Launcher로 1.unpacking_sheets.m 스크립트를 엽니다. Editor 탭에서 녹색 Save file and run 버튼을 클릭하여 스크립트를 실행하여 데이터를 더 읽기 쉬운 구조로 언패키징합니다.
      참고: 요청된 데이터 파일이 로컬로 열려 있는 경우 스크립트를 실행하기 전에 해당 파일을 닫아야 합니다. 모든 .m 스크립트 파일은 GNU Octave Launcher를 사용하여 실행되었습니다.
   4. 두 개의 프롬프트가 차례로 나타납니다. 첫 번째 프롬프트에 다운로드한 파일의 이름을 입력하고 두 번째 필드에 패키지되지 않은 파일의 이름을 입력합니다. 또는 두 프롬프트 필드를 모두 비워 두어 포함된 샘플 파일에 대한 기본 이름을 사용합니다. 데이터 양에 따라 몇 분 정도 기다렸다가 사용자에게 프로세스가 완료되고 새 파일이 작성되었음을 알리는 팝업이 나타납니다.
   5. 스크립트 2.data_merge_and_process.m 을 열고 실행하여 eye tracker와 iRT의 데이터를 병합합니다.
      참고: 이 스크립트는 수백 줄의 코드를 포함하는 복잡한 스크립트이지만 설정, 기능 및 스크립트의 세 가지 주요 섹션으로 나뉩니다. 그들 모두는 철저하게 주석되고 설명되어 필요한 경우 향후 수정을 용이하게합니다.
   6. 4개의 프롬프트가 나타납니다. sessionID 값, taskID 값 (둘 다 iRT 데이터 테이블에서), 패키지되지 않은 iRT 데이터 파일 이름 (3.1.5단계에서 작성) 및 시선 추적기 데이터 파일 이름 (2.3.2단계에서 내보냄)을 입력하거나 기본값을 사용하려면 모두 비워 둡니다.
      참고: 몇 분 후 스크립트가 계산을 완료했음을 나타내는 도움말 팝업과 사용 및 생성된 파일의 이름이 표시됩니다. 각도 격차에 대한 세 가지 샘플 플롯이 스크립트 프로세스 중에 나타납니다: 단순 플롯, 컬러 시선 데이터가 있는 플롯, 동공 지름 데이터가 있는 플롯. 생성된 두 파일은 output merge X Y.xlsx 및 output jmol console X Y.xlsx이며, 여기서 X 는 sessionID 값이고 Y 는 taskID 값이며, 둘 다 3.1.6 단계의 시작 부분에 작성되었습니다.
2. 3D 회전 궤적 이미지를 렌더링합니다.
   1. 회전 궤적.m 3.3D 스크립트를 열고 실행합니다.
   2. 세 가지 프롬프트가 나타납니다. sessionID 값, taskID 값 및 패키지되지 않은 iRT 데이터 파일 이름을 입력하거나 기본값을 사용하려면 비워 둡니다.
      참고: 3D 그래프가 나타납니다. 렌더링된 그래프는 지정된 세션 및 작업의 3D 회전 궤적입니다.
3. 애니메이션을 다시 재생합니다.
   1. 참가자의 작업 상호 작용을 재생하려면 먼저 대화형 작업 웹 페이지로 이동하여 테스트를 시작하고(두 3D 모델 모두 표시) 추가 파일 2에 표시된 대로 마우스 아이콘이 텍스트로 변경될 때까지 화면 오른쪽 상단 모서리에서 마우스 포인터를 이동한 다음 보이지 않는 디버그 텍스트를 클릭하여 디버그 모드를 활성화합니다.
   2. 모델 사이에 나타나는 버튼에서 timerStop 버튼을 클릭하여 작업을 중단하고 콘솔 버튼을 클릭하여 오른쪽에 있는 모델의 JSmol 콘솔을 엽니다. 관심 있는 인터랙션의 작업이 첫 번째 작업이 아닌 경우 상단 디버그 영역 내부의 번호가 매겨진 버튼을 클릭하여 화면에 표시되는 작업을 변경합니다.
      참고: JSmol은 웹 페이지에서 사용되는 분자 모델링 소프트웨어입니다.
   3. 파일 출력 jmol console.xlsx 를 열고 Jmol 명령의 전체 페이지를 복사합니다.
      참고: 각 페이지에는 서로 다른 장면 또는 애니메이션에 대한 명령이 포함되어 있습니다.
   4. JSmol 콘솔에 복사한 명령 목록을 붙여넣고 Run 버튼을 클릭하거나 키보드에서 Enter 키를 눌러 실행합니다.
   5. 원하는 경우 .gif 애니메이션을 생성합니다. JSmol 콘솔 안에 capture "filename" SCRIPT "output" 명령을 작성하십시오. 여기서 filename 은 생성할 .gif 파일의 이름이고 output 은 3.3.3단계에서 복사한 명령의 전체 목록이며 둘 다 큰따옴표 안에 유지합니다.
      참고: 명령이 복잡해질수록, 모델이 커지거나 시간이 많이 변경될수록, 사용되는 컴퓨터 사양의 성능이 떨어질수록 애니메이션이 느려집니다. Jmol은 화합물 및 반응을 시각화하는 데 중점을 두고 있으며, 연구를 통해 제작된 애니메이션의 종류는 Jmol의 렌더링 용량의 한계를 뛰어넘습니다. 이 애니메이션으로 정량적 측정을 수행할 때 이러한 점을 고려하고 고려해야 합니다.

4. 작업 사용자 정의

참고: 이 전체 섹션은 선택 사항이며 코딩 방법을 실험하거나 이해하려는 사용자에게만 권장됩니다. 아래에서 사용 가능한 많은 사용자 정의 가능한 옵션 중 일부를 찾을 수 있으며 방법을 추가로 개발함에 따라 더 많은 옵션을 사용할 수 있게 될 것입니다.

1. 새 작업 또는 기존 작업을 구성합니다.
   1. 참가자가 수행할 대화형 작업의 수를 정의하고 기존 항목 이름을 바꾸거나 더 추가할 task_list 파일 object_configs.js 배열 내부의 각 작업 이름을 지정합니다. 나중에 식별자로 사용되므로 각 이름이 고유한지 확인합니다.
   2. JSmol 호환 3D 좌표 파일을 선택하여 대화형 작업(http://wiki.jmol.org/index.php/File_formats)을 수행합니다. 이러한 파일을 models 폴더에 복사합니다.
      참고: 이 문서에 포함된 스크립트는 .xyz 파일 형식을 사용하는 비대칭 모델에 최적화되어 있습니다. 좌표 파일을 선택할 때, 회전 대칭은 모호한 해를 가지고 있으므로 피한다⁶⁵.
   3. prepMolecule(num) 함수 내에서 3D 객체에 대한 렌더링 설정을 정의합니다.
      참고 : JSmol이 수행하는 한 작업에서 다음 작업으로의 모든 변경 사항은 색상 패턴 변경, 그래픽 요소의 크기 또는 렌더링 방식 변경, 방향, 변환, 객체의 일부 숨기기, 새 3D 모델로드 등으로 이동합니다 (자세한 예제는 https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm 참조). task_list 에 명명된 각 작업은 케이스에 해당합니다. JSmol이 실행할 각 명령은 다음과 같은 구조를 따릅니다: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); 여기서 jsmol_obj 는 변경되는 객체(jsmol_ref 및 jsmol_obj 가 대상 및 대화형 객체의 기본값임)를 나타내고 그 뒤에 ";"로 구분된 하나 이상의 명령이 옵니다.
2. 새 모델을 만듭니다.
   1. 온라인으로 다운로드하거나 Avogadro(https://avogadro.cc/)와 같은 분자 편집기가 제작한 .xyz 모델을 사용할 수 있습니다.

결과

각도 격차와 다른 변수의 진화
보충 파일 2의 단계 3.3.1에 설명된 대로 두 개의 캔버스가 비디오 모니터 화면에 참가자에게 제공되어 동일한 3D 가상 개체의 복사본을 다른 방향으로 표시합니다. 왼쪽 캔버스에서 대상 개체(tObj)는 정적으로 유지되며 대상 위치 또는 tObj 위치로 사용됩니다. 오른쪽 캔버스에서 대화형 개체(iObj)는 다?...

토론

앞서 언급했듯이 이 논문은 쉽게 사용자 정의할 수 있고 무료로 제공되는 소프트웨어만 사용하여 모든 것이 작동하도록 단계별 지침을 제공하는 대화형 3D 개체에 대한 고정 및 saccade 모션 데이터의 실시간 매핑에 대한 자세한 절차를 제시하는 것을 목표로 합니다.

이 실험적인 설정에는 가능한 세 축 중 두 축에서 PR을 사용하여 다른 물체의 방향을 ?...

자료

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.