視線追跡データによる対話型仮想オブジェクトの回転の3次元マッピング

要約

私たちは、インタラクティブな空間タスクからの定量的なプロセスデータを記録し、これらの回転データを視線追跡データでマッピングするための、シンプルでカスタマイズ可能で効率的な方法を開発しました。

要約

私たちは、3次元(3D)仮想オブジェクトと人間の相互作用をリアルタイムに記録する方法を提示します。このアプローチは、操作されたオブジェクトの回転データをアイトラッキングなどの行動手段と関連付けて、根底にある認知プロセスについてより適切に推論することで構成されています。

このタスクは、同じ3Dオブジェクト(分子)の2つの同一モデルを表示し、コンピューター画面に表示することで構成されます:回転するインタラクティブなオブジェクト(iObj)と静的なターゲットオブジェクト(tObj)。参加者は、マウスを使用して iObj を回転させ、その向きが tObj と同じであると考えるまで回転させる必要があります。コンピュータは、すべてのインタラクションデータをリアルタイムで追跡します。参加者の視線データもアイトラッカーを使用して記録されます。測定周波数は、コンピューターで10 Hz、アイトラッカーで60 Hzです。

tObj に対する iObj の向きデータは、回転四元数で記録されます。視線データは iObj の向きに同期され、この同じシステムを使用して参照されます。この方法により、iObjおよびtObjを使用した人間の相互作用プロセスの次の視覚化を取得できます:(1)他の時間依存データと同期した角度視差。(2)「回転のボール」と呼ぶことにしたものの内部の3D回転軌道。(3)3D固定ヒートマップ。プロトコルのすべてのステップは、GNU OctaveやJmolなどのフリーソフトウェアを使用しており、すべてのスクリプトは補助資料として利用可能です。

このアプローチにより、到達した結果だけでなく、精神的または物理的な回転を含む課題解決プロセスの詳細な定量的研究を行うことができます。3Dモデルの各部分が参加者にとって課題解決にどれほど重要であるかを正確に測定することができ、その結果、モデルがオブジェクトの特性、個人の認知能力、ヒューマンマシンインターフェースの特性などの関連変数に関連づけられます。

概要

メンタルローテーション(MR)は、個人が精神的にオブジェクトを操作および回転することを可能にする認知能力であり、オブジェクトの特徴と空間的関係の理解を深めます。これは視空間能力の1つであり、1890年に早くも研究された基本的な認知グループ^です1。視空間能力は、遺伝的要因と環境要因の両方によって影響を受ける個人の認知レパートリーの重要な要素です2,3,4,5。視空間能力への関心は、老化⁶と発達⁷、科学、技術、工学、数学(STEM)^8,9、創造性¹⁰、進化形質¹¹などの主要な科目におけるその重要性の証拠が積み重なっているため、20世紀を通じて高まってきました。

MRの現代的な考え方は、1971年にシェパードと....

プロトコル

1. データ収集ツールの準備

1. オンライン データ収集を設定します (オプション)。
   注: この手順では、プロジェクト コードと作業 Web ページのカスタマイズ可能なクローンを設定する方法について説明します ( 補足ファイル1).この手順は、https://pages.github.com/ と https://github.com/jamiewilson/form-to-google-sheets で提供されているチュートリアルから抜粋したものです。ユーザーがデータ処理方法のみに関心があり、データ記録には関心がない場合は、Webページ https://rodrigocnstest.github.io/iRT_JoVE.html を一緒に使用できます。補足表S1 とリポジトリ ファイルを https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave に表示し、手順 1.1、1.2、およびそのサブステップをスキップします。
   1. GitHub (https://github.com/) にサインインします。
   2. 元の GitHub ページ リポジトリの公開クローンを作成します。
      1. アカウントにログインした状態で、https://github....

ディスカッション

前述のように、この論文は、インタラクティブな3Dオブジェクト上の凝視およびサッカードモーションデータのリアルタイムマッピングの詳細な手順を提示することを目的としています。これは簡単にカスタマイズでき、無料で利用可能なソフトウェアのみを使用し、すべてを機能させるためのステップバイステップの手順を提供します。

この?.......

資料

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.