著者
お問い合わせ

サインイン

このコンテンツを視聴するには、JoVE 購読が必要です。 サインイン又は無料トライアルを申し込む。

この記事について

要約

私たちは、インタラクティブな空間タスクからの定量的なプロセスデータを記録し、これらの回転データを視線追跡データでマッピングするための、シンプルでカスタマイズ可能で効率的な方法を開発しました。

要約

私たちは、3次元(3D)仮想オブジェクトと人間の相互作用をリアルタイムに記録する方法を提示します。このアプローチは、操作されたオブジェクトの回転データをアイトラッキングなどの行動手段と関連付けて、根底にある認知プロセスについてより適切に推論することで構成されています。

このタスクは、同じ3Dオブジェクト(分子)の2つの同一モデルを表示し、コンピューター画面に表示することで構成されます:回転するインタラクティブなオブジェクト(iObj)と静的なターゲットオブジェクト(tObj)。参加者は、マウスを使用して iObj を回転させ、その向きが tObj と同じであると考えるまで回転させる必要があります。コンピュータは、すべてのインタラクションデータをリアルタイムで追跡します。参加者の視線データもアイトラッカーを使用して記録されます。測定周波数は、コンピューターで10 Hz、アイトラッカーで60 Hzです。

tObj に対する iObj の向きデータは、回転四元数で記録されます。視線データは iObj の向きに同期され、この同じシステムを使用して参照されます。この方法により、iObjおよびtObjを使用した人間の相互作用プロセスの次の視覚化を取得できます:(1)他の時間依存データと同期した角度視差。(2)「回転のボール」と呼ぶことにしたものの内部の3D回転軌道。(3)3D固定ヒートマップ。プロトコルのすべてのステップは、GNU OctaveやJmolなどのフリーソフトウェアを使用しており、すべてのスクリプトは補助資料として利用可能です。

このアプローチにより、到達した結果だけでなく、精神的または物理的な回転を含む課題解決プロセスの詳細な定量的研究を行うことができます。3Dモデルの各部分が参加者にとって課題解決にどれほど重要であるかを正確に測定することができ、その結果、モデルがオブジェクトの特性、個人の認知能力、ヒューマンマシンインターフェースの特性などの関連変数に関連づけられます。

概要

メンタルローテーション(MR)は、個人が精神的にオブジェクトを操作および回転することを可能にする認知能力であり、オブジェクトの特徴と空間的関係の理解を深めます。これは視空間能力の1つであり、1890年に早くも研究された基本的な認知グループです1。視空間能力は、遺伝的要因と環境要因の両方によって影響を受ける個人の認知レパートリーの重要な要素です2,3,4,5。視空間能力への関心は、老化6と発達7、科学、技術、工学、数学(STEM)8,9、創造性10、進化形質11などの主要な科目におけるその重要性の証拠が積み重なっているため、20世紀を通じて高まってきました。

MRの現代的な考え方は、1971年にシェパードとメッツラー(SM)によって発表された先駆的な研究に由来しています12。彼らは、一連の「同じまたは異なる」タスクを使用してクロノメトリック法を考案し、抽象的な3Dオブジェクトの2つの投影を並べて表示しました。参加者は、ある軸上でオブジェクトを精神的に回転させ、それらの投影が描かれているのと同じオブジェクトが異なる回転をしたオブジェクトか、または異なるオブジェクトを示しているかを決定する必要がありました。この研究では、同じオブジェクトの表現間の応答時間(RT)と角度視差(AD)との間に正の線形相関があることが明らかになりました。この相関関係は、角度視差効果 (ADE) と呼ばれます。ADEはMRの行動症状と見なされており、その後のいくつかの影響力のある研究で遍在するようになりました13,14,15,16,17,18,19,20,21,22,23,24,25.SM研究で採用された3Dオブジェクトは、ベル研究所26のコンピューターグラフのパイオニアであるマイケル・ノルによって生成された10個の連続した立方体で構成されていました。これらはSM数値と呼ばれ、MR研究で広く使用されています。

シェパードとメッツラーの独創的な仕事では、2つの進歩が非常に重要でした。まず、MR評価の分野における貢献について考えます。1978年、ヴァンダーバーグと久世27は、SMの「同一または異なる」数値に基づく20項目の鉛筆と紙の心理測定テストを開発しました。各テスト項目は、ターゲット刺激を示します。参加者は、4つの刺激から選択しなければならず、どれが標的刺激に描かれているのと同じ物体を表し、どれがそうでないか。VKMRTは、MR能力と、性差6、21、24、28、29、30、老化と発達6、31、32、学業成績8など、他のさまざまな要因との相関関係を調査するために使用されてきた、33、音楽とスポーツのスキル34。1995年、PetersらはVKMRT35,36の数値を再描画した研究を発表しました。同様に、「同一または異なる」タスク設計に続いて、MRプロセスを調査し、MR能力を評価するために、コンピュータ生成刺激の様々な他のライブラリが採用されてきた(元のSM刺激19,22,23,37,38の3Dバージョン、SM図25,39,40を模倣した人体、2D回転のための平坦なポリゴン41、42、解剖学、および臓器43、有機形状44、分子45,46、とりわけ21)。197647年にGuayによって提案されたPurdue Spatial Visualization Test(PSVT)も関連しています。これには、MR (PSVT:R) を含む一連のテストが含まれます。VKMRT とは異なる刺激を使用して、PSVT:R では、参加者はモデル刺激の回転操作を特定し、それを別の刺激に精神的に適用する必要があります。PSVT:Rは、特にSTEMの達成におけるMRの役割を調査する研究でも広く使用されています48,49,50。

シェパードとメッツラーの独創的な研究で非常に重要な2番目の進歩は、特に視線追跡デバイスの使用によるMRプロセスの理解への貢献です。1976年、ジャストとカーペンター14は、アナログビデオベースの視線追跡装置を使用して、シェパードとメッツラーのADE実験に基づく研究を行った。サッカード眼球運動とRTに関する結果から、彼らは3つのフェーズで構成されるMRプロセスのモデルを提案しました:1)図の類似部分が認識される探索フェーズ。2)識別された部品の1つが精神的に回転する変換および比較段階。3)数値が同じかどうかが決定される確認フェーズ。フェーズは、決定を下すことができるまで再帰的に繰り返されます。各ステップは、観察されたADEと密接な関係にある特定のサッカードおよび固定眼球運動パターンに対応しています。このように、目の活動をクロノメトリックデータに関連付けることにより、JustとCarpenterはMRプロセスの研究に認知的特徴を提供しました。今日までに、このモデルは、適応はあるものの、いくつかの研究で採用されています15,42,46,51,52,53。

このトラックに続いて、行動18,19,22,23,25,34,40,54,55および脳活動20,22,56,57を監視するいくつかの研究が進行中です刺激回転中の機能を行った。彼らの発見は、MRと運動プロセスの間の協力的な役割を示しています。さらに、MRを含む問題解決戦略を個人差15,41,46,51,58に関連して調査することへの関心が高まっています。

全体として、MRプロセスの理解を目的とした研究のデザインは、参加者にMR操作を実行するように要求する視覚刺激を伴うタスクを提示することに基づいていると考えることができます。この反応が刺激の回転を可能にする場合、それはしばしば物理的回転(PR)と呼ばれます。各研究の特定の目的に応じて、MRとPRのデータ取得と分析にさまざまな戦略とデバイスが採用されています。タスク刺激提示ステップでは、刺激のタイプ(すなわち、前に引用した例)を変更することが可能である。投影(従来のディスプレイ22、23、25、29、40、41、59、ならびにステレオスコープ19、仮想60、および混合43の現実環境におけるコンピュータ生成画像)。そして、刺激の双方向性(静止画像12,27,36、アニメーション61、およびインタラクティブな仮想オブジェクト19,22,23,43,53,59)。

MRは通常、RT(ADE)の測定値、ならびに眼および脳の活動25,46,62から推測されます。眼活動は、サッカード運動および凝視14,15,42,51,52,54,58,60、ならびに瞳孔測定40からなる視線追跡データを用いて測定される。RTデータは、典型的には、レバー13、ボタンおよびスイッチ14、53、ペダル53、ロータリーノブ19、ジョイスティック37、キーボード61およびマウス29、58、60、駆動輪53、慣性センサ22、23、タッチスクリーン52、59などの種々の装置を操作している間に記録された運動応答データから生じる、およびマイク22。PRを測定するために、RTに加えて、研究デザインには、参加者がMRタスク22,23,52,53を実行している間のインタラクティブ刺激の手動回転の記録も含まれます。

1998年、WohlschlägerとWohlschläger19 は、ノブで操作するインタラクティブな仮想SM刺激による「同一または異なる」タスクを使用し、タスクごとに回転を1軸に制限しました。彼らは、RTとタスク中に実行された身体的回転の累積記録を測定しました。インタラクティブ刺激が実際に回転する場合とない場合の状況を比較した結果、MRとPRは、想像上の回転と実際に実行される回転の両方について共通のプロセスを共有していると結論付けました。

2014年には、仮想インタラクティブ刺激22,23を用いた同じタイプのタスクを用いて2つの研究が実施された。しかし、物体は3D空間で動きを捉える慣性センサーで操作されていました。どちらの場合も、RTに加えて、回転軌道、つまりタスク中の参照刺激と対話型刺激の間の回転差の進化が記録されました。これらの軌跡から、累積情報(つまり、四元数単位での回転の総数)と解法戦略に関する詳細な情報の両方を抽出することができました。Adamsら23は、MRとPRの間の協力効果を研究しました。RTに加えて、彼らは回転軌道の積分を精度と解像度の客観性のパラメータとして使用しました。曲線プロファイルは、3ステップのモデル63(計画、主回転、微調整)に従って解釈されました。この結果は、MRとPRが必ずしも単一の共通の因子を持っているわけではないことを示しています。Gardony et al.22 は、RT、精度、およびリアルタイム回転に関するデータを収集しました。MRとPRの関係性を確認するとともに、回転軌跡の解析により、参加者が数字が違うかどうかがわかるまで操作していたことが明らかになりました。それらが同じ場合、参加者はそれらが同じように見えるまでそれらを回転させます。

この戦略を継続し、2018年にWetzelとBertel52 は、タッチスクリーンタブレットをインターフェースとして使用して、「同じまたは異なる」タスクでインタラクティブなSMフィギュアも使用しました。さらに、視線追跡装置を用いて、MR課題の解決に関与する認知負荷のパラメータとして、凝視時間とサッカード振幅の累積データを取得しました。著者らは、MRとPRの関係と課題解決プロセスに関して、上記の先行研究を確認した。しかし、この研究では、彼らは刺激に対して固視マッピングとサッカードのデータを使用しませんでした。

仮想3Dオブジェクト上に視線追跡データをマッピングするための方法論的アプローチは、一般的に仮想環境における視覚的注意に関連する要因を研究することに関心のある研究者によって提案され、絶えず改善されてきた64。手頃な価格で同様の視線追跡デバイスを使用しているにもかかわらず、これらの方法は、前述のようなインタラクティブな3Dオブジェクトを使用したメンタルローテーション研究で採用されている実験レパートリーに効果的に統合されていないようです。逆に、インタラクティブな3Dオブジェクト上の凝視とサッカード運動データのリアルタイムマッピングを報告した文献には、研究は見つかりませんでした。目の活動データと回転軌道を簡単に統合する便利な方法はないようです。本研究では、このギャップを埋めることに貢献することを目指しています。データ集録からグラフィカルな出力生成まで、手順を詳しく説明します。

この論文では、仮想のインタラクティブな3Dオブジェクトを使用した精神的な回転プロセスを研究する方法について詳しく説明します。次の進歩が強調表示されています。まず、3D仮想モデルとのインタラクションセッション中に、定量的な行動運動(コンピューターインターフェースを介した手動の物体回転)と眼球(視線追跡)データの収集を統合します。次に、視覚的なタスク設計、データ取得、記録、および処理に必要なのは、従来のコンピューター機器と視線追跡デバイスのみです。第3に、角度視差、物理的回転、四元数回転軌道、3D仮想オブジェクト上の視線追跡データのヒットマッピングなど、データ分析を容易にするグラフィック出力を簡単に生成できます。最後に、この方法に必要なのはフリーソフトウェアだけです。開発されたすべてのコードとスクリプトは無料で利用できます(https://github.com/rodrigocnstest/rodrigocnstest.github.io)。

プロトコル

1. データ収集ツールの準備

  1. オンライン データ収集を設定します (オプション)。
    注: この手順では、プロジェクト コードと作業 Web ページのカスタマイズ可能なクローンを設定する方法について説明します ( 補足ファイル1).この手順は、https://pages.github.com/ と https://github.com/jamiewilson/form-to-google-sheets で提供されているチュートリアルから抜粋したものです。ユーザーがデータ処理方法のみに関心があり、データ記録には関心がない場合は、Webページ https://rodrigocnstest.github.io/iRT_JoVE.html を一緒に使用できます。補足表S1 とリポジトリ ファイルを https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave に表示し、手順 1.1、1.2、およびそのサブステップをスキップします。
    1. GitHub (https://github.com/) にサインインします。
    2. 元の GitHub ページ リポジトリの公開クローンを作成します。
      1. アカウントにログインした状態で、https://github.com から リポジトリをインポート をクリックします。
      2. [ 古いリポジトリのクローン URL] フィールドで、URL https://github.com/rodrigocns/rodrigocns_JoVE を [リポジトリ名 ] フィールドに貼り付け、「 username.github.io ( username はアカウントで使用されているユーザー名) を入力して、[ 公開 ] オプションが有効になっていることを確認します。次に、緑色のボタン [インポートの開始]をクリックします。
        注: リポジトリには、このセットアップの残りの部分に必要なほとんどのファイルが含まれており、リポジトリに加えられた変更は数分後に Web サイトで更新されます。たとえば、rodrigocnstest という名前のユーザーは、https://rodrigocnstest.github.io で自分のページにアクセスし、https://github.com/rodrigocnstest/rodrigocnstest.github.io で GitHub リポジトリにアクセスします。
    3. 実験データをオンラインで保存するためのクラウドスプレッドシートを設定します。
      1. Google アカウントにサインアップまたはサインインします。
      2. アカウントにログインした状態で、 iRTスプレッドシートのクリーン ファイルに移動します file https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
        ops1wZrXI/edit?usp=sharingです。
      3. このスプレッドシート内で、[ ファイル] |コピーを作成します。小さな確認ウィンドウが表示されます。
      4. 小さなウィンドウで、ファイルに名前を付け、[ コピーを作成 ]ボタンをクリックします。
    4. Google Apps Script を設定して、作成したスプレッドシート内のデータ ストレージを自動化します。
      1. スプレッドシートファイル内で、 オプション[拡張子]|Apps スクリプト。
        注: このスクリプトは、関連付けるためにスプレッドシート内から作成またはアクセスする必要があります。スクリプトを外部で作成しようとすると、うまくいかない場合があります。
      2. [ 実行 ] ボタンをクリックして、スクリプトを初めて実行します。
      3. 「権限の確認」ボタンをクリックします。新しいウィンドウが表示されます。スプレッドシートの作成時に使用したのと同じアカウントをクリックします。
        注: この手順を初めて実行する場合は、アプリがアカウントから情報へのアクセスを要求していることをユーザーに警告する安全アラートが表示される場合があります。アプリがスプレッドシートの内容にアクセスしようとし、データを入力する許可を求めているため、安全です。警告が表示されない場合は、手順 1.1.4.4 をスキップできます。
      4. [詳細設定] |iRT からシートへ (安全ではありません) |[許可] ボタン。
        注: 実行後、実行が完了したことを示す通知が実行ログ内に表示されます。
      5. 左側のスライドパネルで、[ トリガー ] ボタン (上から 4 番目のアイコン) | [+ トリガーの追加 ] ボタンをクリックします。
      6. [Choose which function to run] で [doPost] を選択します。[イベント ソースの選択] で [スプレッドシートから] を選択します。[イベントタイプの選択] で、[フォーム送信時] を選択します。次に、[保存] をクリックします。権限のポップアップが表示された場合は、手順1.1.4.3-1.1.4.4に従います。ブラウザがポップアップをブロックしてしまった場合は、ブロックを解除してください。
      7. [デプロイ]ドロップダウンボタンをクリックします |新しいデプロイ。
      8. 歯車のアイコンの上にマウスを置き、[Webアプリ]オプションが選択されていることを確認します。
      9. [新しい説明] フィールドに説明を入力します (「Deployment 1」など)。[アクセス権を持つユーザー] フィールドで [すべてのユーザー] を選択し、[デプロイ] ボタンをクリックします。
        注: [新しい説明 ] フィールドの目的は、スクリプトのデプロイを整理することです。読者の希望に応じて、 First deployment などと名付けることができます。 [実行者 ] フィールドは既に [自分 (email)] と表示されており、email はこれまで使用されていた電子メールです。
      10. 新しいポップアップ内で、スクリプト デプロイの Web アプリの URL をコピーします。
        注:何らかの理由でコピーしたWebアプリのURLが失われた場合は、[ デプロイ ]ドロップダウンメニューをクリックして取得します 。デプロイメントを管理します。Web アプリの URL がそこにあるはずです。
      11. GitHub で使用されているユーザー名が rodrigocnstest である の https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js ページに移動します。手順 1.1.4.10 でコピーした Web アプリの URL の 5 行目の既存の URL を置き換え、緑色のボタン [変更のコミット] をクリックします。
        注: コピーされた URL の値は、1 つの ' ' または 2 つの " "' 引用符で囲む必要があります。コピーした URL が Web アプリから正しいものであることを再確認してください。
      12. 最後に、画面中央の[ 変更のコミット ]確認ボタンをクリックします。
    5. プロセスが正しく完了し、ページが機能していることを確認します。
      1. https://github.com/username/username.github.io/ のリポジトリ (username は GitHub で使用されているユーザー名) に移動し、ステップ 1.4.14 で行った変更後にデプロイが更新されているかどうかを確認します。
      2. https://username.github.io/iRT_JoVE の Web ページに移動し、ユーザー名 を GitHub で使用されているユーザー名に変更して、[ 次へ] をクリックします。
      3. 「Go」をクリックし、マウスで右側のオブジェクトをクリックしてドラッグし、「DONE!」ボタンをクリックします。
      4. 手順 1.1.3 と 1.1.4 で設定したスプレッドシート ファイルに戻り、[ 完了 ] ボタンが押されるたびに新しく追加されたデータ行が存在することを確認します。
  2. オフラインデータ集録を設定します(オプション)。
    注:インタラクティブローテーションタスク(iRT)のデータを実行および取得することを目的とした方法は、上記の手順で構成されたクラウドサービスを介してオンラインです。必要に応じて (インターネット接続に問題がある場合や、インターネット接続を実行する別の方法がある場合があるため)、テストが実行される場所でインターネット接続の有無にかかわらず、テストをローカルで実行することもできます。次の手順はオプションの代替手段であり、これを実現する方法について説明します。それ以外の場合は、ステップ 1.3 に進みます。
    1. 次のリンクから GitHub リポジトリにアクセスします: https://github.com/rodrigocnstest/rodrigocnstest.github.io。緑色のボタンをクリックします < > コード |ZIPをダウンロードし、ダウンロードしたファイルを解凍します。
      注: ローカルに保存されたファイルに変更を加えても、リポジトリ内のファイルは変更されません。また、 その逆も同様です。両方のバージョンを対象とした変更は、更新されたファイルを手動でコピーするか、git/GitHub デスクトップを使用して、両方の場所に適用する必要があります。
    2. Mozilla Firefoxの最新バージョンは、次のリンクから入手してください:https://www.mozilla.org/en-US/firefox/new/。
    3. Mozilla Firefoxブラウザを開き、URLスロットに「about:config」と入力し、検索フィールドに「security.fileuri.strict_origin_policy」と入力して、値をfalseに変更します。注:これで、WindowsオペレーティングシステムのMozilla Firefoxは、コンピューター上にダウンロードしたWebページファイルにローカルにアクセスできるはずです。他のブラウザやオペレーティングシステムは、ローカルで動作するように構成でき、それぞれにリンク http://wiki.jmol.org/index.php/Troubleshooting/Local_Files で説明されている設定があります。
  3. データ処理ツールを設定します。
    1. https://octave.org/download で最新バージョンのGNU Octaveをダウンロードしてインストールします。
  4. 視線追跡デバイスを設定します。
    1. 録音システムソフトウェアがラップトップにインストールされていることを確認してください。
    2. 気を散らさないように、研究室が清潔で整理されていることを確認してください。
    3. 部屋では人工照明を使用して、一日中一貫した照明を維持します。
    4. コンピューターをテーブルに設置し、参加者がマウスを快適に動かせるようにします。
    5. テスト中の動きを最小限に抑えるために、参加者に快適な椅子、できれば固定椅子を提供します。
    6. 1本のUSBケーブルを赤外線照明に電力を供給し、ラップトップ/コンピューターとカメラのアイトラッカーを接続する別のUSBケーブルを接続します。
    7. アイトラッカーを画面の下に配置します。

2. データ収集

  1. データ収集ソフトウェアを初期化します。
    1. コンピューターで視線追跡ソフトウェアを実行して、アイトラッカーからデータを受信します。
    2. ソフトウェアのメインウィンドウで「 Screen Capture 」オプションを選択して、実験中に視線をキャプチャします(このソフトウェアをヒートマップの視覚化や生のエクスポートデータに使用することも可能です)。
    3. [新しいプロジェクト] をクリックして、データを保存する新しいプロジェクトとプロジェクト フォルダーを作成します。
    4. 例として提供されているページまたは手順1.1で作成したページを使用する場合は、https://rodrigocnstest.github.io/iRT_JoVE.html でテストページを開きます。または、手順 1.2 で以前に設定したブラウザから iRT_JoVE.html ファイルをローカルで開きます。
    5. 必要に応じて、データの識別に役立つ名前と電子メールのフィールドに入力し、生成されたデータのバックアップコピーをダウンロードするためのボックスにチェックを入れます。
      注:オフライン方式(ステップ1.2)を使用する場合は、バックアップコピーをダウンロードすることをお勧めします。
    6. 実験を一度実行してみて、ブラウザが要素を正しく読み込み、提示されたタスクやデータ取得に問題がないことを確認してください。
  2. テストを実行します。
    1. 実験の目的、使用した技術、および選択/除外基準を参加者に説明します。参加者がすべてを理解したことを確認してください。参加者に同意書に記入してもらいます。
    2. 参加者に視線追跡システムの前に座って、できるだけ快適に過ごすように依頼します。
    3. 椅子を動かして、参加者とカメラの間に最適な距離を確保します(アイトラッカーから参加者の目までの長さは65cmが理想的です)。
    4. 実験中は、参加者にできるだけじっとしているように依頼します。カメラの高さを調整して、参加者の瞳孔を正しくキャプチャします(一部のソフトウェアは、瞳孔を強調表示して角膜反射を表示します)。
    5. [自動ゲインを有効にする]をクリックして、瞳孔が見つかるまでカメラゲインを変更することにより、瞳孔の追跡を最適化します(一部のソフトウェアにはこのオプションがありません)。
    6. 参加者に画面上の一連のドットを見て、頭を動かさずにドットの動きを追うように依頼します。
    7. 「キャリブレーション」をクリックしてキャリブレーションを開始します(これにより、アイトラッカーが参加者が画面を見ている場所を追跡できるようになります)。
      注意: 画面が空白になり、キャリブレーションマーカー(ドット)が画面上の5つの位置に移動します。
    8. キャリブレーション後、キャリブレーションの精度を確認するために、視覚的な視線推定値が画面に描画されます。参加者にディスプレイ上の特定のポイントを見てもらい、視線入力が正しく表示されるかどうかを確認します。
    9. キャリブレーションが不十分な場合は、カメラを調整し、システムが視線を適切に追跡するまでキャリブレーションを再試行します。
    10. アイトラッキングソフトウェア(メインメニュー)の右側にある[ データ収集 ]ボタンをクリックして、データ収集モードをアクティブにします。キャプチャされた画面のリアルタイム表示は、プライマリ表示ウィンドウに表示される視線データとともに表示されます。
    11. メインメニューの「 視線ビデオ 」ボタンをクリックすると、アイトラッカーでキャプチャされたユーザーの顔が表示されます。次に、[ Start record ] をクリックして実験を開始します。
      注:実験中、参加者の瞳孔が強調表示され、その目がラップトップ画面を横切る点として表示されます。アイトラッカーが画面全体で瞳孔と目を追跡していることを確認します。
    12. ドットが消えたり、頻繁にちらついたりする場合は、実験を停止して、もう一度キャリブレーションを試みてください。
    13. 前に開いたiRTのウィンドウを開き、参加者に [次へ]をクリックするように指示します。
    14. 参加者に次の指示を与えます:「このセクションでは、3つのローテーションタスクを実行します。 GO! ボタンを押すと、画面の反対側に2つのオブジェクトが表示されます。目標は、右側のオブジェクトを回転させて、左側のオブジェクトとできるだけ一致するようにすることです。オブジェクトを回転させるには、オブジェクトをクリックしてマウスをドラッグします。3つのタスクをそれぞれ終了したら、[ 完了]をクリックします。 結論を出すボタン。
      注:各タスクについて、5分マーク(正確には327秒 目)を超えるiRTデータは失われる可能性があります。この手法をさらに発展させるにつれて、この制限を拡大する必要があります。
    15. 実験の最後に、アイトラッカーが延長ケーブルからオフになっていることを確認し、レンズキャップをカメラに戻します。
  3. データを抽出します。
    1. アイトラッカーのデータ収集が完了したら、「 データの分析 」をクリックして、収集したデータにアクセスします。
    2. ユーザーのために記録されたすべてのデータを含む.csvファイルをエクスポートします。
      注:アイ トラッカーデータの最初の 列は、データのUNIXエポックである必要があります。これは、異なるデータセットを時間的に正しく一致させる唯一の方法であるためです。ファイルに 1 つ含まれていない場合は、使用されている他の時間標準から変換する必要があります。ファイルは「.csv」または「.xlsx」形式にすることができます。
    3. オンライン版のインタラクティブローテーションタスクページ(ステップ1.1)を使用している場合は、オンラインデータの受信に使用したGoogleスプレッドシートファイル(ステップ1.1.3で作成)を開き、[ ファイル]|ダウンロード |Microsoft Excel (.xlsx) です。
      注: これらのデータは、データの転送を容易にするためにパッケージ化されています (各タスクは、データが入力された 1 行に対応します)。内部のデータを処理するには、パッケージ化されたデータの各行を最初に「解凍」する必要があります。

3. データの処理と分析

  1. データをパッケージ化解除、マージ、および処理します。
    注: 次の手順では、提供されているスクリプトを使用してデータを処理する方法について説明します ( 補足ファイル 2 を参照)。GNU Octaveスクリプトは、ユーザーにファイルに関する入力を求めます。入力が空白として送信される場合は、ユーザーデータが上書きされていない場合は、提供されたサンプルデータを参照するデフォルト値が代わりに使用されます。スクリプトの実行が完了したら、スクリプトを閉じることができます。
    1. まだダウンロードされていない場合は、使用中のリポジトリ (ユーザー自身または https://github.com/rodrigocns/rodrigocns_JoVE 元のリポジトリ) をダウンロードして解凍します。
    2. スクリプト 1.unpacking_sheets.m、2.data_merge_and_process.m、3.3D rotational trajectory.m、およびフォルダ models がダウンロードしたリポジトリの Octave フォルダ内にあることを確認し、手順 2.3.2 と 2.3.3 でダウンロードしたデータ ファイルを Octave スクリプトと同じフォルダに移動します。
      注: 新しく書き込まれたファイルと同じ名前のフォルダに既に存在するファイルは、上書きされる可能性があります。それに応じて、ファイルの名前を変更するか、ファイルを別のフォルダに移動します。
    3. スクリプト 1.unpacking_sheets.m を GNU Octave Launcher で開きます。 [エディター ] タブで、緑色の [ファイルを保存して実行 ] ボタンをクリックしてスクリプトを実行し、データをより読みやすい構造にアンパッケージします。
      注 : 要求されたデータ ファイルのいずれかがローカルで開いている場合は、スクリプトを実行する前に必ず閉じてください。すべての.mスクリプトファイルは、GNU Octave Launcherを使用して実行されました。
    4. 2 つのプロンプトが 1 つずつ表示されます。最初のプロンプトにダウンロードしたファイルの名前を入力し、2番目のフィールドにパッケージ化されていないファイルの名前を入力します。または、両方のプロンプト・フィールドをブランクのままにして、含まれるサンプル・ファイルのデフォルト名を使用します。プロセスが完了し、新しいファイルが書き込まれたことをユーザーに通知するポップアップが表示されるまで、数分待ちます(データの量によって異なります)。
    5. スクリプト2.data_merge_and_process.mを開いて実行し、アイトラッカーとiRTの両方のデータをマージします。
      注 : このスクリプトは複雑で、数百行のコードを含みますが、設定、関数、スクリプトの 3 つの主要なセクションに分かれています。それらはすべて徹底的にコメントされ、説明されているため、必要に応じて将来の変更が容易になります。
    6. 4つのプロンプトが表示されます。 sessionID値、taskID値 (どちらもiRTデータテーブルから)、 未パッケージ化のiRTデータファイル名 (手順3.1.5で書き込んだ)、 アイトラッカーデータファイル名 (手順2.3.2でエクスポート)を入力するか、すべて空白のままにしてデフォルト値を使用します。
      注:数分後、スクリプトが計算を完了したことを示すヘルプポップアップと、使用および作成されたファイルの名前が表示されます。スクリプト プロセス中に、角度視差の 3 つのサンプル プロット (単純なプロット、色付きの視線データを含むプロット、瞳孔径データを含むプロット) が表示されます。作成される2つのファイルは 、output merge X Y.xlsx と output jmol console X Y.xlsx で、 X は sessionID 値、 Y は taskID 値で、どちらもステップ 3.1.6 の冒頭で書き込まれています。
  2. 3D回転軌道画像をレンダリングします。
    1. rotation trajectory.m 3.3Dスクリプトを開いて実行します。
    2. 3つのプロンプトが表示されます。 sessionID 値、taskID 値、 およびパッケージ化されていない iRT データ ファイル名を入力するか、空白のままにしてデフォルト値を使用します。
      注:3Dグラフが表示されます。レンダリングされたグラフは、指定されたセッションとタスクの 3D 回転軌跡です。
  3. アニメーションを再生します。
    1. 参加者のタスクインタラクションを再生するには、まずインタラクティブタスクのWebページに移動し、テストを開始し(両方の3Dモデルを表示)、マウスアイコンがテキストに変わるまで画面の右上隅にあるマウスポインタを移動し( 補足ファイル2に示すように)、非表示の デバッグ テキストをクリックして デバッグモードを有効にします。
    2. モデル間に表示されるボタンから、 timerStop ボタンをクリックしてタスクを中断し、 コンソール ボタンをクリックして右側のモデルのJSmolコンソールを開きます。対象のインタラクションのタスクが最初のタスクでない場合は、上部のデバッグ領域内の番号付きボタンをクリックして、画面に表示されるタスクを変更します。
      注:JSmolは、Webページで使用されている分子モデリングソフトウェアです。
    3. jmol console.xlsx出力ファイルを開き、Jmolコマンドの全ページをコピーします。
      注: 各ページには、異なるシーンまたはアニメーションのコマンドが含まれています。
    4. JSmolコンソール内で、コピーしたコマンドのリストを貼り付け、[ 実行 ]ボタンをクリックするか、キーボードの Enter キーを押して実行します。
    5. 必要に応じて、.gifアニメーションを生成します。JSmolコンソール内に コマンドcapture "filename" SCRIPT "output" を書き込みます。ここで、 filename は作成する.gifファイルの名前、 output はステップ3.3.3でコピーしたコマンドの全リストであり、両方を二重引用符で囲みます。
      注:コマンドが複雑になるほど、モデルが大きくなったり、時間の変更が増えたり、使用するコンピューターの仕様の効力が弱くなったりすると、アニメーションは遅くなります。Jmolは化合物や反応の可視化に重点を置いており、私たちの研究で生み出されるアニメーションは、Jmolのレンダリング能力の限界を押し広げています。これらの点は、このアニメーションで定量的な測定を行う際に考慮し、考慮する必要があります。

4. タスクのカスタマイズ

注: このセクション全体はオプションであり、コーディング方法を実験したり理解したりしたい人にのみ推奨されます。以下に、利用可能な多くのカスタマイズ可能なオプションの一部を示しますが、方法をさらに開発するにつれて、さらに多くのオプションが利用可能になります。

  1. 新規または既存のタスクを設定します。
    1. 参加者が実行する対話型タスクの数を定義し、配列内のファイル object_configs.js でそれぞれに名前を付け task_list 既存の項目名を置き換えたり、さらに追加したりします。各名前は、後で識別子として使用されるため、一意であることを確認してください。
    2. JSmol 互換の 3D 座標ファイルを選択して、対話型タスク (http://wiki.jmol.org/index.php/File_formats) を実行します。これらのファイルを models フォルダーにコピーします。
      注: この記事に含まれるスクリプトは、.xyz ファイル形式を使用する非対称モデル用に最適化されています。座標ファイルを選択するときは、回転対称性はあいまいな解決策を持っているため、避けてください65。
    3. 関数 prepMolecule(num) 内で 3D オブジェクトのレンダリング設定を定義します。
      注:JSmolによって実行される1つのタスクから次のタスクへのすべての変更は、カラーパターンの変更、グラフィック要素のサイズまたはレンダリング方法の変更、向き、移動、オブジェクトの一部を非表示にする、新しい3Dモデルの読み込みなどを行います(その他の例は https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm を参照してください)。task_list で名前が付けられた各タスクは、ケースに対応します。JSmolが実行する各コマンドは、次の構造に従います: Jmol.script（ jsmol_obj , " jsmol_command1;jsmol_command2 "); ここで 、jsmol_obj は変更されるオブジェクト (jsmol_ref と jsmol_obj がターゲットオブジェクトとインタラクティブオブジェクトのデフォルトです) と、その後に ";" で区切られた 1 つ以上のコマンドが続きます。
  2. 新しいモデルを作成します。
    1. オンラインでダウンロードした、またはAvogadro(https://avogadro.cc/)などの分子エディターによって構築された.xyzモデルを使用します。

結果

角度視差と他の変数の進化
補足ファイル2のステップ3.3.1に示されているように、2つのキャンバスがビデオモニター画面上に参加者に表示され、同じ3D仮想オブジェクトのコピーが異なる向きで表示されます。左側のキャンバスでは、ターゲット オブジェクト (tObj) は静的なままで、ターゲット位置または tObj 位置として機能?...

ディスカッション

前述のように、この論文は、インタラクティブな3Dオブジェクト上の凝視およびサッカードモーションデータのリアルタイムマッピングの詳細な手順を提示することを目的としています。これは簡単にカスタマイズでき、無料で利用可能なソフトウェアのみを使用し、すべてを機能させるためのステップバイステップの手順を提供します。

この?...

開示事項

著者には、開示すべき利益相反はありません。

謝辞

著者は、高等教育要員の改善のための調整(CAPES)-財務コード001およびABC連邦大学(UFABC)に感謝しています。佐藤ジョアンがサンパウロ研究財団(FAPESP, Grants Nos. 2018/21934-5, 2018/04654-9, and 2023/02538-0)から助成を受けました。

資料

NameCompanyCatalog NumberComments
FirefoxMozilla Foundation (Open Source)Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU OctaveOpen Sourcehttps://octave.org/
Google Apps ScriptGoogle LLCscript.google.com
Google SheetsGoogle LLChttps://www.google.com/sheets/about/
LaptopAny computer that can run the eye tracking system software.
Mangold Software SuiteMangold Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
MouseAny mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3miniEyeTech Digital Systems60 Hz. Any working Eye Tracking device should be compatible.

参考文献

  1. Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
  2. McGee, M. G. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).
  3. Johnson, W., Bouchard, T. J. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).
  4. Hegarty, M. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).
  5. Uttal, D. H., et al. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).
  6. Linn, M. C., Petersen, A. C. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).
  7. Johnson, S. P., Moore, D. S. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10 (2020).
  8. Wai, J., Lubinski, D., Benbow, C. P. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).
  9. Newcombe, N. S., Stieff, M. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).
  10. Kell, H. J., Lubinski, D., Benbow, C. P., Steiger, J. H. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).
  11. Geary, D. C. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).
  12. Shepard, R., Metzler, J. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).
  13. Shepard, R., Judd, S. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).
  14. Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).
  15. Just, M. A., Carpenter, P. A. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).
  16. Shepard, S., Metzler, D. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).
  17. Biederman, I., Cooper, E. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).
  18. Wexler, M., Kosslyn, S. M., Berthoz, A. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).
  19. Wohlschläger, A., Wohlschläger, A. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).
  20. Jordan, K., W, T., Heinze, H., Peters, M., Jäncke, L. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).
  21. Jansen-Osmann, P., Heil, M. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).
  22. Gardony, A. L., Taylor, H. A., Brunyé, T. T. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).
  23. Adams, D. M., Stull, A. T., Hegarty, M. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).
  24. Griksiene, R., Arnatkeviciute, A., Monciunskaite, R., Koenig, T., Ruksenas, O. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843 (2019).
  25. Jansen, P., Render, A., Scheer, C., Siebertz, M. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).
  26. Noll, M. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).
  27. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).
  28. Hegarty, M. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).
  29. Kozaki, T. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39 (2022).
  30. Bartlett, K. A., Camba, J. D. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).
  31. Jansen, P., Schmelter, A., Quaiser-Pohl, C. M., Neuburger, S., Heil, M. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).
  32. Techentin, C., Voyer, D., Voyer, S. D. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).
  33. Guillot, A., Champely, S., Batier, C., Thiriet, P., Collet, C. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).
  34. Voyer, D., Jansen, P. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).
  35. Peters, M., et al. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).
  36. Peters, M., Battista, C. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).
  37. Wiedenbauer, G., Schmid, J., Jansen-Osmann, P. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).
  38. Jost, L., Jansen, P. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).
  39. Amorim, M. A., Isableu, B., Jarraya, M. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327 (2006).
  40. Bauer, R., Jost, L., Günther, B., Jansen, P. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).
  41. Heil, M., Jansen-Osmann, P. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).
  42. Larsen, A. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).
  43. Ho, S., Liu, P., Palombo, D. J., Handy, T. C., Krebs, C. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).
  44. Foster, D. H., Gilson, S. J. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).
  45. Stieff, M., Origenes, A., DeSutter, D., Lira, M. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).
  46. Moen, K. C., et al. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20 (2020).
  47. Guay, R. B. Purdue spatial visualization test: Rotations. Purdue Research Foundation. , (1976).
  48. Bodner, G. M., Guay, R. B. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).
  49. Maeda, Y., Yoon, S. Y., Kim-Kang, K., Imbrie, P. K. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).
  50. Sorby, S., Veurink, N., Streiner, S. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).
  51. Khooshabeh, P., Hegarty, M. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).
  52. Wetzel, S., Bertel, S., Creem-Regehr, S., Schoning, J., Klippel, A. . Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. 11034, 167-179 (2018).
  53. Jost, L., Jansen, P. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).
  54. Irwin, D. E., Brockmole, J. R. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).
  55. Moreau, D. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).
  56. Kosslyn, S. M., Ganis, G., Thmpson, W. L. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).
  57. Guo, J., Song, J. H. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825 (2023).
  58. Nazareth, A., Killick, R., Dick, A. S., Pruden, S. M. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).
  59. Montag, M., Bertel, S., Koning, B. B., Zander, S. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678 (2021).
  60. Tang, Z., et al. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006 (2023).
  61. Münzer, S. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).
  62. Gardony, A. L., Eddy, M. D., Brunyé, T. T., Taylor, H. A. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).
  63. Ruddle, R. A., Jones, D. M. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).
  64. Sundstedt, V., Garro, V. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019 (2022).
  65. Sawada, T., Zaidi, Q. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).
  66. Xue, J., et al. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076 (2017).
  67. O'Shea, R. P. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).
  68. Todd, J., Marois, R. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).

転載および許可

このJoVE論文のテキスト又は図を再利用するための許可を申請します

許可を申請

さらに記事を探す

JoVE 3D Jmol JSmol

This article has been published

Video Coming Soon

JoVE Logo

個人情報保護方針

利用規約

一般データ保護規則

お問い合わせ

図書館への推薦

JoVE ニュースレター

研究

教育

著者

図書館員

JoVEについて

Copyright © 2023 MyJoVE Corporation. All rights reserved

当社はcookieを使用しています。

「続行」をクリックすることで、当社のcookieへの同意となります。

さらに見る