バーチャルリアリティフライトシミュレータを使用した飛行性能と眼球運動パターンの評価

要約

新しいバーチャルリアリティフライトシミュレータが構築され、飛行性能と眼球運動パターンの効率的かつ低コストな評価が可能になりました。また、人間工学やその他の研究のための高い可能性を秘めた研究ツールも提供します。

要約

パイロットの効率的で経済的なパフォーマンス評価は、航空業界にとって重要になっています。バーチャルリアリティ(VR)の発達と視線追跡技術の組み合わせにより、これらのニーズを満たすソリューションが現実のものとなりつつあります。これまでの研究では、VRベースのフライトシミュレータが検討されており、主に技術検証と飛行訓練に焦点を当てていました。本研究では、3D没入型シーンにおける視線運動と飛行指標に基づいてパイロットの飛行性能を評価するための新しいVRフライトシミュレータを開発しました。実験中には、プロのパイロット23名と飛行経験のない大学生23名の計46名が参加しました。実験結果は、飛行経験のある参加者とない参加者の間で飛行性能に大きな差があり、前者が後者よりも高かった。対照的に、飛行経験のある人は、より構造化された効率的な眼球運動パターンを示しました。これらの飛行性能の微分結果は、現在のVRフライトシミュレータが飛行性能評価手法として妥当性を有することを実証しています。飛行経験によるさまざまな眼球運動パターンは、将来の飛行選択の基礎となります。ただし、このVRベースのフライトシミュレーターには、従来のフライトシミュレーターと比較してモーションフィードバックなどの欠点があります。このフライトシミュレータプラットフォームは、見かけの低コストを除いて、非常に柔軟性があります。研究者の多様なニーズ(例えば、状況認識、VR酔い、関連するスケールの追加による作業負荷の測定など)を満たすことができます。

概要

欧州航空安全機関(2012)は、フライトシミュレータを訓練施設、飛行およびナビゲーションプログラムのトレーナー、飛行訓練機器、および完全なフライトシミュレータとして分類しています¹。現在までに、低レベルのテーブルトップシステムから非常に複雑なモーションベースのフルフライトシミュレータ²まで、さまざまなフライトシミュレータをトレーニングに利用できます。従来のシミュレータには、フライトダイナミクスモデル、システムシミュレーション、ハードウェアコックピット、外部可視化、およびオプションのモーションシミュレーション³が含まれています。

これらの伝統的なフライトシミュレーターには、効果的な飛行訓練機器としていくつかの利点があります。ただし、各システムの駆動にはかなりの電気エネルギーが必要であり、特にフルフライトシミュレータは高温高圧の流体または空気圧を必要とし、多くの電力を消費し、^{多くのノイズを生成する}ため、コストは高く、環境にやさしくありません4。

ただし、シンプルなデスクトップ シミュレーター システムは柔軟性があり、低コストであり、フル フライト シミュレーター² よりも没入感が低く、相互作用が少なくなっています。したがって、デスクトップシステムとフルフライトシミュレータの利点(つまり、テーブルトップシミュレーションの柔軟性と、フルフライトシミュレータに近い没入感とインタラクションレベル)を組み合わせた新しいフライトシミュレータを開発することが不可欠です。

コンピュータ技術、特にバーチャルリアリティ(VR)技術の発展に伴い、新たなVR技術に基づく新しいタイプのフライトシミュレータが現実のものとなりつつあります。VRベースのフライトシミュレータは、柔軟性、携帯性、低コストで、従来のフライトシミュレータ5よりも必要なスペースが少なくて済み^ます。研究者は、過去20^年間でVR技術に基づくフライトシミュレーターを作成してきました6,7,8,9,10,11;しかし、これらのVRフライトシミュレーターは飛行訓練がメインで、パイロット選択用のものはほとんどありません。それでも、コスト削減と技術の向上により、VRベースのシミュレーターは変化し、個人の選択が可能になりつつあります。いくつかの研究では、さまざまな領域での個人選択にVRベースのシミュレーターが使用されています:Schijvenら¹²は、バーチャルリアリティシミュレーターを使用して外科研修生を選択しました。Huangら¹³は、空軍パイロットの募集のために、バーチャルリアリティ技術に基づく心理学選択手段を開発した。Wojciechowski氏とWojtowicz¹⁴氏は、VR技術に基づいて、無人航空機(UAV)パイロットとしての候補者の能力を評価しました。パイロットの選定が航空業界にとって重要であることを考えると、大規模なパイロットの選定はシミュレータのコストや携帯性シミュレータシステムの要求の影響を受けやすいため、パイロットの選定に焦点を当てた新しいVRベースのフライトシミュレータの開発が急務となっています。

目の動きは、パイロットのパフォーマンスの手がかりとなります。さまざまな研究により、アイスキャンモードが上級パイロットと初心者パイロットのパフォーマンスを区別することがわかっています。専門家と初心者の間でスキャンパターンを比較することにより、専門家の効率的で構造的な眼球運動行動と初心者の不適切なスキャン方法を区別できます。いくつかの航空研究によると、パイロットのアイスキャニング戦略は、専門知識のレベルに大きく関連していることがわかっています15,16,17,18,19,20,21,22,23,24。Bellenkes et ^al.25によると、専門家の固定期間は初心者よりも短く、楽器への固定頻度は高いとのことです。Kasarskisら²⁶は、ほぼ同じ結論を導き出しました。彼は、熟練したパイロットは初心者よりも固定が多く、持続時間が短いことを発見し、熟練したパイロットは初心者よりも優れた視覚モードを持っていることを示唆しました。別の研究では、Lorenzら。²⁷は、専門家が初心者よりもコックピットの外を見るのに多くの時間を費やしていることを発見しました。これらの結果は、新人の選択において大きな実用的価値があります。

飛行性能評価は、パイロットの選択にとってもう一つの重要な要素です。しかし、パイロットの飛行性能評価には、専門家の意見の相反、選択基準の増加、統一された選択理論などの問題があります。運転分野では、Horreyら²⁸は、運転性能を評価するためのさまざまな実験条件で、中心線からの車線逸脱の絶対値を比較しました。航空分野に戻ると、フライトクイックアクセスレコーダー(QAR)は、^{フライト29}中のあらゆる種類のパイロット操作パラメータ、航空機パラメータ、環境、および警告情報を記録します。より具体的には、QARインジケータとして、ピッチ角は航空機³⁰の左右軸を中心とした回転角度であり、基準線(または中心基準線)は赤線と緑線²⁸のちょうど真ん中にある。これら 2 つの飛行パラメータは、現在の研究での経験の有無にかかわらず、参加者の飛行パフォーマンスを評価するために使用されます。これらのQARデータは、飛行性能の評価に利用できるが、私たちの知る限りでは、科学研究におけるパーソナルトレーニングや選抜にはほとんど使用されていない^31,32。

眼球運動パターンの測定は、飛行性能を評価および予測し、パイロットのトレーニングと選択を導くために使用できます。Gerathewohl³³ は、目はパイロットの最も重要な感覚器官であり、飛行情報の80%を処理していると述べました。パイロットは、コックピット内の計器から視覚情報を取得し、それをコヒーレントな画像に統合してフライト²²を管理しなければならない。さらに、最適なスキャン動作は、より優れた飛行性能^{を達成するために不可欠である15}。しかし、現在、眼球運動と飛行性能の関係を定量的に研究するためのアイトラッカーを統合した手頃な価格のフライトシミュレータはありません。

現在の研究では、飛行経験のある参加者が飛行経験のない参加者よりも飛行パフォーマンスが優れているかどうかを評価するために、新しいVRフライトシミュレーターを開発しました。VRフライトシミュレータは、アイトラッキングとフライトダイナミクスシステムを統合し、視線運動パターン解析と飛行性能評価を可能にします。特に、VRフライトシミュレータは、時間のかかるフレームカウントなしで、関心領域(AOI)ベースの眼球運動を分析するために、ガラスのような又はデスクトップのアイトラッカーではなく、VRアイ^{トラッカー34}を使用することに言及する価値がある。

最後に、本研究は、アイスキャンパスから客観的な飛行性能データまで、将来のパイロット選択のためのオムニバス測定につながる可能性があります。仮想フライトシミュレーターの助けを借りて、フライト選択のコストが大幅に削減され、広範なデータ収集に基づいてパイロットの規範を形成できます。この作業は、フライト選択のニーズに対する従来のシミュレーターとデスクトップシミュレーターの間のギャップを埋めるものです。

プロトコル

ここに記載されているすべての方法は、清華大学の治験審査委員会(IRB)によって承認されており、すべての参加者からインフォームドコンセントが得られています。終了後、参加者全員に12ドル(または同等の価値のギフト)が支払われました。

1. 参加者の選考

1. G*Powerソフトウェア³⁵ ( 資料表を参照)を使用したパワー分析の事前研究に従って参加者を募集し、参加者数がG*Powerによって与えられる予想されるサンプルサイズ(21)を満たしていることを確認します。
   注:G * Powerによって与えられる予想サンプルサイズは、指定された効果サイズ、有意水準、および使用される統計的検定に基づいて、望ましいレベルの統計的検出力を達成するために研究に必要な参加者の推定数を指します。予想されるサンプルサイズは、研究計画において重要な考慮事項です。これは、研究者が研究デザインの実現可能性と費用対効果を判断し、研究が意味のある効果を検出するのに十分な統計的検出力を持っていることを確認するのに役立ちます。
2. てんかん、心臓または脳の病気、最近の内分泌または精神科の薬、または重度の皮膚アレルギーの病歴がある参加者がいないことを確認してください。
3. スネレン視力検査(メートル法6/6を使用)³⁶ を使用して、参加者の視力が正常または正常に矯正されていること、および色覚異常や色覚異常などの視覚障害がないことを確認します。
4. 参加者が過去24時間以内に飛行能力に影響を与える可能性のあるアルコールや薬物を摂取していないことを確認してください。
5. 実験前に、参加者が 6 時間以上の睡眠をとり、精神状態が良好であることを確認してください。

2.フライトシミュレーターハードウェア

1. フライト シミュレータのすべてのハードウェアが揃っていることを確認します。その機能に応じて、このハードウェアは3つのモジュールで構成されています(表1)( 資料の表を参照)。
   注:研究者は、静電誘導によるリスクを回避するために、機器に触れる前に金属棒に触れる必要があります。
   1. 表2を使用して、VR、HMD(ヘッドマウントディスプレイ)、および視線追跡モジュールのコンポーネントを確認します。
   2. すべてのフライト シミュレータ PC モジュール コンポーネントが、3.6G Hz プロセッサ、4G 内部メモリ、64 ビット オペレーティング システム、およびグラフィックス カードの最小要件を満たしていることを確認します。このシステムは、すべてのフライトコントローラーをサポートします。
   3. フライトコントロールモジュールのコンポーネントを確認し、デバイスのパラメータ構成が 表3と一致していることを確認します。
2. フライトシミュレータのハードウェアは、 図1のレイアウトに従って取り付けます。 図 2 は、ハードウェアの接続方法を示しています。
   1. スロットルとコントロールパネルを物理的に結合し、ユニットとして扱います。
   2. スロットル、ジョイスティック、ペダルをUSB 経由で フライトシミュレーターPCモジュールに接続します。
   3. リンクボックス を介して HMDをフライトシミュレーターPCモジュールに接続します。
   4. ベースステーションとVRコントローラーをPCのVRソフトウェア を介して HMDに接続します。

VRヘッドマウントディスプレイ(HMD)とアイトラッキングモジュール	1.ベースステーション
	2.VR HMDの
Flight Simulator PCモジュール	3.フライトシミュレーターPC
フライトコントロールモジュール	4.フライトスロットル
	5.フライトジョイスティック
	6.フライトペダル

表 1: フライト シミュレータ ハードウェアの 3 つのモジュールのコンポーネント。

メインコンポーネント	小物
VR HMDの	ヘッドセットケーブル(付属)
	フェイスクッション(付属)
	クリーニングクロス
	イヤホン穴キャップ×2
リンクボックス	電源アダプター
	DisplayPortケーブル
	USB 3.0ケーブル
	取り付けパッド
コントローラー(2018)×2	電源アダプター×2
	ネックストラップ×2
	マイクロUSBケーブル×2本
ベースステーション2.0×2	電源アダプター×2
	取り付けキット(マウント2個、ネジ4個、ウォールアンカー4個)

表2:VR HMDと視線追跡モジュールのコンポーネントのリスト。

デバイス	パラメータ設定
フライトジョイスティック	19個のアクションボタン
	8ウェイの「視点」ハット1個
	複数の3D磁気センサー
	5コイルスプリングシステム×1
	1 つの 16 ビット解像度 (65536 x 65536 の値)。
フライトコントロールパネル	15個のアクションボタン
	TRIMホイール1個
	5つのプログラム可能なLED
フライトスロットル	17個のアクションボタン
	プッシュボタン付きマウスハット1個
	8ウェイの「視点」ハット1個
	複数の3D磁気センサー
	2つの14ビット分解能
フライトペダル	2.5kgから5kgの張力
	35°から75°の間の角度

表3:フライトコントロールモジュールのデバイスのパラメータ構成。

図 1: VR フライト シミュレータ ハードウェアのレイアウト。この図の拡大版を表示するには、ここをクリックしてください。

図2:フライトシミュレータのハードウェアの接続(A)フライトコントロールモジュール。スロットルとコントロールパネルは物理的に結合され、ユニットとして扱われます。この調査で「スロットル」という用語が使用されている場合、それはスロットルとコントロールパネルの両方を指します。(B)フライトシミュレータPCモジュール。手順 2.2 で概説した要件を満たすコンピューター。(C)HMDおよび視線追跡モジュール。アイトラッキング用のソフトウェア開発キット(SDK)と3Dエンジンは、同じコンピューターにインストールしても同期が保たれます。したがって、視線追跡機能とオペレーティングシステムは相互作用し、連携して機能します。この図の拡大版を表示するには、ここをクリックしてください。

3.フライトシミュレーターソフトウェア

1. 実験を開始する前に、すべてのソフトウェア( 資料の表を参照)がインストールされていることを確認してください。実験で使用したすべてのソフトウェアに関する情報を 表4に示します。

名前	形容
VRソフトウェア	ハードウェア上でVRコンテンツを体験するために広く使用されているツール。
VRアプリストア	お客様が愛し、必要とするコンテンツを探索、作成、接続、体験できるバーチャルリアリティのアプリストアです。
アイトラッキングソフトウェア	研究チームがEye-trackingおよび3DエンジンSDKを介して開発したアイトラッキングソフトウェア。
フライシミュレータ	研究チームによって開発されたフライトシミュレーターソフトウェアのメインプログラム。
画面録画ソフト	ビデオ録画とライブストリーミング用の無料のオープンソースソフトウェア。

表4:実験で使用したすべてのソフトウェアに関する情報。

4. フライトシミュレーターを起動する前の準備

注意: 視線追跡プログラムを初めて実行する場合は、 図3に従って追加の手順を実行します。アイトラッキングプログラムは、最初の実行後に自動的にアクティブになります。

図 3: 視線追跡プログラムを初めて実行するときの追加手順。この図の拡大版を表示するには、ここをクリックしてください。

1. HMD の電源がオンになっていて、コンピューターに接続されていることを確認します。
2. ベースステーションを斜めに配置して、HMDが常にベースステーションの監視範囲内にくるようにします。安定したVR環境を維持するために、ベースステーションを固定してください。
3. コンピューター上のVRソフトウェアの指示に従って、立っているだけのプレイエリアを設定します。
   注意: プロンプトは、ルームスケールエリアを許可するか、立っているだけのプレイエリアを設定します。立位モードは、一般的に歩行を必要としないVRシーンを体験するために使用され、ユーザーが動き回るスペースが限られている場合に選択できます。そこで、この実験では、立ったままのプレイエリアを設置します。
4. 視線追跡キャリブレーションを設定します。アイトラッキングシステムは、参加者が交代するたびに再調整する必要があります。
   1. 参加者がアイトラッキングの誤動作の原因となるコンタクトレンズを使用していないことを確認します。
   2. VR コントローラーを使用して視線追跡キャリブレーション プログラムを開きます ( マテリアルの表を参照)。
   3. システムの指示に従って、デバイスの高さ、瞳孔間距離 (IDP)、注視点を調整します。
   4. 参加者の目を時計回りに2秒間照らし、視線追跡キャリブレーションの有効性を確認します。
5. チューニングされたフライトコントロールモジュールと大画面ディスプレイ(つまり、少なくとも27インチモニター)をVRHMDと同じコンピューターに接続します。この画面では、実験者はVR HMDで何が起こっているかを同時に見ることができます。

5. 実験手順

注:実験は、「情報収集」「課題と操作の紹介」「実験前の練習」「正式な実験の実施」の4つのステップに分かれています。実験プロセスを 図 4 にまとめます。

図 4: 実験のフローチャート。この図の拡大版を表示するには、ここをクリックしてください。

1. 参加者から情報を収集する(15分)。
   1. 支払い詳細フォームに参加者の支払い情報を記入します。
   2. 参加者にインフォームド コンセント文書を読み、署名するように伝えます。
2. タスクとシミュレータの操作を参加者に紹介する(5分)。
   1. 参加者にトラフィックパターンとマップを説明します(図5)。
   2. VRフライトシミュレーターの使い方を参加者に指導します。
   3. フライトのシミュレーション中に不快感を感じた場合は、実験から退出できることを参加者に伝えます。
3. VRフライトシミュレーターを使って練習してもらいます(15分)。
   1. VR HMDを参加者に取り付け、目の動きを調整します。システムの指示に従って、デバイスの高さ、瞳孔間距離 (IDP)、注視点を調整します。
   2. 画面録画ソフトウェアを開きます。
   3. FlySimulatorプログラムを起動して、参加者の飛行訓練を支援します。
   4. フライトペダル、ジョイスティック、スロットルを併用して、航空機を飛行基準線にできるだけ近づけて操縦するように参加者に指示します(図5)。
   5. FlySimulatorプログラムを終了した後、フライトスロットルとエンジンスイッチボタンをリセットし、被験者が練習を完了した後は画面の記録を停止します。
4. 正式な飛行実験を行います(20分)。
   1. 参加者用のVR HMDを装着し、 OBS Studio を起動して画面の録画を開始します。
   2. FlySimulator プログラムを起動し、適切な視点を選択し、エンジンを始動し、パーキング ブレーキを放し、フライト スロットルをフルに上げます。
   3. FlySimulator プログラムを終了し、フライト スロットルとエンジン スイッチ ボタンをリセットします。画面の録画を停止します。

図5:VRフライトシミュレータのトラフィックパターン。 ピッチ角は機体の左右軸を中心とした回転角度で、基準線(または中央基準線)は赤と緑の線のちょうど真ん中にあります。 この図の拡大版を表示するには、ここをクリックしてください。

6. データ分析

1. 眼球運動データを分析します。
   1. この調査では、5 つの関心領域 (AOI) ゾーンを分割します。AOIの計算の詳細については、フライトコックピット計器に対応するフライトコックピットの実際のパネルに基づく 図6を参照してください(図7)。
   2. この研究で使用されたVR眼球運動器の機器機能を考慮して、AOIゾーン³⁷の滞留時間の割合を使用してAOI差分テストを計算します。
      注: 滞留時間の平均パーセンテージは、AOI 内を見るのに費やされた累積パーセンテージを合計固視時間で割り、参加者間で平均したものです。
2. Python 3.10を使用して、カスタム開発されたプログラミングスクリプトで飛行パフォーマンスデータを分析します。パフォーマンスメトリクスのコアアルゴリズムは、アメリカ航空宇宙局(NASA)から提供された35機のBAE-146航空機QARデータ³⁸に触発されて、QAR分析法から適応されました。
   注:この研究の飛行パフォーマンス指標:総飛行時間(各参加者の離陸から着陸までの時間の合計、秒単位)、着陸前のピッチ角1秒(着陸前の航空機のピッチ角、生データから得られた、度単位)、基準線までの平均距離(飛行中の航空機と基準線との間の空間距離の平均誤差、 メートル単位)、および参照線までの距離の標準偏差 (飛行中の平面と参照線との間の空間距離の標準偏差 (メートル単位)) です。
3. 統計分析を実施します。
   1. Shapiro-Wilk 検定³⁹ を使用して、データの正規性を確認します。
   2. 記述統計、マン・ホイットニーのU検定、およびスチューデントのt検定には、統計ソフトウェア(資料の表を参照)を使用します。
   3. データ分布⁴⁰の形状をより良く示すためにバイオリンプロットを描写する。
      注:Cohenのdを使用して測定された効果サイズの説明は次のとおりです:0.1は非常に小さい、0.2は小さい、0.5は中程度、0.8は大きい、1.2は非常に大きい、2.0は大きい^41,42。有意水準は p < 0.05 に設定された。

図6:AOIの前処理とフロープロセスの計算。 セクション1から4では、本研究がパイロットの眼球運動データを独立サンプルの t検定までどのように処理したかを説明します。 この図の拡大版を表示するには、ここをクリックしてください。

図7:飛行計器のAOI分割の概略図。 計器の機能:(A)対気速度計は、空気に対する航空機の速度を示します。(B)高度計は、航空機のピッチとロールの高度を示します。(C)垂直速度計は、航空機の上昇速度または降下速度を示します。(D)高度計は、航空機の気圧高度を示します。(E)エンジン回転数インジケーターは、航空機エンジンの速度を示します。 この図の拡大版を表示するには、ここをクリックしてください。

結果

今回の実験では、飛行経験のある専門家23名と飛行経験のない初心者23名が選ばれました。参加者は25歳から58歳(専門家: M =32.52歳、 SD =7.28歳、初心者: M =29.57歳、 SD =5.74歳)であった。参加者全員の性別は男性でした。すべての初心者は清華大学(学生または教員)から採用され、すべての専門家は中国東方航空からでした。

目の動き
...

ディスカッション

現在の研究では、飛行経験のある参加者が、VRベースのフライトシミュレーターで飛行経験のない参加者よりも優れた飛行パフォーマンスを発揮したかどうかを評価しました。さらに重要なことに、これらの参加者により最適化された眼球運動パターンが、より優れた飛行パフォーマンスで見つかるかどうかを評価しました。結果は、着陸前のピッチ角 1 秒、基準線までの平均距離、および?...

資料

Name	Company	Catalog Number	Comments
3D engine SDK	Epic Games	Unreal Engine 4 GameAnalytics Unreal SDK	This SDK is a powerful yet flexible free analytics tool designed for games.
CPU	Intel	IntelCore i9	One of the most powerful CPU on the mainstream market.
Eye tracking SDK	Tobii	Tobii XR SDK	This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware.
Eye tracking software	Developed by the research team		A program that tracks the movement of a person's eyes while they are using a virtual reality HMD.
FlySimulator program	Developed by the research team		A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers.
Graphics card	NVIDIA	GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock   24 GB Memory Size GDDR6X Memory Type	One of the most powerful graphics card on the mainstream market.
Operating system (OS)	Microsoft	Windows XP	An operating system (OS) developed and exclusively distributed by Microsoft Corporation
Replica control panel	THRUSTMASTER	2960720 2971004 2962072 2960748 2960769	U.S. Air Force A-10C attack aircraft HOTAS
Replica joystick	THRUSTMASTER	2960720	U.S. Air Force A-10C attack aircraft HOTAS
Replica pedal	THRUSTMASTER		TPR pendular rudder
Replica throttle	THRUSTMASTER		U.S. Air Force A-10C attack aircraft HOTAS
Screen connected to PC	Redmi	RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio	Screen allows the experimenter to simultaneously view what is happening in the VR HMD
Screen recording software	OBS Project	OBS Studio Version 28.0	A free and open source software for video recording and live streaming
Statistical power analysis software	Open-Source	G*power Version 3.1.9.6	A free and user-friendly tool for estimating statistical power and sample size.
Statistical software	IBM	SPSS Version 24.0	A powerful statistical software platform
Versatile statistics tool	GraphPad Software	GraphPad Prism Version 9.4.0	A versatile statistics tool purpose-built for scientists-not statisticians
VR app store	HTC Corporation	VIVE Software 2.0.17.6 / 2.1.17.6	An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need.
VR head-mounted display (HMD)	HTC Corporation	VIVE Pro Eye	A VR headset with precision eye tracking
VR software	Steam	Steam VR Version 1.23	A tool for experiencing VR content on the hardware