Bewertung der Flugleistung und der Augenbewegungsmuster mit dem Virtual Reality Flight Simulator

Zusammenfassung

Es wurde ein neuer Virtual-Reality-Flugsimulator gebaut, der eine effiziente und kostengünstige Bewertung der Flugleistung und der Augenbewegungsmuster ermöglicht. Es bietet auch ein vielversprechendes Forschungsinstrument für die Ergonomie und andere Forschungen.

Zusammenfassung

Die effiziente und wirtschaftliche Leistungsbewertung von Piloten ist für die Luftfahrtindustrie von entscheidender Bedeutung geworden. Mit der Entwicklung von Virtual Reality (VR) und der Kombination von Eye-Tracking-Technologie werden Lösungen, die diesen Anforderungen gerecht werden, Realität. Frühere Studien haben VR-basierte Flugsimulatoren untersucht, wobei der Schwerpunkt hauptsächlich auf der Technologievalidierung und dem Flugtraining lag. In der aktuellen Studie wurde ein neuer VR-Flugsimulator entwickelt, um die Flugleistung von Piloten anhand von Augenbewegungen und Flugindikatoren in einer immersiven 3D-Szene zu bewerten. Während des Experiments wurden 46 Teilnehmer rekrutiert: 23 Berufspiloten und 23 Studenten ohne Flugerfahrung. Die Versuchsergebnisse zeigten signifikante Unterschiede in der Flugleistung zwischen Teilnehmern mit und ohne Flugerfahrung, wobei erstere höher waren als letztere. Im Gegensatz dazu zeigten diejenigen mit Flugerfahrung strukturiertere und effizientere Augenbewegungsmuster. Diese Ergebnisse der Differenzierung der Flugleistung zeigen die Validität des aktuellen VR-Flugsimulators als Methode zur Bewertung der Flugleistung. Die unterschiedlichen Blick-Bewegungsmuster mit Flugerfahrung bilden die Grundlage für die zukünftige Flugauswahl. Dieser VR-basierte Flugsimulator hat jedoch Mängel wie Bewegungsfeedback im Vergleich zu herkömmlichen Flugsimulatoren. Diese Flugsimulator-Plattform ist sehr flexibel, abgesehen von den scheinbar niedrigen Kosten. Es kann die unterschiedlichen Bedürfnisse von Forschenden erfüllen (z. B. Messung des Situationsbewusstseins, der VR-Krankheit und der Arbeitsbelastung durch Hinzufügen relevanter Skalen).

Einleitung

Die Europäische Agentur für Flugsicherheit (2012) kategorisiert Flugsimulatoren als Schulungseinrichtungen, Flug- und Navigationsprogrammtrainer, Flugtrainingsgeräte und komplette Flugsimulatoren¹. Bisher steht eine Reihe von Flugsimulatoren für die Ausbildung zur Verfügung, von Low-Level-Tischsystemen bis hin zu hochkomplizierten, bewegungsbasierten Vollflugsimulatoren². Der traditionelle Simulator umfasst ein Flugdynamikmodell, eine Systemsimulation, ein Hardware-Cockpit, eine externe Visualisierung und eine optionale Bewegungssimulation³.

Diese traditionellen Flugsimulatoren haben einige Vorteile als effektive Flugtrainingsgeräte. Ihre Kosten sind jedoch hoch und umweltschädlich, da der Antrieb jedes Systems erhebliche elektrische Energie erfordert, insbesondere ein vollständiger Flugsimulator, der hohe Temperaturen und Hochdruckflüssigkeit oder Luftdruck benötigt, viel Strom verbraucht und viel Lärm erzeugt⁴.

Ein einfaches Desktop-Simulatorsystem ist jedoch flexibel und kostengünstig, mit geringerer Immersion und weniger Interaktionen als ein vollständiger Flugsimulator². Daher ist es unerlässlich, neue Flugsimulatoren zu entwickeln, die die Vorteile von Desktop-Systemen und Full-Flight-Simulatoren kombinieren (mit anderen Worten, die Flexibilität einer Tabletop-Simulation und die Immersions- und Interaktionsebene nahe an einem Full-Flight-Simulator).

Mit der Entwicklung der Computertechnologie, insbesondere der Virtual-Reality-Technologie (VR), wird eine neue Art von Flugsimulator, die auf der aufkommenden VR-Technologie basiert, Realität. Der VR-basierte Flugsimulator ist flexibel, portabel, kostengünstig und hat einen geringeren Platzbedarf als herkömmliche Flugsimulatoren⁵. Forscher haben in den letzten 20 Jahren Flugsimulatoren auf Basis der VR-Technologie entwickelt 6,7,8,9,10,11; Diese VR-Flugsimulatoren dienen jedoch hauptsächlich der Flugausbildung, und es gibt nur wenige für die Pilotenauswahl. Mit der Kostensenkung und der technologischen Verbesserung verändern sich VR-basierte Simulatoren jedoch und werden für die persönliche Auswahl machbar. In einigen Studien wurden VR-basierte Simulatoren für die persönliche Auswahl in verschiedenen Bereichen eingesetzt: Schijven et ^al.12 wählten chirurgische Auszubildende mit einem Virtual-Reality-Simulator aus. Huang et ^al.13 entwickelten ein psychologisches Auswahlinstrument auf Basis von Virtual-Reality-Technologie für die Rekrutierung von Luftwaffenpiloten. Wojciechowski und Wojtowicz¹⁴ bewerteten die Fähigkeiten eines Kandidaten als Pilot eines unbemannten Luftfahrzeugs (UAV) auf Basis der VR-Technologie. Angesichts der Tatsache, dass die Pilotenauswahl für die Luftfahrtindustrie von entscheidender Bedeutung ist, ist es dringend erforderlich, einen neuen VR-basierten Flugsimulator zu entwickeln, der sich auf die Pilotenauswahl konzentriert, da die Auswahl von Piloten in großem Maßstab anfällig für die Kosten des Simulators und die Anforderungen an das Portabilitätssimulatorsystem ist.

Augenbewegungen geben Hinweise auf die Leistung eines Piloten. Verschiedene Studien haben ergeben, dass der Eye-Scanning-Modus die Leistung zwischen erfahrenen und unerfahrenen Piloten unterscheidet. Durch den Vergleich des Scanmusters zwischen Experten und Anfängern konnte das effiziente und strukturelle Augenbewegungsverhalten der Experten und die unzureichenden Scanmethoden von Anfängern unterschieden werden. Mehrere Luftfahrtstudien haben ergeben, dass die Augenscan-Strategie von Piloten stark mit dem Kenntnisstand^{zusammenhängt} 15,16,17,18,19,20,21,22,23,24. Laut Bellenkes et ^al.25 ist die Dauer der Fixierungen bei Experten kürzer und die Häufigkeit ihrer Fixierungen auf Instrumente höher als bei Anfängern. Fast die gleiche Schlussfolgerung zogen Kasarskis et ^al.26, die entdeckten, dass erfahrene Piloten mehr Fixierungen in Kombination mit kürzeren Dauern als Anfänger haben, was darauf hindeutet, dass erfahrene Piloten einen besseren visuellen Modus haben als Anfänger. In einer weiteren Studie haben Lorenz et al.²⁷ fanden heraus, dass Experten mehr Zeit damit verbringen, aus dem Cockpit zu schauen als Anfänger. Diese Ergebnisse haben einen großen praktischen Wert bei der Auswahl von Neueinsteigern.

Die Bewertung der Flugleistung ist ein weiterer kritischer Faktor für die Auswahl des Piloten. Bei der Bewertung der Flugleistung von Piloten gibt es jedoch folgende Probleme: widersprüchliche Expertenmeinungen, mehr Auswahlnormen und eine einheitliche Auswahltheorie. Im Fahrfeld verglichen Horrey et ^al.28 den absoluten Wert des Spurverlassens von der Mittellinie für verschiedene experimentelle Bedingungen, um die Fahrleistung zu bewerten. Zurück zum Bereich der Luftfahrt: Der Flight Quick Access Recorder (QAR) zeichnet alle Arten von Manipulationsparametern für Piloten, Flugzeugparameter, Umgebungen und Warninformationen während des^{Fluges 29} auf. Genauer gesagt, wie bei den QAR-Indikatoren, ist der Nickwinkel der Rotationswinkel um die linke und rechte Achse des Flugzeugs³⁰, und die Referenzlinie (oder die mittlere Referenzlinie) befindet sich genau in der Mitte der roten und grünen Linien²⁸; Diese beiden Flugparameter werden verwendet, um die Flugleistung von Teilnehmern mit oder ohne Erfahrung in der aktuellen Studie zu bewerten. Diese QAR-Daten können zur Bewertung der Flugleistung verwendet werden, aber nach unserem besten Wissen wurden sie in der wissenschaftlichen Forschung selten für das persönliche Training und die Auswahl verwendet^31,32.

Messungen von Augenbewegungsmustern können verwendet werden, um die Flugleistung zu beurteilen und vorherzusagen und die Ausbildung und Auswahl von Piloten zu leiten. Gerathewohl³³ erklärte, dass das Auge das wichtigste Sinnesorgan des Piloten ist und 80% der Fluginformationen verarbeitet. Der Pilot muss visuelle Informationen von Instrumenten im Cockpit erfassen und in ein kohärentes Bild integrieren, um den Flug²² zu bewältigen. Darüber hinaus ist ein optimales Scanverhalten unerlässlich, um eine bessere Flugleistung^{zu erzielen 15}. Allerdings gibt es derzeit keinen erschwinglichen Flugsimulator, der einen Eyetracker integriert, um quantitative Studien über den Zusammenhang zwischen Augenbewegungen und Flugleistung zu ermöglichen.

In der aktuellen Studie wurde ein neuer VR-Flugsimulator entwickelt, um zu beurteilen, ob Teilnehmer mit Flugerfahrung eine bessere Flugleistung aufwiesen als solche ohne Flugerfahrung. Der VR-Flugsimulator integriert Eye-Tracking und ein Flugdynamiksystem, das die Analyse von Augenbewegungsmustern und die Bewertung der Flugleistung ermöglicht. Insbesondere ist es erwähnenswert, dass der VR-Flugsimulator einen VR-Eyetracker³⁴ und keinen glasartigen oder Desktop-Eyetracker verwendet, um die auf dem Interessengebiet (AOI) basierende Augenbewegung ohne zeitaufwändige Frame-Zählung zu analysieren.

Schließlich kann die vorliegende Arbeit zu einer Omnibus-Messung für die Pilotenauswahl in der Zukunft führen, von der Augenscanbahn bis hin zu objektiven Flugleistungsdaten. Mit Hilfe des virtuellen Flugsimulators werden die Kosten für die Flugauswahl erheblich gesenkt und die Norm der Piloten kann auf der Grundlage umfangreicher Datenerfassung gebildet werden. Die Arbeit schließt eine Lücke zwischen konventionellen und Desktop-Simulatoren für die Flugauswahl.

Protokoll

Alle hier beschriebenen Methoden wurden vom Institutional Review Board (IRB) der Tsinghua-Universität genehmigt, und es wurde eine Einverständniserklärung aller Teilnehmer eingeholt. Nach Abschluss des Turniers erhielten alle Teilnehmer 12 $ (oder ein Geschenk im gleichen Wert).

1. Auswahl der Teilnehmer

1. Rekrutieren Sie die Teilnehmer gemäß einer früheren Studie zur Leistungsanalyse mit der G*Power-Software³⁵ (siehe Materialtabelle), um sicherzustellen, dass die Teilnehmerzahl der von G*Power angegebenen erwarteten Stichprobengröße entspricht, die 21 beträgt.
   HINWEIS: Die von G*Power angegebene erwartete Stichprobengröße bezieht sich auf die geschätzte Anzahl der Teilnehmer, die in einer Studie benötigt werden, um ein gewünschtes Maß an statistischer Aussagekraft zu erreichen, basierend auf der angegebenen Effektgröße, dem Signifikanzniveau und dem verwendeten statistischen Test. Die erwartete Stichprobengröße ist ein wichtiger Aspekt bei der Forschungsplanung. Es hilft den Forschern, die Machbarkeit und Kosteneffizienz ihres Studiendesigns zu bestimmen und stellt sicher, dass die Studie über eine ausreichende statistische Aussagekraft verfügt, um aussagekräftige Effekte zu erkennen.
2. Stellen Sie sicher, dass keiner der Teilnehmer eine Vorgeschichte von Epilepsie, Herz- oder Gehirnerkrankungen, kürzlich eingenommenen endokrinen oder psychiatrischen Medikamenten oder schweren Hautallergien hat.
3. Verwenden Sie die Snellen-Sehtafel (verwenden Sie das metrische System 6/6)³⁶ , um zu bestätigen, dass das Sehvermögen der Teilnehmer normal oder normal korrigiert ist und dass sie keine Sehbehinderungen wie Farbenblindheit oder Farbschwäche haben.
4. Stellen Sie sicher, dass keiner der Teilnehmer in den letzten 24 Stunden Alkohol oder Drogen konsumiert hat, die seine Flugfähigkeit beeinträchtigen könnten.
5. Stellen Sie sicher, dass die Teilnehmer vor dem Experiment nicht weniger als 6 Stunden geschlafen haben und in guter geistiger Verfassung sind.

2. Flugsimulator-Hardware

1. Vergewissern Sie sich, dass die gesamte Hardware des Flugsimulators vollständig ist. Entsprechend ihrer Funktion ist diese Hardware in drei Module unterteilt (Tabelle 1) (siehe Materialtabelle).
   HINWEIS: Forscher müssen einen Metallstab berühren, bevor sie das Gerät berühren, um das Risiko durch elektrostatische Induktion zu vermeiden.
   1. Überprüfen Sie die Komponenten des VR-, HMD- (Head-Mounted-Display) und Eye-Tracking-Moduls anhand von Tabelle 2.
   2. Stellen Sie sicher, dass alle Komponenten des Flugsimulator-PC-Moduls die folgenden Mindestanforderungen erfüllen: 3,6-GHz-Prozessor, interner 4G-Speicher, 64-Bit-Betriebssystem und Grafikkarte. Das System unterstützt alle Flugregler.
   3. Überprüfen Sie die Komponenten des Flugsteuerungsmoduls und stellen Sie sicher, dass die Parameterkonfiguration des Geräts mit Tabelle 3 übereinstimmt.
2. Installieren Sie die Hardware des Flugsimulators gemäß dem Layout in Abbildung 1. Abbildung 2 zeigt, wie die Hardware angeschlossen ist.
   1. Verbinden Sie die Drosselklappe und das Bedienfeld physisch und behandeln Sie sie als Einheit.
   2. Verbinden Sie Gas, Joystick und Pedal über USB mit dem PC-Modul des Flugsimulators.
   3. Verbinden Sie das HMD über die Link-Box mit dem PC-Modul des Flugsimulators.
   4. Verbinden Sie die Basisstationen und VR-Controller über die VR-Software am PC mit dem HMD.

VR-Head-Mounted-Display (HMD) und Eye-Tracking-Modul	1. Basisstation
	2. VR-HMD
Flugsimulator PC-Modul	3. Flugsimulator PC
Flugsteuerungs-Modul	4. Fluggas
	5. Flug-Joystick
	6. Flugpedal

Tabelle 1: Komponenten der drei Module der Flugsimulator-Hardware.

Hauptbestandteil	Zubehör
VR-HMD	Kopfhörer-Kabel (angeschlossen)
	Gesichtskissen (beigefügt)
	Putzlappen
	Kopfhörer-Lochkappe × 2
Link-Box	Netzteil
	DisplayPort-Kabel
	USB 3.0-Kabel
	Montagepad
Steuerungen (2018) × 2	Netzteile × 2
	Schlüsselbänder × 2
	Micro-USB-Kabel × 2
Basisstation 2.0 × 2	Netzteile × 2
	Montagesatz (2 Halterungen, 4 Schrauben und 4 Wandanker)

Tabelle 2: Liste der Komponenten des VR-HMD- und Eye-Tracking-Moduls.

Gerät	Konfiguration der Parameter
Flug-Joystick	Neunzehn Aktionstasten
	Ein 8-Wege-"Standpunkt"-Hut
	Mehrere 3D-Magnetsensoren
	Ein 5-Schrauben-Federsystem
	Eine 16-Bit-Auflösung (Werte 65536 x 65536).
Flug-Bedienfeld	Fünfzehn Aktionstasten
	Ein TRIM-Rad
	Fünf programmierbare LEDs
Fluggas	Siebzehn Aktionstasten
	Ein Maushut mit Druckknopf
	Ein 8-Wege-"Standpunkt"-Hut
	Mehrere 3D-Magnetsensoren
	Zwei 14-Bit-Auflösungen
Flugpedal	Spannung zwischen 2,5 kg und 5 kg
	Winkel zwischen 35° und 75°

Tabelle 3: Die Parameterkonfiguration der Geräte des Flugsteuerungsmoduls.

Abbildung 1: Das Layout der VR-Flugsimulator-Hardware. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 2: Der Anschluss der Flugsimulator-Hardware. (A) Flugsteuerungsmodul. Die Drosselklappe und das Bedienfeld sind physisch verbunden und werden als Einheit behandelt. Wenn der Begriff "Gashebel" in dieser Studie verwendet wird, bezieht er sich sowohl auf den Gashebel als auch auf das Bedienfeld. (B) PC-Modul des Flugsimulators. Ein Computer, der die in Schritt 2.2 beschriebenen Anforderungen erfüllt. (C) HMD- und Eye-Tracking-Modul. Die Software Development Kits (SDKs) für Eye-Tracking und die 3D-Engine werden synchronisiert, wenn sie auf demselben Computer installiert werden. Daher interagieren und arbeiten die Eye-Tracking-Funktionen und das Betriebssystem zusammen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

3. Flugsimulator-Software

1. Stellen Sie sicher, dass die gesamte Software (siehe Materialtabelle) installiert wurde, bevor das Experiment beginnt. Informationen über die gesamte im Experiment verwendete Software sind in Tabelle 4 aufgeführt.

Name	Beschreibung
VR-Software	Ein weit verbreitetes Tool, um VR-Inhalte auf der Hardware zu erleben.
VR-App-Store	Der App Store für Virtual Reality, in dem Kunden die Inhalte erkunden, erstellen, verbinden und erleben können, die sie lieben und brauchen.
Eye-Tracking-Software	Eye-Tracking-Software, die vom Forschungsteam über Eye-Tracking- und 3D-Engine-SDKs entwickelt wurde.
FlySimulator (Englisch)	Das Hauptprogramm der Flugsimulator-Software, das vom Forschungsteam entwickelt wurde.
Software zur Bildschirmaufzeichnung	Eine kostenlose Open-Source-Software für Videoaufzeichnung und Live-Streaming.

Tabelle 4: Informationen über die gesamte im Experiment verwendete Software.

4. Vorbereitung vor dem Start des Flugsimulators

HINWEIS: Wenn Sie das Eye-Tracking-Programm zum ersten Mal ausführen, führen Sie die zusätzlichen Schritte gemäß Abbildung 3 aus. Das Eye-Tracking-Programm wird nach dem ersten Lauf automatisch aktiviert.

Abbildung 3: Die zusätzlichen Schritte beim ersten Ausführen des Eye-Tracking-Programms. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

1. Stellen Sie sicher, dass das HMD eingeschaltet und mit dem Computer verbunden ist.
2. Platzieren Sie die Basisstation diagonal, um sicherzustellen, dass sich das HMD immer innerhalb des Überwachungsbereichs der Basisstation befinden kann. Halten Sie die Basisstation fest, um eine stabile VR-Umgebung zu erhalten.
3. Richten Sie einen Spielbereich nur für Stehplätze ein, gemäß den Anweisungen der VR-Software auf dem Computer.
   HINWEIS: Die Eingabeaufforderung lässt einen Bereich mit Raummaßstab zu oder richtet einen Spielbereich nur mit Stehplätzen ein. Der Nur-Stehen-Modus wird im Allgemeinen verwendet, um VR-Szenen zu erleben, die kein Gehen erfordern und ausgewählt werden können, wenn der Benutzer nur wenig Platz hat, um sich zu bewegen. Richten Sie daher in diesem Experiment einen Spielbereich nur für Stehplätze ein.
4. Stellen Sie die Eye-Tracking-Kalibrierung ein. Das Eye-Tracking-System muss bei jedem Wechsel des Teilnehmers neu kalibriert werden.
   1. Vergewissern Sie sich, dass die Teilnehmer keine Kontaktlinsen verwenden, was zu einer Fehlfunktion des Eye-Trackings führt.
   2. Öffnen Sie das Eye-Tracking-Kalibrierungsprogramm mit den VR-Controllern (siehe Materialtabelle).
   3. Passen Sie die Gerätehöhe, den Augenabstand (IDP) und den Blickpunkt nach den Anweisungen des Systems an.
   4. Lassen Sie die Augen des Teilnehmers jeden Punkt 2 Sekunden lang im Uhrzeigersinn beleuchten, um die Wirksamkeit der Eye-Tracking-Kalibrierung zu überprüfen.
5. Schließen Sie das abgestimmte Flugsteuerungsmodul und das Großbilddisplay (d. h. mindestens einen 27-Zoll-Monitor) an denselben Computer wie das VR-HMD an. Der Bildschirm ermöglicht es dem Experimentator, gleichzeitig zu sehen, was im VR-HMD passiert.

5. Experimenteller Ablauf

HINWEIS: Das Experiment ist in vier Schritte unterteilt: "Informationen sammeln", "Einführung in die Aufgabe und den Betrieb", "Üben vor dem Experiment" und "Durchführen eines formellen Experiments". Der experimentelle Prozess ist in Abbildung 4 zusammengefasst.

Abbildung 4: Das Flussdiagramm des Experiments. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

1. Sammeln Sie Informationen von den Teilnehmern (15 Minuten).
   1. Füllen Sie das Formular mit den Zahlungsdetails mit den Zahlungsinformationen der Teilnehmer aus.
   2. Informieren Sie die Teilnehmer, das Einwilligungsdokument zu lesen und zu unterschreiben.
2. Führen Sie die Teilnehmer in die Aufgabe und den Simulatorbetrieb ein (5 min).
   1. Erklären Sie den Teilnehmern das Verkehrsmuster und die Karte (Abbildung 5).
   2. Weisen Sie die Teilnehmer in die Verwendung des VR-Flugsimulators ein.
   3. Informieren Sie die Teilnehmer, dass sie das Experiment verlassen können, wenn sie sich bei der Simulation eines Fluges unwohl fühlen.
3. Bitten Sie die Teilnehmer, den Umgang mit dem VR-Flugsimulator zu üben (15 min).
   1. Passen Sie das VR-HMD an die Teilnehmer an und kalibrieren Sie die Augenbewegungen. Passen Sie die Gerätehöhe, den Augenabstand (IDP) und den Blickpunkt gemäß den Anweisungen des Systems an.
   2. Öffnen Sie die Bildschirmaufzeichnungssoftware.
   3. Starten Sie das FlySimulator-Programm , um die Teilnehmer bei der Flugausbildung zu unterstützen.
   4. Weisen Sie die Teilnehmer an, das Flugpedal, den Joystick und den Gashebel gemeinsam zu verwenden, um das Flugzeug so nah wie möglich an die Referenzfluglinie zu steuern (Abbildung 5).
   5. Setzen Sie die Schalttasten für Fluggas und Motor zurück, nachdem Sie das FlySimulator-Programm beendet haben, und beenden Sie die Aufzeichnung des Bildschirms, nachdem der Proband die Übung beendet hat.
4. Führen Sie formelle Flugexperimente durch (20 min).
   1. Setzen Sie das VR-HMD für die Teilnehmer ein und starten Sie OBS Studio , um die Aufzeichnung des Bildschirms zu starten.
   2. Starten Sie das FlySimulator-Programm, wählen Sie eine passende Perspektive, starten Sie den Motor, lassen Sie die Feststellbremse los und geben Sie Vollgas.
   3. Beenden Sie das FlySimulator-Programm und setzen Sie dann die Fluggas - und Motorschaltertasten zurück. Beenden Sie die Aufzeichnung des Bildschirms.

Abbildung 5: Das Verkehrsmuster für den VR-Flugsimulator. Der Nickwinkel ist der Drehwinkel um die linke und rechte Achse des Flugzeugs, und die Referenzlinie (oder die mittlere Referenzlinie) befindet sich genau in der Mitte der roten und grünen Linie. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

6. Datenanalyse

1. Analysieren Sie Augenbewegungsdaten.
   1. Unterteilen Sie in dieser Studie fünf AOI-Zonen (Area of Interest); Weitere Informationen zur Berechnung von AOIs finden Sie in Abbildung 6, basierend auf dem tatsächlichen Panel des Flugcockpits, das dem Flugcockpit-Instrument entspricht (Abbildung 7).
   2. Berechnen Sie den AOI-Differenztest anhand des prozentualen Anteils der Verweilzeit in der AOI-Zone³⁷ unter Berücksichtigung der Ausstattungsmerkmale des in dieser Studie verwendeten VR-Okulomotors.
      HINWEIS: Der durchschnittliche Prozentsatz der Verweildauer ist der kumulative Prozentsatz, der mit dem Betrachten innerhalb eines AOI verbracht wurde, geteilt durch die gesamte Fixationszeit und gemittelt über die Teilnehmer hinweg.
2. Analysieren Sie Flugleistungsdaten mit eigens entwickelten Programmierskripten unter Verwendung von Python 3.10. Der Kernalgorithmus für Leistungsmetriken wurde von der QAR-Analysemethode adaptiert, die von den QAR-Daten von 35 BAE-146-Flugzeugen inspiriert wurde, die von der National Aeronautics and Space Administration (NASA)³⁸ zur Verfügung gestellt wurden.
   HINWEIS: Flugleistungsindikatoren für diese Studie: die Gesamtflugzeit (die Gesamtzeit vom Start bis zur Landung für jeden Teilnehmer in Sekunden), der Nickwinkel 1 s vor der Landung (Nickwinkel des Flugzeugs 1 s vor der Landung, ermittelt aus Rohdaten, in Grad), die mittlere Entfernung zur Referenzlinie (mittlerer Fehler des räumlichen Abstands zwischen dem Flugzeug und der Referenzlinie während des Fluges, in Metern) und Standardabweichung des Abstands zur Referenzlinie (Standardabweichung des räumlichen Abstands zwischen dem Flugzeug und der Referenzlinie während des Fluges, in Metern).
3. Führen Sie die statistischen Analysen durch.
   1. Verwenden Sie den Shapiro-Wilk-Test³⁹ , um die Normalität der Daten zu bestätigen.
   2. Verwenden Sie Statistiksoftware (siehe Materialtabelle) für deskriptive Statistiken, den Mann-Whitney U-Test und den Student's t-Test.
   3. Darstellen der Geigendiagramme, um die Form der Datenverteilung⁴⁰ besser anzuzeigen.
      HINWEIS: Die Erklärung für die Effektstärke, die mit Cohens d gemessen wird, lautet wie folgt: 0,1 ist sehr klein, 0,2 ist klein, 0,5 ist mittel, 0,8 ist groß, 1,2 ist sehr groß und 2,0 ist riesig^41,42. Das Signifikanzniveau wurde auf p < 0,05 festgelegt.

Abbildung 6: AOI-Vorverarbeitung und Berechnung des Strömungsprozesses. In den Abschnitten 1 bis 4 wird beschrieben, wie die vorliegende Studie die Augenbewegungsdaten der Piloten bis zum unabhängigen Stichproben-t-Test verarbeitet hat. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 7: Schematische Darstellung der AOI-Aufteilung des Fluginstruments. Die Funktion der Instrumente: (A) Der Fluggeschwindigkeitsanzeiger zeigt die Geschwindigkeit des Flugzeugs relativ zur Luft an. (B) Die Höhenanzeige zeigt die Nick- und Rollhöhe des Luftfahrzeugs an. (C) Die vertikale Geschwindigkeitsanzeige zeigt die Steig- oder Sinkgeschwindigkeit des Luftfahrzeugs an. (D) Die Höhenanzeige zeigt die barometrische Höhe des Luftfahrzeugs an. (E) Die Motordrehzahlanzeige zeigt die Drehzahl des Flugzeugmotors an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Ergebnisse

Für das aktuelle Experiment wurden 23 Experten mit Flugerfahrung und 23 Neulinge ohne Flugerfahrung ausgewählt. Die Teilnehmer waren zwischen 25 und 58 Jahre alt (Experten: M = 32,52 Jahre, SD = 7,28 Jahre; Anfänger: M = 29,57 Jahre, SD = 5,74 Jahre). Das Geschlecht aller Teilnehmer war männlich. Alle Neulinge wurden von der Tsinghua-Universität rekrutiert (Studenten oder Dozenten), und alle Experten kamen von China Eastern Airlines.

Augenbewegu...

Diskussion

In der aktuellen Studie wurde untersucht, ob Teilnehmer mit Flugerfahrung eine bessere Flugleistung aufwiesen als diejenigen ohne Flugerfahrung in einem VR-basierten Flugsimulator. Vor allem aber wurde untersucht, ob bei diesen Teilnehmern mit besserer Flugleistung ein optimiertes Augenbewegungsmuster gefunden werden konnte. Die Ergebnisse zeigen signifikante Unterschiede zwischen Teilnehmern mit und ohne Flugerfahrung bei drei wichtigen Flug-QAR-Indikatoren: Nickwinkel 1 s vor der Landung, die mittlere Entfernung zur Re...

Materialien

Name	Company	Catalog Number	Comments
3D engine SDK	Epic Games	Unreal Engine 4 GameAnalytics Unreal SDK	This SDK is a powerful yet flexible free analytics tool designed for games.
CPU	Intel	IntelCore i9	One of the most powerful CPU on the mainstream market.
Eye tracking SDK	Tobii	Tobii XR SDK	This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware.
Eye tracking software	Developed by the research team		A program that tracks the movement of a person's eyes while they are using a virtual reality HMD.
FlySimulator program	Developed by the research team		A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers.
Graphics card	NVIDIA	GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock   24 GB Memory Size GDDR6X Memory Type	One of the most powerful graphics card on the mainstream market.
Operating system (OS)	Microsoft	Windows XP	An operating system (OS) developed and exclusively distributed by Microsoft Corporation
Replica control panel	THRUSTMASTER	2960720 2971004 2962072 2960748 2960769	U.S. Air Force A-10C attack aircraft HOTAS
Replica joystick	THRUSTMASTER	2960720	U.S. Air Force A-10C attack aircraft HOTAS
Replica pedal	THRUSTMASTER		TPR pendular rudder
Replica throttle	THRUSTMASTER		U.S. Air Force A-10C attack aircraft HOTAS
Screen connected to PC	Redmi	RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio	Screen allows the experimenter to simultaneously view what is happening in the VR HMD
Screen recording software	OBS Project	OBS Studio Version 28.0	A free and open source software for video recording and live streaming
Statistical power analysis software	Open-Source	G*power Version 3.1.9.6	A free and user-friendly tool for estimating statistical power and sample size.
Statistical software	IBM	SPSS Version 24.0	A powerful statistical software platform
Versatile statistics tool	GraphPad Software	GraphPad Prism Version 9.4.0	A versatile statistics tool purpose-built for scientists-not statisticians
VR app store	HTC Corporation	VIVE Software 2.0.17.6 / 2.1.17.6	An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need.
VR head-mounted display (HMD)	HTC Corporation	VIVE Pro Eye	A VR headset with precision eye tracking
VR software	Steam	Steam VR Version 1.23	A tool for experiencing VR content on the hardware