Eye-Tracking während einer komplexen Luftfahrtaufgabe für Einblicke in die Informationsverarbeitung

Zusammenfassung

Eye-Tracking ist eine nicht-invasive Methode, um die Informationsverarbeitung zu untersuchen. In diesem Artikel wird beschrieben, wie Eye-Tracking verwendet werden kann, um das Blickverhalten während einer Flugsimulations-Notfallaufgabe bei Piloten mit geringer Arbeitszeit (z. B. <350 Flugstunden) zu untersuchen.

Zusammenfassung

Eye-Tracking wird in großem Umfang als Proxy eingesetzt, um Einblicke in die kognitiven, wahrnehmungsbezogenen und sensomotorischen Prozesse zu gewinnen, die der Leistung von Fähigkeiten zugrunde liegen. Frühere Arbeiten haben gezeigt, dass traditionelle und fortschrittliche Blickmetriken zuverlässig robuste Unterschiede in der Expertise des Piloten, der kognitiven Belastung, der Müdigkeit und sogar dem Situationsbewusstsein (SA) aufweisen.

Diese Studie beschreibt die Methodik für die Verwendung eines tragbaren Eyetracker- und Gaze-Mapping-Algorithmus, der naturalistische Kopf- und Augenbewegungen (d. h. Anvisieren) in einem bewegungslosen High-Fidelity-Flugsimulator erfasst. Die in diesem Artikel beschriebene Methode beschreibt die Area-of-Interest (AOI)-basierte Blickanalyse, die mehr Kontext in Bezug darauf liefert, wohin die Teilnehmer schauen, und die Verweildauer, die anzeigt, wie effizient sie die fixierten Informationen verarbeiten. Das Protokoll veranschaulicht die Nützlichkeit eines tragbaren Eyetrackers und eines Computer-Vision-Algorithmus, um Änderungen des Blickverhaltens als Reaktion auf einen unerwarteten Notfall während des Fluges zu bewerten.

Repräsentative Ergebnisse zeigten, dass der Blick signifikant beeinflusst wurde, als das Notfallereignis eingeführt wurde. Insbesondere nahmen die Aufmerksamkeitszuweisung, die Blickstreuung und die Komplexität der Blicksequenz signifikant ab und konzentrierten sich während des Notfallszenarios stark auf den Blick aus dem Frontfenster und auf den Geschwindigkeitsmesser (alle p-Werte < 0,05). Der Nutzen und die Grenzen des Einsatzes eines tragbaren Eyetrackers in einer bewegungslosen Flugsimulationsumgebung mit hoher Wiedergabetreue zum Verständnis der raumzeitlichen Eigenschaften des Blickverhaltens und seiner Beziehung zur Informationsverarbeitung in der Luftfahrt werden diskutiert.

Einleitung

Der Mensch interagiert hauptsächlich mit der Welt um ihn herum, indem er zuerst seine Augen und seinen Kopf bewegt, um seine Sichtlinie (d. h. seinen Blick) auf ein bestimmtes Objekt oder einen bestimmten Ort von Interesse zu richten. Dies gilt insbesondere für komplexe Umgebungen wie Flugzeugcockpits, in denen Piloten mit mehreren konkurrierenden Reizen konfrontiert sind. Blickbewegungen ermöglichen das Sammeln von hochauflösenden visuellen Informationen, die es dem Menschen ermöglichen, auf sichere und flexible Weise mit seiner Umgebung zu interagieren¹, was in der Luftfahrt von größter Bedeutung ist. Studien haben gezeigt, dass Augenbewegungen und Blickverhalten Einblicke in die zugrunde liegenden Wahrnehmungs-, kognitiven und motorischen Prozesse bei verschiedenen Aufgaben geben ^1,2,3. Darüber hinaus hat der Blickwinkel einen direkten Einfluss auf die Planung und Ausführung von Bewegungen der oberen Gliedmaßen³. Daher stellt die Analyse des Blickverhaltens bei Flugaufgaben eine objektive und nicht-invasive Methode dar, die aufzeigen könnte, wie Augenbewegungsmuster mit verschiedenen Aspekten der Informationsverarbeitung und -leistung zusammenhängen.

Mehrere Studien haben einen Zusammenhang zwischen Blick- und Aufgabenleistung über verschiedene Laborparadigmen hinweg sowie bei komplexen Aufgaben in der realen Welt (z. B. beim Bedienen eines Flugzeugs) gezeigt. Zum Beispiel neigen aufgabenrelevante Areale dazu, häufiger und für eine längere Gesamtdauer fixiert zu werden, was darauf hindeutet, dass Fixationsort, -häufigkeit und -verweildauer Proxies für die Zuweisung von Aufmerksamkeit bei neurokognitiven und fliegerischen Aufgaben sind ^4,5,6. Sehr erfolgreiche Performer und Experten zeigen im Vergleich zu weniger erfolgreichen Performern oder Anfängern eine signifikante Fixierungsverzerrung auf aufgabenkritische Bereiche ^4,7,8. Raum-zeitliche Aspekte des Blicks werden durch Änderungen der Verweilzeitmuster über verschiedene Interessenbereiche (AOIs) oder Messungen der Fixationsverteilung (d.h. Stationary Gaze Entropy: SGE) erfasst. Im Kontext laborbasierter Paradigmen nehmen die durchschnittliche Fixationsdauer, die Länge des Scanpfads und die Komplexität der Blicksequenz (d. h. die Blickübergangsentropie: GTE) tendenziell zu, da mehr Scannen und Verarbeiten erforderlich sind, um Probleme zu lösen und anspruchsvollere Aufgabenziele/-lösungen zu erarbeiten ^4,7.

Umgekehrt haben Luftfahrtstudien gezeigt, dass die Länge des Scanpfads und die Komplexität der Blicksequenz mit der Komplexität der Aufgabe und der kognitiven Belastung abnehmen. Diese Diskrepanz unterstreicht die Tatsache, dass das Verständnis der Aufgabenkomponenten und der Anforderungen des verwendeten Paradigmas für die genaue Interpretation von Blickmetriken entscheidend ist. Insgesamt unterstützt die bisherige Forschung, dass Blickmessungen einen aussagekräftigen, objektiven Einblick in die aufgabenspezifische Informationsverarbeitung bieten, die den Unterschieden in der Aufgabenschwierigkeit, der kognitiven Belastung und der Aufgabenleistung zugrunde liegt. Mit den Fortschritten in der Eye-Tracking-Technologie (d. h. Portabilität, Kalibrierung und Kosten) ist die Untersuchung des Blickverhaltens in freier Wildbahn ein aufstrebendes Forschungsgebiet mit konkreten Anwendungen zur Förderung der Berufsausbildung in den Bereichen Medizin ^9,10,11 und Luftfahrt 12,13,14.

Die aktuelle Arbeit zielt darauf ab, den Nutzen der Verwendung von blickbasierten Metriken weiter zu untersuchen, um Einblicke in die Informationsverarbeitung zu gewinnen, indem ein tragbarer Eyetracker während einer Notfallflugsimulationsaufgabe bei Piloten mit geringer Zeit eingesetzt wird. Diese Studie baut auf früheren Arbeiten auf, bei denen ein kopfstabilisierter Eyetracker (d. h. EyeLink II) verwendet wurde, um Unterschiede in den Metriken des Blickverhaltens in Abhängigkeit von der Flugschwierigkeit (d. h. Änderungen der Wetterbedingungen) zu ^untersuchen5. Die in diesem Manuskript vorgestellte Arbeit erweitert auch andere Arbeiten, die die methodischen und analytischen Ansätze für den Einsatz von Eye-Tracking in einem Virtual-Reality-System beschrieben^{haben 15}. Unsere Studie verwendete einen bewegungslosen Simulator mit höherer Genauigkeit und berichtet über eine zusätzliche Analyse von Augenbewegungsdaten (d. h. Entropie). Über diese Art der Analyse wurde bereits in früheren Arbeiten berichtet. Eine Einschränkung in der aktuellen Literatur ist jedoch die fehlende Standardisierung bei der Berichterstattung über die analytischen Schritte. Zum Beispiel ist die Berichterstattung, wie Interessenbereiche definiert werden, von entscheidender Bedeutung, da sie die resultierenden Entropiewerte¹⁶ direkt beeinflusst.

Zusammenfassend lässt sich sagen, dass in der aktuellen Arbeit traditionelle und dynamische Blickverhaltensmetriken untersucht wurden, während die Schwierigkeit der Aufgabe durch die Einführung eines Notfallszenarios während des Fluges (d.h. unerwarteter Totalausfall des Triebwerks) manipuliert wurde. Es wurde erwartet, dass die Einführung eines Notfallszenarios während des Fluges Einblicke in die Veränderungen des Blickverhaltens geben würde, die der Informationsverarbeitung unter schwierigeren Aufgabenbedingungen zugrunde liegen. Die Studie, über die hier berichtet wird, ist Teil einer größeren Studie, die den Nutzen von Eye-Tracking in einem Flugsimulator untersucht, um die kompetenzbasierte Pilotenausbildung zu informieren. Die hier vorgestellten Ergebnisse wurden bisher nicht veröffentlicht.

Protokoll

Das folgende Protokoll kann auf Studien angewendet werden, an denen ein tragbarer Eyetracker und ein Flugsimulator beteiligt sind. In der aktuellen Studie werden Eye-Tracking-Daten neben komplexen luftfahrtbezogenen Aufgaben in einem Flugsimulator aufgezeichnet (siehe Materialtabelle). Der Simulator war so konfiguriert, dass er repräsentativ für eine Cessna 172 war, und wurde mit der erforderlichen Instrumententafel (Dampfanzeigekonfiguration), einem Avionik-/GPS-System, einer Audio-/Lichttafel, einer Unterbrechertafel und einer Flight Control Unit (FCU) verwendet (siehe Abbildung 1). Das in dieser Studie verwendete Flugsimulatorgerät ist zu Schulungszwecken zertifizierbar und wird von der örtlichen Flugschule verwendet, um die Fähigkeiten zu trainieren, die erforderlich sind, um auf verschiedene Notfallszenarien, wie z. B. einen Triebwerksausfall, in einer risikoarmen Umgebung zu reagieren. Die Teilnehmer dieser Studie waren alle lizenziert; Daher haben sie das Szenario des Motorausfallsimulators bereits im Rahmen ihrer Ausbildung erlebt. Diese Studie wurde vom Office of Research Ethics der University of Waterloo genehmigt (43564; Datum: 17. November 2021). Alle Teilnehmer (N = 24; 14 Männer, 10 Frauen; Durchschnittsalter = 22 Jahre; Flugstundenbereich: 51-280 h) gaben eine schriftliche Einverständniserklärung ab.

Abbildung 1: Flugsimulator-Umgebung. Eine Illustration der Flugsimulatorumgebung. Die Sicht des Teilnehmers auf das Cockpit entsprach der eines Piloten, der eine Cessna 172 flog, die für einen Anflug von Lee zur Basis bis zum Endanflug auf den Waterloo International Airport, Breslau, Ontario, Kalifornien, voreingestellt war. Die orangefarbenen Kästchen stellen die zehn Hauptinteressengebiete dar, die in den Blickanalysen verwendet werden. Dazu gehören die (1) Fluggeschwindigkeit, (2) die Fluglage, (3) der Höhenmesser, (4) der Kurvenkoordinator, (5) der Kurs, (6) die vertikale Geschwindigkeit und (7) die Betriebsanzeigen sowie die (8) vorderen, (9) linken und (10) rechten Fenster. Diese Abbildung wurde von Ayala et ^al.5 modifiziert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

1. Teilnehmer-Screening und Einwilligungserklärung

1. Screenen Sie den Teilnehmer über einen Selbstberichtsfragebogen basierend auf den Einschluss-/Ausschlusskriterien ^2,5: Besitz von mindestens einer Privatpilotenlizenz (PPL), normales oder auf normales Sehvermögen korrigiertes Sehvermögen und keine vorherige Diagnose einer neuropsychiatrischen/neurologischen Störung oder Lernbehinderung.
2. Informieren Sie den Teilnehmer über die Ziele und den Ablauf der Studie durch eine ausführliche Einweisung durch den Experimentator und den betreuenden Fluglehrer/Simulatortechniker. Überprüfen Sie die Risiken, die in dem vom Ethikprüfungsausschuss der Institution genehmigten Einwilligungsdokument beschrieben sind. Beantworten Sie alle Fragen zu den potenziellen Risiken. Holen Sie eine schriftliche Einverständniserklärung ein, bevor Sie mit Studienverfahren beginnen.

2. Hardware-/Softwareanforderungen und Inbetriebnahme

1. Flugsimulator (in der Regel vom Simulatortechniker ausgefüllt)
   1. Schalten Sie die Simulator- und Projektorbildschirme ein. Wenn sich einer der Projektoren nicht gleichzeitig mit den anderen einschaltet, starten Sie den Simulator neu.
   2. Drücken Sie auf dem Anweisungsbildschirm auf die Registerkarte "Voreinstellungen " und vergewissern Sie sich, dass die erforderlichen Positions - und/oder Wettervoreinstellungen verfügbar sind. Erstellen Sie bei Bedarf einen neuen Vorgabentyp. Wenden Sie sich an den Techniker, um Hilfe zu erhalten.
2. Kollektion Laptop
   1. Drehen Sie den Laptop um und melden Sie sich mit den Anmeldeinformationen an.
   2. Wenn Sie dazu aufgefordert werden, wählen Sie entweder ein bereits vorhandenes Profil aus oder erstellen Sie eines, wenn Sie einen neuen Teilnehmer testen. Alternativ können Sie die Option Gast auswählen, um die letzte Kalibrierung zu überschreiben.
      1. Um ein neues Profil zu erstellen, scrollen Sie bis zum Ende der Profilliste und klicken Sie auf Hinzufügen.
   3. Legen Sie die Profil-ID auf die Teilnehmer-ID fest. Diese Profil-ID wird verwendet, um den Ordner zu markieren, der nach Abschluss einer Aufzeichnung Eye-Tracking-Daten enthält.
3. Kalibrierung von Brillen
   HINWEIS: Die Brille muss mit dem Laptop verbunden bleiben, um aufnehmen zu können. Die Kalibrierung mit der Box muss nur einmal zu Beginn der Datenerfassung durchgeführt werden.
   1. Öffnen Sie das Eyetracker-Gehäuse und nehmen Sie die Brille heraus.
   2. Verbinden Sie das USB-zu-Micro-USB-Kabel vom Laptop mit der Brille. Wenn Sie auf dem Laptop dazu aufgefordert werden, aktualisieren Sie die Firmware.
   3. Suchen Sie das schwarze Kalibrierungsfeld im Gehäuse des Eyetrackers.
   4. Wählen Sie auf dem Sammlungs-Laptop im Eye-Tracking-Hub Extras | Kalibrierung von Geräten.
   5. Legen Sie die Brille in die Box und drücken Sie im Popup-Fenster auf Start , um mit der Kalibrierung zu beginnen.
   6. Nehmen Sie die Brille aus der Verpackung, sobald die Kalibrierung abgeschlossen ist.
4. Passform des Nasenstücks
   1. Wählen Sie den Objektivrevolver aus.
   2. Weisen Sie den Teilnehmer an, sich ins Cockpit zu setzen und die Brille aufzusetzen.
   3. Navigieren Sie im Eyetracking-Hub zu Datei | Einstellungen | Nasen-Zauberer.
   4. Aktivieren Sie das Kontrollkästchen für die Passform Ihrer Brille auf der linken Seite des Bildschirms. Wenn die Passform Ausgezeichnet ist, fahren Sie mit dem nächsten Schritt fort. Klicken Sie andernfalls auf das Kästchen.
   5. Sagen Sie dem Teilnehmer, dass er die auf dem Bildschirm angezeigten Passformempfehlungen befolgen soll: Stellen Sie den Objektivrevolver ein, stellen Sie die Brille so ein, dass sie bequem sitzt, und schauen Sie geradeaus auf den Laptop.
   6. Tauschen Sie bei Bedarf den Objektivrevolver aus. Drücken Sie den Objektivrevolver in der Mitte zusammen, schieben Sie ihn aus der Brille heraus und schieben Sie dann einen anderen hinein. Testen Sie die verschiedenen Nasenstücke weiter, bis derjenige identifiziert ist, der am besten zu den Teilnehmern passt.
5. Anrufe der Flugsicherung (ATC)
   HINWEIS: Wenn die Studie ATC-Anrufe erfordert, bitten Sie den Teilnehmer, sein eigenes Headset mitzubringen oder das Labor-Headset zu verwenden. Schließen Sie die Augapfelkalibrierung erst ab, nachdem der Teilnehmer das Headset aufgesetzt hat, da das Headset die Brille auf dem Kopf bewegen kann, was sich auf die Kalibrierungsgenauigkeit auswirkt.
   1. Vergewissern Sie sich, dass der Steuersatz an die Buchse an der linken Unterseite der Instrumententafel angeschlossen ist.
   2. Weisen Sie den Teilnehmer an, das Headset aufzusetzen. Bitten Sie sie, sie nicht zu berühren oder abzunehmen, bis die Aufnahme beendet ist.
      HINWEIS: Jedes Mal, wenn das Headset (und damit die Brille) bewegt wird, ist eine Neukalibrierung erforderlich.
   3. Führen Sie einen Funkcheck durch.
6. Kalibrierung des Augapfels
   HINWEIS: Jedes Mal, wenn der Teilnehmer die Brille auf den Kopf schiebt, muss er die Augapfelkalibrierung wiederholen. Bitten Sie den Teilnehmer, die Brille nicht zu berühren, bis seine Tests beendet sind.
   1. Navigieren Sie im Eyetracking-Hub zum Parameterfeld am linken Bildschirmrand.
      1. Überprüfen Sie den Kalibrierungsmodus und wählen Sie entsprechend fester Blick oder fester Kopf .
      2. Überprüfen Sie, ob es sich bei den Kalibrierungspunkten um ein 5 x 5-Raster handelt, was insgesamt 25 Punkte ergibt.
      3. Überprüfen Sie den Validierungsmodus und stellen Sie sicher, dass er mit dem Kalibrierungsmodus übereinstimmt.
      4. Untersuchen Sie die Eye-Tracking-Ausgaben und stellen Sie sicher, dass alles, was für die Studie aufgezeichnet werden muss, mit den Kontrollkästchen aktiviert ist.
   2. Klicken Sie auf File | Einstellungen | Erweitert und überprüfen Sie, ob die Abtastrate 250 Hz beträgt.
   3. Aktivieren Sie das Kontrollkästchen Kalibrieren Sie Ihre Augenverfolgung auf dem Bildschirm mit der Maus. Die Kalibrierungsanweisungen variieren je nach Modus. Um der aktuellen Studie zu folgen, verwenden Sie den Kalibrierungsmodus mit festem Blick : Weisen Sie die Teilnehmer an, ihren Kopf so zu bewegen, dass das Feld das schwarze Quadrat überlappt und sie sich ausrichten. Bitten Sie dann den Teilnehmer, seinen Blick auf das Fadenkreuz im schwarzen Quadrat zu richten und die Leertaste zu drücken.
   4. Klicken Sie auf das Kontrollkästchen Setup validieren . Die Anweisungen sind die gleichen wie in Schritt 2.6.3. Prüfen Sie, ob die Validierungszahl MAE (Mean Absolute Error) <1° beträgt. Wenn nicht, wiederholen Sie die Schritte 2.6.3 und 2.6.4.
   5. Klicken Sie auf Kalibrierung speichern , um die Kalibrierung jedes Mal im Profil zu speichern, wenn die Kalibrierung und Validierung abgeschlossen sind.
7. iPad-Nutzung
   HINWEIS: Das iPad befindet sich links neben der Instrumententafel (siehe Abbildung 1). Es wird für Fragebögen verwendet, typischerweise nach dem Flug.
   1. Schalten Sie das iPad ein und stellen Sie sicher, dass es mit dem Internet verbunden ist.
   2. Öffnen Sie ein Fenster in Safari und geben Sie den Link für den Studienfragebogen ein.

3. Datenerhebung

HINWEIS: Wiederholen Sie diese Schritte für jede Testversion. Es wird empfohlen, den Laptop auf der Bank außerhalb des Cockpits zu platzieren.

1. Drücken Sie auf dem Flugsimulator-Computer auf dem Anweisungsbildschirm auf Voreinstellungen, und wählen Sie dann die gewünschte Positionsvoreinstellung aus, die simuliert werden soll. Klicken Sie auf die Schaltfläche Übernehmen, und beobachten Sie die Bildschirme rund um den Simulator, um zu überprüfen, ob die Änderung erfolgt.
2. Wiederholen Sie Schritt 3.1, um die Wettervoreinstellung anzuwenden.
3. Geben Sie dem Teilnehmer spezifische Anweisungen zum Test oder zu seiner Flugroute. Dazu gehört, dass sie alle Einstellungen auf der Instrumententafel ändern sollen, bevor sie beginnen.
4. Drücken Sie auf dem Anweisungsbildschirm die orangefarbene Taste STOPP, um die Datenerfassung zu starten. Die Farbe ändert sich in Grün und der Text lautet FLIEGEN. Achten Sie darauf, dem Teilnehmer ein verbales Signal zu geben, damit er weiß, dass er mit dem Fliegen des Flugzeugs beginnen kann. Der empfohlene Hinweis ist "3, 2, 1, you have control", wenn die orangefarbene Stopp-Taste gedrückt wird.
5. Drücken Sie auf dem Erfassungslaptop auf Aufzeichnung starten , damit die Eyetracker-Daten mit den Flugsimulatordaten synchronisiert werden.
6. Wenn der Teilnehmer seinen Rundkurs beendet hat und gelandet ist, warten Sie, bis sich das Flugzeug nicht mehr bewegt.
   HINWEIS: Es ist wichtig zu warten, da während der Nachbearbeitung; Die Daten werden abgeschnitten, wenn sich die Fahrgeschwindigkeit bei 0 einpendelt. Dies sorgt für Konsistenz für den Endpunkt aller Studien.
7. Drücken Sie auf dem Anweisungsbildschirm die grüne FLYING-Taste. Die Farbe wird wieder orange und der Text lautet STOPPED. Geben Sie in diesem Schritt einen verbalen Hinweis, wenn die Datenerfassung kurz vor dem Ende steht. Das empfohlene Stichwort ist "3, 2, 1, Stopp".
8. Weisen Sie den Teilnehmer an, den/die Fragebogen nach der Testphase auf dem iPad auszufüllen. Aktualisieren Sie die Seite für die nächste Testversion.
   HINWEIS: In der aktuellen Studie wurde der Selbsteinschätzungsfragebogen der Situation Awareness Rating Technique (SART) als einziger Fragebogen nach der Studie verwendet¹⁷.

4. Datenverarbeitung und -analyse

1. Flugsimulator-Daten
   HINWEIS: Die .csv Datei, die aus dem Flugsimulator kopiert wird, enthält mehr als 1.000 Parameter, die im Simulator gesteuert werden können. Die wichtigsten Leistungskennzahlen von Interesse sind in Tabelle 1 aufgeführt und beschrieben.
   1. Berechnen Sie für jeden Teilnehmer die Erfolgsquote mit Gl (1), indem Sie den Prozentsatz über die Aufgabenbedingungen hinweg nehmen. Fehlgeschlagene Versuche werden durch vorgegebene Kriterien identifiziert, die im Simulator programmiert sind und den Versuch aufgrund der Ausrichtung der Ebene und der vertikalen Geschwindigkeit automatisch beim Aufsetzen beenden. Führen Sie eine nachträgliche Überprüfung durch, um sicherzustellen, dass dieses Kriterium mit den tatsächlichen Einschränkungen des Flugzeugs übereinstimmt (d. h. Beschädigung/Absturz des Fahrwerks der Cessna 172 ist bei vertikalen Geschwindigkeiten > 700 Fuß/min [fpm] beim Aufsetzen offensichtlich).
      Erfolgsquote = (1)
      HINWEIS: Niedrigere Erfolgsquotenwerte deuten auf schlechtere Ergebnisse hin, da sie mit einer Verringerung erfolgreicher Landeversuche verbunden sind.
   2. Berechnen Sie für jeden Versuch die Fertigstellungszeit basierend auf dem Zeitstempel, der angibt, dass das Flugzeug auf der Landebahn gestoppt wurde (d. h. Grundgeschwindigkeit = 0 Knoten).
      HINWEIS: Eine kürzere Fertigstellungszeit ist nicht immer gleichbedeutend mit einer besseren Leistung. Es ist Vorsicht geboten, um zu verstehen, wie sich die Aufgabenbedingungen (d. h. zusätzliche Winde, Notfallszenarien usw.) voraussichtlich auf die Fertigstellungszeit auswirken werden.
   3. Bestimmen Sie für jeden Versuch die Landehärte basierend auf der vertikalen Geschwindigkeit (fpm) des Flugzeugs zum Zeitpunkt der ersten Landung des Flugzeugs auf der Start- und Landebahn. Stellen Sie sicher, dass dieser Wert mit demselben Zeitstempel verwendet wird, der mit der ersten Änderung des AircraftOnGround-Status von 0 (in der Luft) in 1 (am Boden) verknüpft ist.
      HINWEIS: Werte im Bereich von -700 fpm bis 0 fpm gelten als sicher, wobei Werte näher an 0 für weichere (d. h. bessere) Landungen stehen. Negative Werte stellen die vertikale Abwärtsgeschwindigkeit dar. Positive Werte stellen die vertikale Geschwindigkeit nach oben dar.
   4. Berechnen Sie für jeden Versuch den Landefehler (°) basierend auf der Differenz zwischen den Aufsetzkoordinaten und dem Referenzpunkt auf der Landebahn (Mitte der 500-Fuß-Markierungen). Berechnen Sie anhand des Referenzpunkts den Landefehler mit Gl (2).
      Differenz = √((Δ Breitengrad)² + (Δ Längengrad)²) (2)
      HINWEIS: Werte unter 1° werden als normal ^5,15 angezeigt. Große Werte weisen auf einen größeren Landefehler hin, der mit Flugzeugaufsetzpunkten verbunden ist, die weiter von der Landezone entfernt sind.
   5. Berechnen Sie die Mittelwerte aller Teilnehmer für jede Leistungsergebnisvariable für jede Aufgabenbedingung. Melden Sie diese Werte.
2. Daten zum Situationsbewusstsein
   1. Berechnen Sie für jeden Versuch den SA-Score basierend auf den selbstberichteten SART-Scores in den 10 Dimensionen von SA¹⁷.
      1. Verwenden Sie den SART-Fragebogen¹⁷ , um die subjektiven Antworten der Teilnehmer in Bezug auf die allgemeine Aufgabenschwierigkeit sowie ihren Eindruck davon zu ermitteln, wie viel Aufmerksamkeitsressourcen sie während der Aufgabenausführung zur Verfügung hatten und aufwendeten.
      2. Bitten Sie die Teilnehmer anhand einer 7-stufigen Likert-Skala, ihre wahrgenommenen Erfahrungen mit bohrenden Fragen zu bewerten, einschließlich der Komplexität der Situation, der Aufteilung der Aufmerksamkeit, der freien geistigen Kapazität sowie der Quantität und Qualität der Informationen.
      3. Kombinieren Sie diese Skalen zu größeren Dimensionen des Aufmerksamkeitsbedarfs (Nachfrage), des Aufmerksamkeitsangebots (Angebot) und des Situationsverständnisses (Verständnis).
      4. Verwenden Sie diese Bewertungen, um ein Maß für SA basierend auf Gl (3) zu berechnen:
         SA = Verstehen - (Angebot-Nachfrage) (3)
         HINWEIS: Höhere Punktzahlen auf Skalen, die kombiniert werden, um ein Maß für das Verständnis zu liefern, deuten darauf hin, dass der Teilnehmer ein gutes Verständnis für die anstehende Aufgabe hat. In ähnlicher Weise deuten hohe Punktzahlen im Versorgungsbereich darauf hin, dass der Teilnehmer über eine beträchtliche Menge an Aufmerksamkeitsressourcen verfügt, die er einer bestimmten Aufgabe widmen kann. Im Gegensatz dazu deutet ein hoher Anforderungswert darauf hin, dass die Aufgabe eine erhebliche Menge an Aufmerksamkeitsressourcen erfordert, um sie zu erledigen. Es ist wichtig klarzustellen, dass diese Werte am besten interpretiert werden, wenn sie über Bedingungen hinweg verglichen werden (d. h. leichte vs. schwierige Bedingungen) und nicht als eigenständige Messgrößen verwendet werden.
   2. Sobald die Datenerfassung abgeschlossen ist, berechnen Sie die Mittelwerte für alle Teilnehmer für jede Aufgabenbedingung (z. B. einfach, Notfall). Melden Sie diese Werte.
3. Eye-Tracking-Daten
   1. Verwenden Sie ein Eye-Tracking-Batch-Skript zum manuellen Definieren von AOIs für die Verwendung im Gaze Mapping. Das Skript öffnet ein neues Fenster für die Auswahl von Schlüsselbildern, in dem alle wichtigen AOIs, die analysiert werden sollen, deutlich angezeigt werden sollten. Scrollen Sie durch das Video und wählen Sie einen Frame aus, der alle AOIs deutlich zeigt.
   2. Befolgen Sie die Anweisungen auf dem Bildschirm und zeichnen Sie ein Rechteck über einen Bereich des Bildes, der im gesamten Video sichtbar und einzigartig ist und stabil bleibt.
      HINWEIS: Der Zweck dieses Schritts besteht darin, einen Koordinatenrahmen auf dem Bildschirm zu generieren, der in der gesamten Videoaufzeichnung verwendet werden kann, da Kopfbewegungen dazu führen, dass sich die Position von Objekten in der Umgebung im Laufe der Videoaufzeichnung ändert.
   3. Zeichnen Sie ein Rechteck für jeden AOI im Bild, nacheinander. Benenne sie entsprechend. Klicken Sie auf Weitere hinzufügen, um ein neues AOI hinzuzufügen, und drücken Sie beim letzten AOI auf Fertig . Wenn die Blickkoordinaten während einer bestimmten Fixierung innerhalb des Objektraums landen, wie er im "In-Screen"-Koordinatensystem definiert ist, beschriften Sie diese Fixierung mit der entsprechenden AOI-Beschriftung.
      HINWEIS: Der Zweck dieses Schritts besteht darin, eine Bibliothek von Objektkoordinaten zu generieren, die dann als Referenz verwendet werden, wenn Anvisiertkoordinaten mit Koordinaten auf dem Bildschirm verglichen werden.
      In der Regel gibt es 10 AOIs, aber das hängt davon ab, wie der Flugsimulator konfiguriert ist. Die Instrumententafel kann anders sein. In Übereinstimmung mit früheren Arbeiten ^5,18 verwendet die aktuelle Studie die folgenden AOIs: Fluggeschwindigkeit, Fluglage, Höhenmesser, Kurvenkoordinator, Kurs, vertikale Geschwindigkeit, Leistung, Frontscheibe, linkes Fenster und rechtes Fenster (siehe Abbildung 1).
   4. Lassen Sie das Skript mit der Verarbeitung der AOIs beginnen und Fixationsdaten generieren. Es wird ein Diagramm generiert, das die Sakkaden und Fixationen über dem Video zeigt.
   5. Es werden zwei neue Dateien erstellt: fixations.csv und aoi_parameters.yaml. Der Batch-Prozessor schließt die Nachbearbeitung der Blickdaten für jeden Versuch und jeden Teilnehmer ab.
      HINWEIS: Die wichtigsten interessierenden Eye-Tracking-Maßnahmen sind in Tabelle 2 aufgeführt und werden für jeden AOI für jeden Versuch berechnet.
   6. Berechnen Sie für jeden Versuch die traditionellen Blickmetriken ^4,5 für jeden AOI basierend auf den in der fixation.csv Datei generierten Daten.
      HINWEIS: Hier konzentrieren wir uns auf die Verweildauer (%), die berechnet wird, indem die Summe der Fixationen für einen bestimmten AOI durch die Summe aller Fixationen dividiert und der Quotient mit 100 multipliziert wird, um den Prozentsatz der Zeit zu erhalten, die in einem bestimmten AOI verbracht wurde. Es gibt keine inhärente negative/positive Interpretation aus den berechneten Verweilzeiten. Sie geben einen Hinweis darauf, wo die Aufmerksamkeit überwiegend verteilt wird. Längere durchschnittliche Fixierungsdauern sind ein Hinweis auf einen erhöhten Verarbeitungsbedarf.
   7. Berechnen Sie für jeden Versuch die Blinzelrate mit Gl (4):
      Blinkrate = Gesamtblinken/Abschlusszeit (4)
      HINWEIS: Frühere Arbeiten haben gezeigt, dass die Blinzelfrequenz umgekehrt proportional zur kognitiven Belastung^ist 2,6,13,19,20.
   8. Berechnen Sie für jeden Versuch die SGE unter Verwendung von Gl (5)²¹:
      (5)
      Dabei ist v die Wahrscheinlichkeit, dass das^i-te AOI angezeigt wird, und V die Anzahl der AOIs.
      ANMERKUNG: Höhere SGE-Werte sind mit einer größeren Fixierungsdispersion verbunden, während niedrigere Werte auf eine stärker fokussierte Allokation der Fixierungen^{hinweisen 22}.
   9. Berechnen Sie für jeden Versuch die GTE mit Gl (6)²³:
      (6)
      Dabei ist V die Wahrscheinlichkeit, das^i-te AOI zu sehen, und M ist die Wahrscheinlichkeit, das j^te AOI zu sehen, wenn das vorherige Betrachten des^i-ten AOI berücksichtigt wird.
      HINWEIS: Höhere GTE-Werte sind mit unvorhersehbareren, komplexeren visuellen Scanpfaden verbunden, während niedrigere GTE-Werte auf vorhersehbarere, routinemäßigere visuelle Scanpfade hinweisen.
   10. Berechnen Sie die Mittelwerte aller Teilnehmer für jede Eye-Tracking-Ausgabevariable (und AOI, falls angegeben) und jede Aufgabenbedingung. Melden Sie diese Werte.

Ausdruck	Definition
Erfolg (%)	Prozentsatz der erfolgreichen Landungsversuche
Fertigstellungszeit(en)	Zeitdauer vom Beginn des Landeszenarios bis zum vollständigen Stillstand des Flugzeugs auf der Landebahn
Landehärte (fpm)	Die Rate des Abstands beim Aufsetzen
Fehler bei der Landung (°)	Die Differenz zwischen der Mitte des Flugzeugs und der Mitte der 500-Fuß-Landebahnmarkierung am Aufsetzpunkt

Tabelle 1: Variablen für das Ergebnis der Simulatorleistung. Leistungsabhängige Variablen des Luftfahrzeugs und ihre Definitionen.

Abbildung 2: Flugbahn des Landeszenarios. Schematische Darstellung von (A) dem Landekreis, der in allen Versuchen absolviert wurde, und (B) der Landebahn mit den 500-Fuß-Markierungen, die als Referenzpunkt für die Landezone verwendet wurden (d. h. orangefarbener Kreis in der Mitte). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 3: Kartierung des Interessenbereichs. Eine Abbildung des Batch-Skripts, das ein Fenster für die Frame-Auswahl zeigt. Die Auswahl eines optimalen Frames umfasst die Auswahl eines Videoframes, der die meisten oder alle zu kartierenden Bereiche von Interesse umfasst. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 4: Generieren von Area of Interest-Mapping von "In-Screen"-Koordinaten. Eine Illustration des Batch-Skripts, das ein Fenster für die Auswahl von Koordinaten auf dem Bildschirm zeigt. In diesem Schritt wird ein quadratischer/rechteckiger Bereich ausgewählt, der während der gesamten Aufnahme sichtbar bleibt, für das Bild einzigartig ist und statisch bleibt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 5: Identifizieren des zu kartierenden Bereichs von Interesse. Eine Abbildung des Batch-Skriptfensters, in dem Sie interessante Bereiche auswählen und beschriften können. Abkürzung: AOIs = Areas of Interest. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 6: Batch-Skriptverarbeitung. Eine Illustration des Batch-Skripts, das das Video und die Blickzuordnung der während des Versuchs vorgenommenen Fixierungen verarbeitet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Ausdruck	Definition
Verweildauer (%)	Prozentsatz der Summe aller über ein AOI kumulierten Fixationsdauern im Verhältnis zur Summe der über alle AOI kumulierten Fixationsdauern
Durchschnittliche Fixationsdauer (ms)	Durchschnittliche Dauer einer Fixation über einen AOI vom Eintritt bis zum Ausgang
Blinkfrequenz (Blinken/s)	Anzahl der Blinzeln pro Sekunde
SGE (Bits)	Dispersion der Fixierung
GTE (Bits)	Komplexität der Scansequenz
Anzahl der Kämpfe	Anzahl der kognitiven Tunnelereignisse (>10 s)
Gesamtzeit des Kampfes (s)	Gesamtzeit von kognitiven Tunnelereignissen

Tabelle 2: Variablen für das Eye-Tracking-Ergebnis. Anvisieren von verhaltensabhängigen Variablen und deren Definitionen.

Ergebnisse

Der Einfluss von Aufgabenanforderungen auf die Flugleistung
Die Daten wurden auf der Grundlage erfolgreicher Landeversuche unter einfachen und Notfallbedingungen analysiert. Alle Messungen wurden einem t-Test für paarweise Stichproben unterzogen (Within-Subject-Faktor: Aufgabenbedingung (grundlegend, Notfall)). Alle t-Tests wurden mit einem Alpha-Wert von 0,05 durchgeführt. Vier Teilnehmer stürzten während des Versuchs des Notfallszenarios ab und...

Diskussion

Das hier beschriebene Eye-Tracking-Verfahren ermöglicht die Beurteilung der Informationsverarbeitung in einer Flugsimulator-Umgebung über einen tragbaren Eyetracker. Die Bewertung der räumlichen und zeitlichen Eigenschaften des Blickverhaltens bietet Einblicke in die menschliche Informationsverarbeitung, die mit hochgradig kontrollierten Laborparadigmen ausgiebig untersucht wurde ^4,7,28. Die ...

Materialien

Name	Company	Catalog Number	Comments
flight simulator	ALSIM	AL-250	fixed fully immersive flight simulation training device
laptop	Hp	Lenovo	eye tracking data collection laptop; requirements: Windows 10 and python 3.0
portable eye-tracker	AdHawk		MindLink eye tracking glasses (250 Hz, <2° gaze error, front-facing camera); eye tracking batch script is made available with AdHawk device purchase