Name: evaluating flight performance and eye movement patterns using virtual reality flight simulator
Uploaded: 2023-05-19T13:50:00
Description: Watch this Scientific Journal Video about Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator at JoVE.com

Gli autori sono incredibilmente grati al signor Li Yan per il suo aiuto nel reclutare i partecipanti al progetto pilota e ringraziano la signora Bu Lingyun per il suo lavoro sul disegno di immagini. La ricerca è stata sostenuta dalla National Natural Science Foundation of China (numero di sovvenzione T2192931, 72071185), dal National Brain Project (numero di sovvenzione STI2030-Major Projects2022ZD0208500), dal National Key Laboratory Project of Human Factors Engineering (numero di sovvenzione SYFD062003), dal National Key Laboratory Project of Human Factors Engineering (numero di sovvenzione 6142222210201) e dall'anno 2022 Major Projects of Military Logistic Research Grant e Key Project of Air Force Equipment Comprehensive Ricerca (numero di sovvenzione KJ2022A000415).

Tutti i metodi qui descritti sono stati approvati dall'Institutional Review Board (IRB) dell'Università Tsinghua ed è stato ottenuto il consenso informato di tutti i partecipanti. Dopo il completamento, tutti i partecipanti sono stati pagati $ 12 (o un regalo di pari valore).
1. Selezione dei partecipanti
<ol><li>Reclutare i partecipanti in base a uno studio precedente sull'analisi della potenza utilizzando il software G*Power35 (vedere la t...

L'attuale studio ha valutato se i partecipanti con esperienza di volo avevano prestazioni di volo migliori rispetto a quelli senza esperienza di volo in un simulatore di volo basato su VR. Ancora più importante, ha valutato se un modello di movimento oculare più ottimizzato potesse essere trovato in questi partecipanti con migliori prestazioni di volo. I risultati presentano differenze significative tra i partecipanti con e senza esperienza di volo in tre indicatori chiave QAR di volo: angolo di beccheggio 1 s prima de...

L'Agenzia europea per la sicurezza aerea (2012) classifica i simulatori di volo come strutture di addestramento, addestratori di programmi di volo e navigazione, attrezzature per l'addestramento al volo e simulatori di volo completi1. Ad oggi, è disponibile una gamma di simulatori di volo per l'addestramento, dai sistemi da tavolo di basso livello ai simulatori di volo completi basati sul movimento altamente complicati2. Il simulatore tradizionale include un modello di dinamica di volo, una simulazione di sistema, una cabina di pilotaggio hardware, una visualizzazione esterna e una simulazione di movimento opzionale3.
Questi simulatori di volo tradizionali hanno alcuni vantaggi come efficaci attrezzature per l'addestramento al volo. Tuttavia, il loro costo è elevato e poco rispettoso dell'ambiente, poiché l'azionamento di ciascun sistema richiede una notevole energia elettrica, in particolare un simulatore di volo completo, che richiede un'alta temperatura e un'alta pressione del fluido o dell'aria, consuma molta energia e genera molto rumore4.
Tuttavia, un semplice sistema di simulazione desktop è flessibile e a basso costo, con un'immersione inferiore e meno interazioni rispetto a un simulatore di volo completo2. Pertanto, è essenziale sviluppare nuovi simulatori di volo che combinino i vantaggi dei sistemi desktop e dei simulatori di volo completi (in altre parole, la flessibilità di una simulazione da tavolo e il livello di immersione e interazione vicino a un simulatore di volo completo).
Con lo sviluppo della tecnologia informatica, in particolare della tecnologia di realtà virtuale (VR), un nuovo tipo di simulatore di volo basato sulla tecnologia VR emergente sta diventando una realtà. Il simulatore di volo basato su VR è flessibile, portatile, a basso costo e ha meno requisiti di spazio rispetto ai simulatori di volo convenzionali5. I ricercatori hanno creato simulatori di volo basati sulla tecnologia VR negli ultimi 20 anni 6,7,8,9,10,11; tuttavia, questi simulatori di volo VR sono principalmente per l'addestramento al volo e ce ne sono pochi per la selezione dei piloti. Tuttavia, con la riduzione dei costi e il miglioramento della tecnologia, i simulatori basati su VR stanno cambiando e stanno diventando fattibili per la selezione personale. Alcuni studi hanno utilizzato simulatori basati su VR per la selezione personale in diversi domini: Schijven et al.12 hanno selezionato tirocinanti chirurgici utilizzando un simulatore di realtà virtuale. Huang et al.13 hanno sviluppato uno strumento di selezione psicologica basato sulla tecnologia della realtà virtuale per il reclutamento di piloti dell'aeronautica. Wojciechowski e Wojtowicz14 hanno valutato le capacità di un candidato come pilota di un veicolo aereo senza pilota (UAV) basato sulla tecnologia VR. Dato che la selezione dei piloti è fondamentale per l'industria aeronautica, si sta pressando per sviluppare un nuovo simulatore di volo basato sulla realtà virtuale incentrato sulla selezione dei piloti, poiché la selezione dei piloti su larga scala è soggetta al costo del simulatore e alle esigenze del sistema di simulazione di portabilità.
I movimenti oculari forniscono spunti per le prestazioni di un pilota. Diversi studi hanno scoperto che la modalità di scansione oculare distingue le prestazioni tra piloti esperti e principianti. Confrontando il modello di scansione tra esperti e principianti, è stato possibile differenziare il comportamento efficiente e strutturale dei movimenti oculari degli esperti e i metodi di scansione inadeguati dei principianti. Diversi studi sull'aviazione hanno rilevato che la strategia di scansione oculare dei piloti è fortemente correlata al livello di competenza 15,16,17,18,19,20,21,22,23,24. Secondo Bellenkes et al.25, la durata delle fissazioni degli esperti è più breve e la frequenza delle loro fissazioni sugli strumenti è superiore a quella dei principianti. Quasi la stessa conclusione è stata tratta da Kasarskis et al.26, che hanno scoperto che i piloti esperti hanno più fissazioni combinate con durate più brevi rispetto ai principianti, suggerendo che i piloti esperti hanno una modalità visiva migliore rispetto ai principianti. In un altro studio, Lorenz et al.27 hanno scoperto che gli esperti trascorrono più tempo a guardare fuori dalla cabina di pilotaggio rispetto ai principianti. Questi risultati hanno un grande valore pratico nella selezione dei nuovi arrivati.
La valutazione delle prestazioni di volo è un altro fattore critico per la selezione del pilota. Tuttavia, esistono i seguenti problemi nella valutazione delle prestazioni di volo dei piloti: opinioni contrastanti degli esperti, più norme di selezione e una teoria di selezione unificata. Nel campo della guida, Horrey et al.28 hanno confrontato il valore assoluto dell'allontanamento dalla corsia dalla linea centrale per diverse condizioni sperimentali per valutare le prestazioni di guida. Tornando al dominio dell'aviazione, il registratore di accesso rapido al volo (QAR) registra tutti i tipi di parametri di manipolazione del pilota, parametri dell'aeromobile, ambienti e informazioni di avviso durante il volo29. Più specificamente, come gli indicatori QAR, l'angolo di beccheggio è l'angolo di rotazione attorno agli assi sinistro e destro dell'aereo30 e la linea di riferimento (o la linea di riferimento centrale) è proprio al centro delle linee rossa e verde28; Questi due parametri di volo vengono utilizzati per valutare le prestazioni di volo dei partecipanti con o senza esperienza nello studio attuale. Questi dati QAR possono essere utilizzati per valutare le prestazioni di volo, ma per quanto ne sappiamo, sono stati raramente utilizzati per l'addestramento personale e la selezione nella ricerca scientifica31,32.
Le misurazioni dei modelli di movimento degli occhi possono essere utilizzate per valutare e prevedere le prestazioni di volo e guidare l'addestramento e la selezione dei piloti. Gerathewohl,33 anni, ha affermato che l'occhio è l'organo sensoriale più importante del pilota, elaborando l'80% delle informazioni di volo. I piloti devono acquisire informazioni visive dagli strumenti nella cabina di pilotaggio e integrarle in un'immagine coerente per gestire il volo22. Inoltre, un comportamento di scansione ottimale è essenziale per ottenere migliori prestazioni di volo15. Tuttavia, nessun simulatore di volo economico integra attualmente un eye tracker per facilitare gli studi quantitativi della relazione tra movimenti oculari e prestazioni di volo.
L'attuale studio ha sviluppato un nuovo simulatore di volo VR per valutare se i partecipanti con esperienza di volo avevano prestazioni di volo migliori rispetto a quelli senza esperienza di volo. Il simulatore di volo VR integra il tracciamento oculare e un sistema di dinamica di volo che consente l'analisi del modello di movimento oculare e la valutazione delle prestazioni di volo. In particolare, vale la pena ricordare che il simulatore di volo VR utilizza un eye trackerVR 34, non un eye tracker simile al vetro o da tavolo, per analizzare il movimento degli occhi basato sull'area di interesse (AOI) senza un lungo conteggio dei fotogrammi.
Infine, il presente lavoro può portare a una misurazione omnibus per la selezione dei piloti in futuro, dal percorso di scansione oculare ai dati oggettivi sulle prestazioni di volo. Con l'aiuto del simulatore di volo virtuale, il costo della selezione del volo sarà notevolmente ridotto e la norma dei piloti può essere formata sulla base di un'ampia raccolta di dati. Il lavoro colma una lacuna tra i simulatori convenzionali e quelli desktop per le esigenze di selezione del volo.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D engine SDK</td>
			<td>Epic Games</td>
			<td>Unreal Engine 4 
			GameAnalytics Unreal SDK</td>
			<td>This SDK is a powerful yet flexible free analytics tool designed for games.</td>
		</tr>
		<tr>
			<td>CPU</td>
			<td>Intel</td>
			<td>IntelCore i9</td>
			<td>One of the most powerful CPU on the mainstream market.</td>
		</tr>
		<tr>
			<td>Eye tracking SDK</td>
			<td>Tobii</td>
			<td>Tobii XR SDK</td>
			<td>This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware.</td>
		</tr>
		<tr>
			<td>Eye tracking software</td>
			<td>Developed by the research team</td>
			<td></td>
			<td>A program that tracks the movement of a person&#39;s eyes while they are using a virtual reality HMD.</td>
		</tr>
		<tr>
			<td>FlySimulator program</td>
			<td>Developed by the research team</td>
			<td></td>
			<td>A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers.</td>
		</tr>
		<tr>
			<td>Graphics card</td>
			<td>NVIDIA</td>
			<td>GeForce RTX 3090 
			10496 NVIDIA CUDA Cores 
			1.70 GHz Boost Clock&#160;&#160; 
			24 GB Memory Size 
			GDDR6X Memory Type</td>
			<td>One of the most powerful graphics card on the mainstream market.</td>
		</tr>
		<tr>
			<td>Operating system (OS)</td>
			<td>Microsoft</td>
			<td>Windows XP</td>
			<td>An operating system (OS) developed and exclusively distributed by Microsoft Corporation</td>
		</tr>
		<tr>
			<td>Replica control panel</td>
			<td>THRUSTMASTER</td>
			<td>2960720 2971004 2962072 2960748 2960769</td>
			<td>U.S. Air Force A-10C attack aircraft HOTAS</td>
		</tr>
		<tr>
			<td>Replica joystick</td>
			<td>THRUSTMASTER</td>
			<td>2960720</td>
			<td>U.S. Air Force A-10C attack aircraft HOTAS</td>
		</tr>
		<tr>
			<td>Replica pedal</td>
			<td>THRUSTMASTER</td>
			<td></td>
			<td>TPR pendular rudder</td>
		</tr>
		<tr>
			<td>Replica throttle</td>
			<td>THRUSTMASTER</td>
			<td></td>
			<td>U.S. Air Force A-10C attack aircraft HOTAS</td>
		</tr>
		<tr>
			<td>Screen connected to PC</td>
			<td>Redmi</td>
			<td>RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio</td>
			<td>Screen allows the experimenter to simultaneously view what is happening in the VR HMD</td>
		</tr>
		<tr>
			<td>Screen recording software</td>
			<td>OBS Project</td>
			<td>OBS Studio Version 28.0</td>
			<td>A free and open source software for video recording and live streaming</td>
		</tr>
		<tr>
			<td>Statistical power analysis software</td>
			<td>Open-Source</td>
			<td>G*power Version 3.1.9.6</td>
			<td>A free and user-friendly tool for estimating statistical power and sample size.</td>
		</tr>
		<tr>
			<td>Statistical software</td>
			<td>IBM</td>
			<td>SPSS Version 24.0</td>
			<td>A powerful statistical software platform</td>
		</tr>
		<tr>
			<td>Versatile statistics tool</td>
			<td>GraphPad Software</td>
			<td>GraphPad Prism Version 9.4.0</td>
			<td>A versatile statistics tool purpose-built for scientists-not statisticians</td>
		</tr>
		<tr>
			<td>VR app store</td>
			<td>HTC Corporation</td>
			<td>VIVE Software 2.0.17.6 / 2.1.17.6</td>
			<td>An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need.</td>
		</tr>
		<tr>
			<td>VR head-mounted display (HMD)</td>
			<td>HTC Corporation</td>
			<td>VIVE Pro Eye</td>
			<td>A VR headset with precision eye tracking</td>
		</tr>
		<tr>
			<td>VR software</td>
			<td>Steam</td>
			<td>Steam VR Version 1.23</td>
			<td>A tool for experiencing VR content on the hardware</td>
		</tr>
	</tbody>
</table>

evaluating flight performance and eye movement patterns using virtual reality flight simulator

Una valutazione efficiente ed economica delle prestazioni dei piloti è diventata fondamentale per l'industria aeronautica. Con lo sviluppo della realtà virtuale (VR) e la combinazione della tecnologia di tracciamento oculare, le soluzioni per soddisfare queste esigenze stanno diventando una realtà. Studi precedenti hanno esplorato i simulatori di volo basati sulla realtà virtuale, concentrandosi principalmente sulla convalida della tecnologia e sull'addestramento al volo. L'attuale studio ha sviluppato un nuovo simulatore di volo VR per valutare le prestazioni di volo dei piloti in base al movimento degli occhi e agli indicatori di volo in una scena immersiva 3D. Durante l'esperimento sono stati reclutati 46 partecipanti: 23 piloti professionisti e 23 studenti universitari senza esperienza di volo. I risultati dell'esperimento hanno mostrato differenze significative nelle prestazioni di volo tra i partecipanti con e senza esperienza di volo, i primi sono più alti dei secondi. Al contrario, quelli con esperienza di volo hanno mostrato modelli di movimento oculare più strutturati ed efficienti. Questi risultati della differenziazione delle prestazioni di volo dimostrano la validità dell'attuale simulatore di volo VR come metodo di valutazione delle prestazioni di volo. I diversi modelli di movimento degli occhi con l'esperienza di volo forniscono la base per la futura selezione del volo. Tuttavia, questo simulatore di volo basato su VR presenta difetti come il feedback di movimento rispetto ai simulatori di volo tradizionali. Questa piattaforma di simulazione di volo è altamente flessibile, tranne che per l'apparente basso costo. Può soddisfare le diverse esigenze dei ricercatori (ad esempio, misurare la consapevolezza della situazione, la malattia da VR e il carico di lavoro aggiungendo scale pertinenti).

Per l'esperimento in corso sono stati scelti 23 esperti con esperienza di volo e 23 novizi senza esperienza di volo. I partecipanti avevano un'età compresa tra i 25 e i 58 anni (esperti: M = 32,52 anni, SD = 7,28 anni; principianti: M = 29,57 anni, SD = 5,74 anni). Il sesso di tutti i partecipanti era maschile. Tutti i novizi sono stati reclutati dall'Università Tsinghua (studenti o docenti) e tutti gli esperti provenivano dalla China Eastern Airlines.
<st...

Watch this Scientific Journal Video about Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator at JoVE.com

Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator

È stato costruito un nuovo simulatore di volo in realtà virtuale, che consente una valutazione efficiente e a basso costo delle prestazioni di volo e dei modelli di movimento degli occhi. Fornisce inoltre uno strumento di ricerca ad alto potenziale per l'ergonomia e altre ricerche.

Valutazione delle prestazioni di volo e dei modelli di movimento degli occhi utilizzando il simulatore di volo in realtà virtuale

Efficient and economical performance evaluation of pilots has become critical to the aviation industry. With the development of virtual reality (VR) and ...

L'attuale studio ha sviluppato un nuovo simulatore di volo VR per valutare gli artisti dei piloti in base agli indicatori del movimento degli occhi e degli artisti di volo in uno scenario immersivo 3D. La piattaforma del simulatore di volo è altamente flessibile, oltre che a basso costo. Può soddisfare le diverse esigenze dei ricercatori.Il metodo può essere applicato anche a astronauti selezionati, oltre che ai piloti. Inizia installando il simulatore di volo. Unisci il pannello di controllo della strozzatura, trattandoli come un'unica unità.Collegare l'acceleratore, il joystick e il pedale al modulo PC del simulatore di volo tramite USB. Segue il collegamento del display montato sulla testa o dell'HMD al modulo PC del simulatore di volo tramite una scatola di collegamento. Collega le stazioni base e i controller di realtà virtuale o VR all'HMD tramite il software VR sul PC.To configurare l'area di gioco solo in piedi per la VR, assicurati che l'HMD sia acceso e collegato al computer.Posiziona la stazione base in diagonale in modo che l'HMD possa essere sempre all'interno del raggio di monitoraggio della stazione base mantenendolo fisso, per mantenere un ambiente VR stabile. Quindi imposta un'area di gioco solo in piedi in base alle istruzioni fornite dal software VR sul computer. Collega il modulo di controllo di volo sintonizzato e il display a grande schermo allo stesso computer del visore VR.Presenta il compito e il funzionamento del simulatore ai partecipanti spiegando il modello di traffico e la mappa e istruendo i partecipanti su come utilizzare il simulatore di volo VR. Equipaggia ogni partecipante con un visore VR, calibra i movimenti oculari e regola l'altezza del dispositivo, la distanza interpupillare e il punto di sguardo. Quindi, apri il software di registrazione dello schermo e avvia il simulatore di volo per l'addestramento al volo.Istruisci i partecipanti su come utilizzare il pedale di volo, il joystick e l'acceleratore per sterzare il più vicino possibile alla linea di riferimento del volo. Una volta completato, reimpostare l'acceleratore di volo e i pulsanti dell'interruttore del motore. Quindi interrompi la registrazione.Per condurre esperimenti di volo formali, indossa l'HMD VR per i partecipanti e avvia lo studio OBS per iniziare a registrare lo schermo. I dati sul movimento degli occhi degli indicatori AOI, velocità, velocità verticale, altitudine e velocità del motore hanno mostrato che gli esperti avevano una distribuzione più uniforme dei dati sul movimento oculare intorno al valore medio nell'indicatore di velocità, nell'indicatore di altitudine, nell'indicatore di velocità verticale e nell'indicatore di assetto rispetto ai principianti. I dati sulle prestazioni di volo degli esperti erano per lo più incentrati sul valore medio in termini di tempo di volo totale, distanza media dalla linea di riferimento, angolo di beccheggio un secondo prima dell'atterraggio e deviazione standard della distanza dalla linea di riferimento rispetto ai principianti.Calibra i momenti oculari di ogni partecipante e regola di conseguenza l'altezza del dispositivo, la distanza interpupillare e il punto di sguardo.

Research

JoVE Journal

Behavior

Two-photon Calcium Imaging in Mice Navigating a Virtual Reality Environment

Due fotoni Imaging di calcio in topi Navigazione una realtà ambiente virtuale

In recent years, two-photon imaging has become an invaluable tool in neuroscience, as it allows for chronic measurement of the activity of genetically ...

Ricerca

Comportamento

Early Metamorphic Insertion Technology for Insect Flight Behavior Monitoring

All&#39;inizio metamorfica Tecnologia Inserzione per Insect Volo monitoraggio del comportamento

Early Metamorphosis Insertion Technology (EMIT) is a novel methodology for integrating microfabricated neuromuscular recording and actuation platforms on ...

Development of a Virtual Reality Assessment of Everyday Living Skills

Sviluppo di una Realtà Virtuale valutazione della vita quotidiana Skills

Cognitive impairments affect the majority of patients with schizophrenia and these impairments predict poor long term psychosocial outcomes.&#160; ...

Multifunctional Setup for Studying Human Motor Control Using Transcranial Magnetic Stimulation, Electromyography, Motion Capture, and Virtual Reality

Impostazione multifunzionale per lo studio di controllo del motore umano Utilizzando la Stimolazione Magnetica Transcranica, Elettromiografia, Motion Capture, e la realtà virtuale

The study of neuromuscular control of movement in humans is accomplished with numerous technologies. Non-invasive methods for investigating neuromuscular ...

Using Virtual Reality to Transfer Motor Skill Knowledge from One Hand to Another

Utilizzo di realtà virtuale per trasferire conoscenza motoria da un lato a altro

As far as acquiring motor skills is concerned, training by voluntary physical movement is superior to all other forms of training (e.g. training by ...

Mobile Game-based Virtual Reality Program for Upper Extremity Stroke Rehabilitation

Programma di realtà virtuale basato su gioco mobile per riabilitazione del colpo dell'arto superiore

Stroke rehabilitation requires repetitive, intensive, goal-oriented therapy. Virtual reality (VR) has the potential to satisfy these requirements. ...

Virtual Reality Experiments with Physiological Measures

Esperimenti di realtà virtuale con misure fisiologiche

Virtual reality (VR) experiments are increasingly employed because of their internal and external validity compared to real-world observation and ...

Using Flight Mills to Measure Flight Propensity and Performance of Western Corn Rootworm, Diabrotica virgifera virgifera (LeConte)

Using Flight Mills to Measure Flight Propensity and Performance of Western Corn Rootworm, Diabrotica virgifera virgifera LeConte

Utilizzando Flight Mills per misurare la propensione di volo e le prestazioni di Western Corn Rootworm, Diabrotica virgifera virgifera (LeConte)

The western corn rootworm, Diabrotica virgifera virgifera (LeConte) (Coleoptera: Chrysomelidae), is an economically important pest of corn in the northern ...

Online Explorative Study on the Learning Uses of Virtual Reality Among Early Adopters

Studio esplorativo online sugli usi dell'apprendimento della realtà virtuale tra i primi utenti

Virtual reality (VR) has shown great educational potential because it makes it possible to simulate any desired situation or event, thus playing an ...

Using a Virtual Reality Walking Simulator to Investigate Pedestrian Behavior

Utilizzo di un simulatore di camminata in realtà virtuale per indagare sul comportamento dei pedoni

To cross a road successfully, individuals must coordinate their movements with moving vehicles. This paper describes use of a walking simulator in which ...