È necessario avere un abbonamento a JoVE per visualizzare questo. Accedi o inizia la tua prova gratuita.
Method Article
È stato costruito un nuovo simulatore di volo in realtà virtuale, che consente una valutazione efficiente e a basso costo delle prestazioni di volo e dei modelli di movimento degli occhi. Fornisce inoltre uno strumento di ricerca ad alto potenziale per l'ergonomia e altre ricerche.
Una valutazione efficiente ed economica delle prestazioni dei piloti è diventata fondamentale per l'industria aeronautica. Con lo sviluppo della realtà virtuale (VR) e la combinazione della tecnologia di tracciamento oculare, le soluzioni per soddisfare queste esigenze stanno diventando una realtà. Studi precedenti hanno esplorato i simulatori di volo basati sulla realtà virtuale, concentrandosi principalmente sulla convalida della tecnologia e sull'addestramento al volo. L'attuale studio ha sviluppato un nuovo simulatore di volo VR per valutare le prestazioni di volo dei piloti in base al movimento degli occhi e agli indicatori di volo in una scena immersiva 3D. Durante l'esperimento sono stati reclutati 46 partecipanti: 23 piloti professionisti e 23 studenti universitari senza esperienza di volo. I risultati dell'esperimento hanno mostrato differenze significative nelle prestazioni di volo tra i partecipanti con e senza esperienza di volo, i primi sono più alti dei secondi. Al contrario, quelli con esperienza di volo hanno mostrato modelli di movimento oculare più strutturati ed efficienti. Questi risultati della differenziazione delle prestazioni di volo dimostrano la validità dell'attuale simulatore di volo VR come metodo di valutazione delle prestazioni di volo. I diversi modelli di movimento degli occhi con l'esperienza di volo forniscono la base per la futura selezione del volo. Tuttavia, questo simulatore di volo basato su VR presenta difetti come il feedback di movimento rispetto ai simulatori di volo tradizionali. Questa piattaforma di simulazione di volo è altamente flessibile, tranne che per l'apparente basso costo. Può soddisfare le diverse esigenze dei ricercatori (ad esempio, misurare la consapevolezza della situazione, la malattia da VR e il carico di lavoro aggiungendo scale pertinenti).
L'Agenzia europea per la sicurezza aerea (2012) classifica i simulatori di volo come strutture di addestramento, addestratori di programmi di volo e navigazione, attrezzature per l'addestramento al volo e simulatori di volo completi1. Ad oggi, è disponibile una gamma di simulatori di volo per l'addestramento, dai sistemi da tavolo di basso livello ai simulatori di volo completi basati sul movimento altamente complicati2. Il simulatore tradizionale include un modello di dinamica di volo, una simulazione di sistema, una cabina di pilotaggio hardware, una visualizzazione esterna e una simulazione di movimento opzionale3.
Questi simulatori di volo tradizionali hanno alcuni vantaggi come efficaci attrezzature per l'addestramento al volo. Tuttavia, il loro costo è elevato e poco rispettoso dell'ambiente, poiché l'azionamento di ciascun sistema richiede una notevole energia elettrica, in particolare un simulatore di volo completo, che richiede un'alta temperatura e un'alta pressione del fluido o dell'aria, consuma molta energia e genera molto rumore4.
Tuttavia, un semplice sistema di simulazione desktop è flessibile e a basso costo, con un'immersione inferiore e meno interazioni rispetto a un simulatore di volo completo2. Pertanto, è essenziale sviluppare nuovi simulatori di volo che combinino i vantaggi dei sistemi desktop e dei simulatori di volo completi (in altre parole, la flessibilità di una simulazione da tavolo e il livello di immersione e interazione vicino a un simulatore di volo completo).
Con lo sviluppo della tecnologia informatica, in particolare della tecnologia di realtà virtuale (VR), un nuovo tipo di simulatore di volo basato sulla tecnologia VR emergente sta diventando una realtà. Il simulatore di volo basato su VR è flessibile, portatile, a basso costo e ha meno requisiti di spazio rispetto ai simulatori di volo convenzionali5. I ricercatori hanno creato simulatori di volo basati sulla tecnologia VR negli ultimi 20 anni 6,7,8,9,10,11; tuttavia, questi simulatori di volo VR sono principalmente per l'addestramento al volo e ce ne sono pochi per la selezione dei piloti. Tuttavia, con la riduzione dei costi e il miglioramento della tecnologia, i simulatori basati su VR stanno cambiando e stanno diventando fattibili per la selezione personale. Alcuni studi hanno utilizzato simulatori basati su VR per la selezione personale in diversi domini: Schijven et al.12 hanno selezionato tirocinanti chirurgici utilizzando un simulatore di realtà virtuale. Huang et al.13 hanno sviluppato uno strumento di selezione psicologica basato sulla tecnologia della realtà virtuale per il reclutamento di piloti dell'aeronautica. Wojciechowski e Wojtowicz14 hanno valutato le capacità di un candidato come pilota di un veicolo aereo senza pilota (UAV) basato sulla tecnologia VR. Dato che la selezione dei piloti è fondamentale per l'industria aeronautica, si sta pressando per sviluppare un nuovo simulatore di volo basato sulla realtà virtuale incentrato sulla selezione dei piloti, poiché la selezione dei piloti su larga scala è soggetta al costo del simulatore e alle esigenze del sistema di simulazione di portabilità.
I movimenti oculari forniscono spunti per le prestazioni di un pilota. Diversi studi hanno scoperto che la modalità di scansione oculare distingue le prestazioni tra piloti esperti e principianti. Confrontando il modello di scansione tra esperti e principianti, è stato possibile differenziare il comportamento efficiente e strutturale dei movimenti oculari degli esperti e i metodi di scansione inadeguati dei principianti. Diversi studi sull'aviazione hanno rilevato che la strategia di scansione oculare dei piloti è fortemente correlata al livello di competenza 15,16,17,18,19,20,21,22,23,24. Secondo Bellenkes et al.25, la durata delle fissazioni degli esperti è più breve e la frequenza delle loro fissazioni sugli strumenti è superiore a quella dei principianti. Quasi la stessa conclusione è stata tratta da Kasarskis et al.26, che hanno scoperto che i piloti esperti hanno più fissazioni combinate con durate più brevi rispetto ai principianti, suggerendo che i piloti esperti hanno una modalità visiva migliore rispetto ai principianti. In un altro studio, Lorenz et al.27 hanno scoperto che gli esperti trascorrono più tempo a guardare fuori dalla cabina di pilotaggio rispetto ai principianti. Questi risultati hanno un grande valore pratico nella selezione dei nuovi arrivati.
La valutazione delle prestazioni di volo è un altro fattore critico per la selezione del pilota. Tuttavia, esistono i seguenti problemi nella valutazione delle prestazioni di volo dei piloti: opinioni contrastanti degli esperti, più norme di selezione e una teoria di selezione unificata. Nel campo della guida, Horrey et al.28 hanno confrontato il valore assoluto dell'allontanamento dalla corsia dalla linea centrale per diverse condizioni sperimentali per valutare le prestazioni di guida. Tornando al dominio dell'aviazione, il registratore di accesso rapido al volo (QAR) registra tutti i tipi di parametri di manipolazione del pilota, parametri dell'aeromobile, ambienti e informazioni di avviso durante il volo29. Più specificamente, come gli indicatori QAR, l'angolo di beccheggio è l'angolo di rotazione attorno agli assi sinistro e destro dell'aereo30 e la linea di riferimento (o la linea di riferimento centrale) è proprio al centro delle linee rossa e verde28; Questi due parametri di volo vengono utilizzati per valutare le prestazioni di volo dei partecipanti con o senza esperienza nello studio attuale. Questi dati QAR possono essere utilizzati per valutare le prestazioni di volo, ma per quanto ne sappiamo, sono stati raramente utilizzati per l'addestramento personale e la selezione nella ricerca scientifica31,32.
Le misurazioni dei modelli di movimento degli occhi possono essere utilizzate per valutare e prevedere le prestazioni di volo e guidare l'addestramento e la selezione dei piloti. Gerathewohl,33 anni, ha affermato che l'occhio è l'organo sensoriale più importante del pilota, elaborando l'80% delle informazioni di volo. I piloti devono acquisire informazioni visive dagli strumenti nella cabina di pilotaggio e integrarle in un'immagine coerente per gestire il volo22. Inoltre, un comportamento di scansione ottimale è essenziale per ottenere migliori prestazioni di volo15. Tuttavia, nessun simulatore di volo economico integra attualmente un eye tracker per facilitare gli studi quantitativi della relazione tra movimenti oculari e prestazioni di volo.
L'attuale studio ha sviluppato un nuovo simulatore di volo VR per valutare se i partecipanti con esperienza di volo avevano prestazioni di volo migliori rispetto a quelli senza esperienza di volo. Il simulatore di volo VR integra il tracciamento oculare e un sistema di dinamica di volo che consente l'analisi del modello di movimento oculare e la valutazione delle prestazioni di volo. In particolare, vale la pena ricordare che il simulatore di volo VR utilizza un eye trackerVR 34, non un eye tracker simile al vetro o da tavolo, per analizzare il movimento degli occhi basato sull'area di interesse (AOI) senza un lungo conteggio dei fotogrammi.
Infine, il presente lavoro può portare a una misurazione omnibus per la selezione dei piloti in futuro, dal percorso di scansione oculare ai dati oggettivi sulle prestazioni di volo. Con l'aiuto del simulatore di volo virtuale, il costo della selezione del volo sarà notevolmente ridotto e la norma dei piloti può essere formata sulla base di un'ampia raccolta di dati. Il lavoro colma una lacuna tra i simulatori convenzionali e quelli desktop per le esigenze di selezione del volo.
Tutti i metodi qui descritti sono stati approvati dall'Institutional Review Board (IRB) dell'Università Tsinghua ed è stato ottenuto il consenso informato di tutti i partecipanti. Dopo il completamento, tutti i partecipanti sono stati pagati $ 12 (o un regalo di pari valore).
1. Selezione dei partecipanti
2. Hardware del simulatore di volo
Display VR montato sulla testa (HMD) e modulo di tracciamento oculare | 1. Stazione base |
2. Visore VR | |
Modulo PC Flight Simulator | 3. Simulatore di volo per PC |
Modulo di controllo del volo | 4. Acceleratore di volo |
5. Joystick di volo | |
6. Pedale di volo |
Tabella 1: Componenti dei tre moduli dell'hardware del simulatore di volo.
Componente principale | Accessoristica |
Visore VR | Cavo dell'auricolare (collegato) |
Cuscino per il viso (allegato) | |
Panno per la pulizia | |
Tappo foro auricolare × 2 | |
Casella di collegamento | Alimentatore |
Cavo DisplayPort | |
Cavo USB 3.0 | |
Cuscinetto di montaggio | |
Controllori (2018) × 2 | Adattatori di alimentazione × 2 |
Cordini × 2 | |
Cavi micro-USB × 2 | |
Stazione base 2.0 × 2 | Adattatori di alimentazione × 2 |
Kit di montaggio (2 supporti, 4 viti e 4 tasselli) |
Tabella 2: Elenco dei componenti del visore VR e del modulo di tracciamento oculare.
Dispositivo | Configurazione dei parametri |
Joystick di volo | Diciannove pulsanti di azione |
Un cappello "punto di vista" a 8 direzioni | |
Diversi sensori magnetici 3D | |
Un sistema di molle a 5 eliche | |
Una risoluzione a 16 bit (valori 65536 x 65536). | |
Pannello di controllo del volo | Quindici pulsanti azione |
Una ruota TRIM | |
Cinque LED programmabili | |
Acceleratore di volo | Diciassette pulsanti di azione |
Un cappello per il mouse con un pulsante | |
Un cappello "punto di vista" a 8 direzioni | |
Diversi sensori magnetici 3D | |
Due risoluzioni a 14 bit | |
Pedale di volo | Tensione tra 2,5 kg e 5 kg |
Angolo compreso tra 35° e 75° |
Tabella 3: La configurazione dei parametri dei dispositivi del modulo di controllo del volo.
Figura 1: Il layout dell'hardware del simulatore di volo VR. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 2: Il collegamento dell'hardware del simulatore di volo. (A) Modulo di controllo del volo. L'acceleratore e il pannello di controllo sono fisicamente uniti e trattati come un'unità. Se il termine "acceleratore" viene utilizzato in questo studio, si riferisce sia all'acceleratore che al pannello di controllo. (B) Modulo PC simulatore di volo. Un computer che soddisfi i requisiti descritti nel passaggio 2.2. (C) HMD e modulo di tracciamento oculare. I kit di sviluppo software (SDK) per il tracciamento oculare e il motore 3D vengono mantenuti sincronizzati quando vengono installati sullo stesso computer. Pertanto, le funzioni di tracciamento oculare e il sistema operativo interagiscono e lavorano insieme. Clicca qui per visualizzare una versione più grande di questa figura.
3. Software di simulazione di volo
Nome | Descrizione | |||
Software VR | Uno strumento ampiamente utilizzato per sperimentare contenuti VR sull'hardware. | |||
Negozio di app VR | L'app store per la realtà virtuale in cui i clienti possono esplorare, creare, connettersi e sperimentare i contenuti che amano e di cui hanno bisogno. | |||
Software di tracciamento oculare | Software di eye-tracking sviluppato dal team di ricerca tramite Eye-tracking e 3D engine SDK. | |||
Simulatore di mosche | Il programma principale del software di simulazione di volo, sviluppato dal team di ricerca. | |||
Software di registrazione dello schermo | Un software gratuito e open source per la registrazione video e lo streaming live. |
Tabella 4: Informazioni su tutti i software utilizzati nell'esperimento.
4. Preparazione prima del lancio del simulatore di volo
NOTA: Se è la prima volta che si esegue il programma di eye-tracking, eseguire i passaggi aggiuntivi come indicato nella Figura 3. Il programma di eye-tracking si attiverà automaticamente dopo la corsa iniziale.
Figura 3: I passaggi aggiuntivi quando si esegue il programma di eye-tracking per la prima volta. Fare clic qui per visualizzare una versione più grande di questa figura.
5. Procedura sperimentale
NOTA: L'esperimento è diviso in quattro fasi: "raccogliere informazioni", "introdurre il compito e l'operazione", "esercitarsi prima dell'esperimento" e "condurre un esperimento formale". Il processo sperimentale è riassunto nella Figura 4.
Figura 4: Il diagramma di flusso dell'esperimento. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 5: Il modello di traffico per il simulatore di volo VR. L'angolo di beccheggio è l'angolo di rotazione attorno agli assi sinistro e destro dell'aeromobile e la linea di riferimento (o la linea di riferimento centrale) si trova proprio al centro delle linee rossa e verde. Clicca qui per visualizzare una versione più grande di questa figura.
6. Analisi dei dati
Figura 6: Pre-elaborazione AOI e processo di calcolo del flusso. Le sezioni da 1 a 4 descrivono come il presente studio ha elaborato i dati sui movimenti oculari dei piloti fino al test t su campione indipendente. Clicca qui per visualizzare una versione più grande di questa figura.
Figura 7: Diagramma schematico della divisione AOI dello strumento di volo. La funzione degli strumenti: (A) L'indicatore della velocità indica la velocità dell'aeromobile rispetto all'aria. (B) L'indicatore di altitudine mostra l'altitudine di beccheggio e rollio dell'aeromobile. (C) L'indicatore di velocità verticale indica la velocità di salita o discesa dell'aeromobile. (D) L'indicatore di altitudine indica l'altitudine barometrica dell'aeromobile. (E) L'indicatore del regime del motore indica la velocità del motore dell'aeromobile. Clicca qui per visualizzare una versione più grande di questa figura.
Per l'esperimento in corso sono stati scelti 23 esperti con esperienza di volo e 23 novizi senza esperienza di volo. I partecipanti avevano un'età compresa tra i 25 e i 58 anni (esperti: M = 32,52 anni, SD = 7,28 anni; principianti: M = 29,57 anni, SD = 5,74 anni). Il sesso di tutti i partecipanti era maschile. Tutti i novizi sono stati reclutati dall'Università Tsinghua (studenti o docenti) e tutti gli esperti provenivano dalla China Eastern Airlines.
L'attuale studio ha valutato se i partecipanti con esperienza di volo avevano prestazioni di volo migliori rispetto a quelli senza esperienza di volo in un simulatore di volo basato su VR. Ancora più importante, ha valutato se un modello di movimento oculare più ottimizzato potesse essere trovato in questi partecipanti con migliori prestazioni di volo. I risultati presentano differenze significative tra i partecipanti con e senza esperienza di volo in tre indicatori chiave QAR di volo: angolo di beccheggio 1 s prima de...
Gli autori hanno dichiarato di non aver divulgato informazioni finanziarie o conflitti di interesse.
Gli autori sono incredibilmente grati al signor Li Yan per il suo aiuto nel reclutare i partecipanti al progetto pilota e ringraziano la signora Bu Lingyun per il suo lavoro sul disegno di immagini. La ricerca è stata sostenuta dalla National Natural Science Foundation of China (numero di sovvenzione T2192931, 72071185), dal National Brain Project (numero di sovvenzione STI2030-Major Projects2022ZD0208500), dal National Key Laboratory Project of Human Factors Engineering (numero di sovvenzione SYFD062003), dal National Key Laboratory Project of Human Factors Engineering (numero di sovvenzione 6142222210201) e dall'anno 2022 Major Projects of Military Logistic Research Grant e Key Project of Air Force Equipment Comprehensive Ricerca (numero di sovvenzione KJ2022A000415).
Name | Company | Catalog Number | Comments |
3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK | This SDK is a powerful yet flexible free analytics tool designed for games. |
CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type | One of the most powerful graphics card on the mainstream market. |
Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica pedal | THRUSTMASTER | TPR pendular rudder | |
Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |
Richiedi autorizzazione per utilizzare il testo o le figure di questo articolo JoVE
Richiedi AutorizzazioneThis article has been published
Video Coming Soon