Esperimenti di realtà virtuale con misure fisiologiche

Riepilogo

Esperimenti di realtà virtuale (VR) possono essere difficili da implementare e richiede una pianificazione meticolosa. Questo protocollo descrive un metodo per la progettazione e la realizzazione di esperimenti VR che raccolgono dati fisiologici da partecipanti umani. Gli esperimenti in quadro di ambienti virtuali (EVE) è impiegato per accelerare questo processo.

Abstract

Esperimenti di realtà virtuale (VR) sempre più sono impiegati a causa della loro validità interna ed esterna rispetto all'osservazione del mondo reale ed esperimenti di laboratorio, rispettivamente. VR è particolarmente utile per effetti grafici geografici e le indagini del comportamento spaziale. Nella ricerca di comportamento spaziale, VR fornisce una piattaforma per studiare la relazione tra navigazione e misure fisiologiche (ad es., la pelle di conduttanza, frequenza cardiaca, pressione sanguigna). In particolare, misure fisiologiche permettono ai ricercatori di affrontare nuove questioni e vincolare le teorie precedenti di abilità spaziali, le strategie e le prestazioni. Ad esempio, le differenze individuali nella prestazione di navigazione possono essere spiegate dalla misura in cui cambiamenti in eccitazione mediano gli effetti di difficoltà del compito. Tuttavia, la complessità nella progettazione e realizzazione di esperimenti VR può distrarre sperimentatori provenienti da loro obiettivi di ricerca primaria e introdurre irregolarità nella raccolta dati e analisi. Per affrontare queste sfide, gli esperimenti in ambienti virtuali (EVE) framework include moduli standardizzati come partecipante di formazione con il controllo dell'interfaccia, raccolta di dati mediante questionari, la sincronizzazione delle fisiologiche misurazioni e archiviazione dei dati. EVE, inoltre, fornisce l'infrastruttura necessaria per la valutazione, la visualizzazione e la gestione dei dati. Il presente documento descrive un protocollo che utilizza il framework di vigilia di condurre esperimenti di navigazione nel VR con sensori fisiologici. Il protocollo elenca i passaggi necessari per reclutamento partecipanti, associare i sensori fisiologici, amministrare l'esperimento utilizzando EVE e valutare i dati raccolti con gli strumenti di valutazione di EVE. Nel complesso, questo protocollo faciliterà la ricerca futura semplificando la progettazione e la realizzazione di esperimenti VR con sensori fisiologici.

Introduzione

Capire come gli individui navigare ha implicazioni importanti per diversi campi, tra cui scienza cognitiva^1,2,3, neuroscienze^4,5e computer scienza^{6 , 7}. navigazione è stata studiata in ambienti reali e virtuali. Uno dei vantaggi di esperimenti reali è che la navigazione non richiede la mediazione di un interfaccia di controllo e perciò può produrre più realistico comportamento spaziale. Al contrario, gli esperimenti di realtà virtuale (VR) consentono per una misurazione più precisa del comportamento (ad es., camminare traiettorie) e fisiologico (ad es., frequenza cardiaca) dati, nonché di controllo più sperimentale (cioè., interno validità). A sua volta, questo approccio può provocare interpretazioni più semplice dei dati e teorie così più robuste della navigazione. Inoltre, neuroscienze possono beneficiare di VR, perché i ricercatori possono indagare i correlati neurali della navigazione, mentre i partecipanti sono impegnati nell'ambiente virtuale ma non è possibile spostare fisicamente. Per gli informatici, navigazione in VR richiede sviluppi unici in potenza di elaborazione, memoria e computer grafica al fine di garantire un'esperienza immersiva. I risultati dagli esperimenti di VR possono essere applicati anche in architettura e cartografia informando il design dell'edificio layout⁸ e mappa caratteristiche⁹ per facilitare la navigazione del mondo reale. Recentemente, gli avanzamenti nella tecnologia VR combinato con una diminuzione drammatica nel suo costo hanno condotto ad un aumento del numero di laboratori che impiegano VR per i loro disegni sperimentali. A causa di questa crescente popolarità, i ricercatori devono riflettere su come semplificare l'implementazione di applicazioni VR e standardizzare il flusso di lavoro di esperimento. Questo approccio aiuterà MAIUSC risorse attuazione allo sviluppo della teoria ed estendere le funzionalità esistenti di VR.

Configurazioni di VR possono variare da più a meno realistici in termini di display e i controlli. Più realistica di impostazioni VR tende a richiedere ulteriori infrastrutture quali spazi di rilevamento di grandi dimensioni e ad alta risoluzione Visualizza¹⁰. Questi sistemi spesso impiegano algoritmi a piedi reindirizzati al fine di iniettare impercettibili rotazioni e traduzioni nel feedback visivo fornito agli utenti ed effettivamente ingrandire l'ambiente virtuale attraverso il quale i partecipanti possono spostare^{11 , 12}. questi algoritmi possono essere generalizzati in che non richiedono la conoscenza della struttura ambientale¹³ o predittiva in quanto essi assumono particolari percorsi per l' utente¹⁴. Anche se la maggior parte della ricerca sul camminare reindirizzata è utilizzato testa-montata display (HMDs), alcuni ricercatori utilizzano una versione di questa tecnica con a piedi-in-posto come parte di un sistema di proiezione di grandi dimensioni (ad es., grotte)¹⁵. Mentre sulla testa del partecipante può essere effettuata, HMDs, grotta display tendono a fornire un più ampio campo visivo orizzontale^16,17. Tuttavia, meno infrastruttura è necessaria per i sistemi VR utilizzando schermi desktop^18,19. La ricerca sulle neuroscienze ha impiegato anche sistemi VR in combinazione con la formazione immagine a risonanza magnetica funzionale (fMRI) durante la scansione²⁰, in combinazione con fMRI dopo la scansione^21,22e in combinazione con elettroencefalografia (EEG) durante la registrazione^23,24. Ambienti di sviluppo software sono necessari al fine di coordinare la varietà di display e controlli che vengono utilizzati per la ricerca di navigazione.

Ricerca che incorpora VR e dati fisiologici pone ulteriori sfide come l'acquisizione di dati e sincronizzazione. Tuttavia, dati fisiologici consentono le indagini dei processi impliciti che possono mediare la relazione tra il comportamento di navigazione spaziale e potenziali. Infatti, il rapporto fra lo sforzo e la navigazione è stato studiato utilizzando desktop VR e una combinazione di diversi sensori fisiologici (cioè., frequenza cardiaca, pressione sanguigna, conduttanza cutanea, cortisolo salivare e alfa-amilasi)^{25 , 26 , 27 , 28}. per esempio, van Gerven e colleghi²⁹ studiato l'impatto dello stress sulla strategia di navigazione e le prestazioni utilizzando una versione di realtà virtuale di un compito del labirinto dell'acqua di Morris e diverse misure fisiologiche (ad es., pelle conduttanza, frequenza cardiaca, pressione arteriosa). I loro risultati hanno rivelato che lo stress predetto strategia di navigazione in termini di utilizzo di punto di riferimento (cioè., egocentrico contro allocentriche) ma non è stato collegato a prestazioni di navigazione. In generale, i risultati dagli studi precedenti sono un po ' incoerenti per quanto riguarda gli effetti dello stress sulle prestazioni di navigazione e memoria spaziale. Questo modello può essere attribuibile alla separazione del fattore di stress (ad es., la procedura pressoria fredda²⁶, l' attività di analisi di Star Mirror²⁵) dall'attività di navigazione effettiva, l'uso di semplici labirinto di ambienti virtuali ( ad esempio.,²⁶del labirinto dell'acqua di Morris virtuale, virtuale braccio radiale del labirinto²⁸) e le differenze nei dettagli metodologici (ad es., tipo di fattore di stress, tipo di dati fisiologici). Differenze nel formato di dati fisiologici raccolti possono anche essere problematiche per l'implementazione e l'analisi di tali studi.

Gli esperimenti nel quadro di esperimenti virtuali (EVE) facilita la progettazione, la realizzazione e l'analisi di esperimenti VR, soprattutto quelli con periferiche aggiuntive (ad es., eye tracker, dispositivi fisiologici)³⁰. Il framework di EVE è liberamente disponibile come un progetto open-source su GitHub (https://cog-ethz.github.io/EVE/). Questo framework si basa sul popolare unità 3D gioco motore (https://unity3d.com/) e il sistema di gestione di database MySQL (https://www.mysql.com/). I ricercatori possono utilizzare il framework di vigilia al fine di preparare le varie fasi di un esperimento VR, inclusi questionari pre- e post-studio, misurazioni di base per qualsiasi dati fisiologici, formazione con l'interfaccia di controllo, l'attività di navigazione principale, e test per la memoria spaziale dell'ambiente navigabile (ad es., sentenze della direzione relativa). Gli sperimentatori possono inoltre controllare la sincronizzazione dei dati da fonti diverse e a diversi livelli di aggregazione (ad es., attraverso le prove, blocchi o sessioni). Le origini dati possono essere fisiche (cioè., collegato all'utente; Vedi Tabella materiali) o virtuale (cioè., dipendente dalle interazioni tra avatar del partecipante e l'ambiente virtuale). Ad esempio, un esperimento può richiedere la registrazione di frequenza cardiaca e orientamento e posizione dal partecipante quando avatar di tale partecipante si muove attraverso una particolare area dell'ambiente virtuale. Tutti i dati viene automaticamente memorizzati in un database MySQL e valutati con funzioni di riproduzione e il pacchetto di R evertools (https://github.com/cog-ethz/evertools/). Evertools fornisce funzioni di esportazione, base statistica descrittiva, e strumenti diagnostici per le distribuzioni dei dati.

Il quadro di EVE potrebbe essere distribuito con una varietà di infrastrutture fisiche e sistemi VR. Nel presente protocollo, descriviamo una particolare implementazione presso il NeuroLab presso ETH Zürich (Figura 1). Il NeuroLab è un 12m da 6 m camera contenente una camera isolata per condurre esperimenti di EEG, un box contenente il sistema VR (2,6 x 2,0 m) e una zona curtained per il collegamento di sensori fisiologici. Il sistema VR include un display televisione ad altissima definizione da 55", un computer gaming di fascia alta, un'interfaccia di controllo joystick e diversi sensori fisiologici (Vedi Tabella materiali). Nelle sezioni seguenti, descriviamo il protocollo per lo svolgimento di un esperimento di navigazione in NeuroLab utilizzando il framework di EVE e sensori fisiologici, presenti risultati rappresentativi da uno studio sullo stress e navigazione e discutere le opportunità e le sfide connesse con questo sistema.

Protocollo

Il seguente protocollo è stata condotta conformemente agli orientamenti approvati dalla Commissione etica dell'ETH di Zurigo nell'ambito della proposta EK 2013-N-73.

1. reclutare e preparare i partecipanti

1. Selezionare partecipanti con particolari dati demografici (ad es., età, sesso, priorità bassa educativa) utilizzando un sistema di reclutamento partecipante o mailing list (ad es., UAST; http://www.uast.uzh.ch/).
2. Contattare i partecipanti selezionati per e-mail. In questa e-mail, ricordare ai partecipanti dei requisiti e durata della sessione. Lasciate che i partecipanti sanno che devono indossare un ritornello superiore (per il monitoraggio della pressione arteriosa), larghi da alcool per 12 h prima dell'esperimento e astenersi da parecchie altre attività (cioè., caffeina, il fumo, mangiare ed esercizio) per 3 h prima dell'esperimento.

2. preparare l'esperimento e fisiologici dispositivi utilizzando EVE

1. Prima di ogni sessione sperimentale, avviare il computer, il monitor di sperimentatore e il test monitor.
2. Assicurarsi che il ventilatore in camera, il termometro e il monitor di umidità sono su.
3. Accendere la macchina che misura l'attività elettrodermica (EDA) e l'elettrocardiografia (ECG; ad es., PowerLab da ADInstruments). Vedere la tabella dei materiali.
4. Aprire il software EDA/ECG (vigilia attualmente supporta Labchart da ADInstruments) e creare un nuovo file di impostazioni. Selezionare una frequenza di campionamento di 1.000 Hz e il numero appropriato di canali (ad es., uno per uno per ECG ed EDA). Salvare questo file di impostazioni e ri-salvare una versione con un nome diverso per ogni sessione sperimentale.
5. Per gli elettrodi EDA, eseguire uno zero in circuito aperto (cioè., senza gli elettrodi attaccati a nulla) per ottenere una misura di base della conducibilità del sistema.
6. Assicurarsi che l'interfaccia di controllo (ad es., joystick) è collegato al computer.
7. Sul monitor sperimentatore, aprire il file eseguibile di unità per l'esperimento.
   1. Aprire il menu "Impostazioni di sperimentare" in EVE e immettere i parametri di esperimento (ad es., numero identificativo del partecipante, file di misurazione fisiologica, condizione sperimentale, temperatura e umidità).
   2. Fare clic su "Avvia esperimento".

3. procedura sperimentale

1. Procedura di introduzione e consenso
   1. Pick up il partecipante nella posizione di incontro concordato e lui/lei guida al laboratorio.
   2. Indicare che la sessione sarà prendere circa 90 min e chiedere al partecipante di conservare il suo orologio e/o telefono cellulare.
   3. Chiedere al partecipante di sedersi sulla sedia sperimentale e spiegare la procedura sperimentale secondo il copione verbale preparato.
   4. Chiedere al partecipante di leggere il foglio informativo e firmare il modulo di consenso informato.
2. Collegamento di sensori EDA ed ECG
   1. Pulire il dito indice e l'anulare della mano non-dominante con un panno umido senza sapone. Assicurarsi che siano asciutti e collegare i due elettrodi EDA per le falangi mediale.
   2. Pulire la pelle sul petto dove verranno posizionati gli elettrodi ECG con un panno umido.
   3. Posizionare gli elettrodi di bianchi, neri e rossi sul corpo del partecipante tra le costole in base alla Figura 2. Posizionare l'elettrodo bianco sulla parte superiore destra dell'addome (UR) e l'elettrodo nero sulla parte superiore sinistra dell'addome (UL). Posizionare l'elettrodo rosso sul basso addome sinistro (LL). Garantire che i tre elettrodi non sono direttamente sopra una costola.
   4. Collegare i tre cavi ECG color-coded agli elettrodi corrispondenti attaccati al corpo del partecipante.
3. Questionari pre-esperimento
   1. Fornire al partecipante con una tastiera e un mouse che verrà utilizzato per rispondere a questionari (ad es., demografici domande, la prima parte del breve questionario di stato di Stress, il senso di Santa Barbara di direzione scala) e informare lui o lei che verrà chiesto una serie di domande sul computer.
   2. Informare i partecipanti che si possono chiedere lo sperimentatore domande riguardanti i questionari in qualsiasi momento.
   3. Chiudere le due pareti laterali della cabina mentre il partecipante sta completando i questionari.
4. Preparazioni per la misurazione fisiologica. Questi passaggi possono essere effettuati mentre il partecipante sta completando i questionari.
   1. Informare il partecipante che lo sperimentatore ora preparerà i dispositivi fisiologici.
   2. Verificare che gli elettrodi sono stati montati nelle posizioni corrette.
   3. Fissare il bracciale della pressione al braccio non dominante.
   4. Fornire istruzioni al partecipante per quanto riguarda la misura esatta di pressione sanguigna. Dica al partecipante di ridurre al minimo i movimenti delle braccia e corpo, tenere il bracciale della pressione a livello del cuore e mantenere una postura eretta con i piedi appoggiati sul pavimento.
   5. Collegare i due fili EDA agli elettrodi sulle dita.
   6. Spegnere la luce sopra il monitor e tutte le altre luci ambientali per l'impostazione più bassa di dim.
   7. Mano il joystick al partecipante e assicurarsi che il mouse è fuori dallo schermo del monitor test.
   8. Zero il canale EDA al fine di ottenere una misura di livello di conduttanza cutanea iniziale di un individuo.
   9. Nel software EDA/ECG, aprire la finestra di dialogo "Bio Amp". Scegliere la portata del segnale in cui il segnale del battimento di cuore copre circa un terzo della finestra di anteprima (5 mV nella maggior parte dei casi).
   10. Avviare la registrazione con il software EDA/ECG e verifica se un segnale è visibile nella finestra del software EDA/ECG sul monitor sperimentatore.
   11. Iniziare la registrazione premendo il pulsante appropriato nella macchina pressione sanguigna la pressione sanguigna.
   12. Passare al programma aperto unità e premere "Avvia misure". Dovrebbe apparire una fissazione trasversale.
5. Formazione di joystick e linea di base dei video
   1. Chiedere al partecipante di guardare e seguire il video di formazione che incarica lui o lei come utilizzare il joystick.
   2. Chiedere ai partecipanti di completare il labirinto di formazione al fine di pratica usando il joystick. In questo labirinto di formazione, i partecipanti sono incaricati di seguire le frecce che indicano un percorso e raccolgono le gemme galleggiante.
   3. Se l'esperimento include il suono, è possibile inserire la cuffia sulla testa del partecipante.
   4. Chiedere al partecipante di guardare il video di natura basale senza muoversi. Questo video è usato per rappresentare una misurazione di base dei dati fisiologici del partecipante durante l'analisi successiva.
6. Attività di navigazione
   1. Garantire che i partecipanti abbiano letto le istruzioni per quanto riguarda l'attività di navigazione be-completato. Indagare su se il partecipante ha domande prima dell'inizio dell'attività di navigazione. Raccontare il partecipante che non dovrebbero chiedere domande durante l'attività di navigazione.
   2. Chiedere al partecipante di premere il grilletto sul joystick quando lui o lei è pronta per iniziare l'attività di navigazione.
7. Misure fisiologiche finale e distacco dei sensori fisiologici
   1. Attendere che il sistema ha completato la misurazione della pressione finale.
   2. Interrompere la registrazione ECG ed EDA premendo il tasto stop nel software EDA/ECG.
   3. Rimuovere il polsino di pressione sanguigna.
   4. Rimuovere gli elettrodi EDA dal partecipante.
   5. Chiedere ai partecipanti di non rimuovere gli elettrodi ECG fino alla fine dell'esperimento.
   6. Rimuovere il joystick e cuffie.
8. Post-esperimento questionari
   1. Fornire al partecipante con una tastiera e un mouse per i questionari post-esperimento (ad es., la seconda parte del breve questionario di stato di Stress, il manichino di autovalutazione, il questionario di malattia del simulatore).
   2. Informare i partecipanti che verrà chiesto un'altra serie di domande sul computer e che lui o lei può chiedere domande se necessario.
9. Fine della sessione sperimentale
   1. Informare il partecipante che la parte sperimentale è ormai finita. Grazie a lui o lei per partecipano all'esperimento.
   2. Raccontare il partecipante che ora lui/lei può rimuovere gli elettrodi ECG.
   3. Pagare i partecipanti e chiedere loro di firmare la ricevuta stampata.
   4. Chiedere se il partecipante ha qualsiasi domanda riguardante lo scopo dell'esperimento le escort lui o lei fuori della camera sperimentale.

4. dopo ogni sessione sperimentale

1. Aprire il menu di "valutazione" in vigilia al fine di condurre l'esperimento diagnostica (ad es., traiettorie di riproduzione) e salvare i file di misurazione fisiologica nel software EDA/ECG.
2. Nel menu "valutazione" in vigilia, premere il pulsante "Aggiungi evento marcatore" per contrassegnare gli eventi nei file di misurazione fisiologica. Questo passaggio è fondamentale per l'analisi dei dati fisiologici in termini di particolari fasi sperimentali.
3. Salvare il file EDA/ECG nel file fisiologiche di misura nel software EDA/ECG.
4. Esportare i dati sperimentali per il backup usando il pacchetto evertools.
5. Spegnere la macchina EDA/ECG e pulire gli elettrodi EDA con tamponi imbevuti di alcool.
6. Segno che il partecipante si presentò nel sistema di reclutamento partecipanti.

Risultati

Da ogni partecipante il NeuroLab, raccogliamo in genere dati fisiologici (ad es., ECG), dati del questionario (ad es., il senso di Santa Barbara di direzione scala o SBSOD³¹) e dati di navigazione (ad es., percorsi attraverso il ambiente virtuale). Ad esempio, cambiamenti nella frequenza cardiaca (derivato da dati ECG) sono stati associati con i cambiamenti negli Stati di stress in combinazione con altri fisiologici³²

Discussione

Nel presente documento, abbiamo descritto un protocollo per lo svolgimento di esperimenti in VR con fisiologiche dispositivi utilizzando il framework di EVE. Questi tipi di esperimenti sono unici a causa di considerazioni hardware aggiuntivo (ad es., dispositivi fisiologici e altre periferiche), le fasi preparatorie per la raccolta dei dati fisiologici utilizzando VR e requisiti di gestione dei dati. Il presente protocollo fornisce i passaggi necessari per gli sperimentatori che intende raccogliere dati da più ...

Materiali

Name	Company	Catalog Number	Comments
Alienware Area 51 Base	Dell	210-ADHC	Computation
138 cm 4K Ultra-HD LED-TV	Samsung	UE55JU6470U	Display
SureSigns VS2+	Philips Healthcare	863278	Blood Pressure
PowerLab 8/35	AD Instruments	PL3508	Skin Conductance
PowerLab 26T (LTS)	AD Instruments	ML4856	Heart Rate
Extreme 3D Pro Joystick	Logitech	963290-0403	HID