Misura della cinematica dei movimenti di vita quotidiana con sistemi di Motion Capture in realtà virtuale

Riepilogo

Abbiamo progettato un test di realtà virtuale per valutare le attività strumentali della vita quotidiana (IADL) con un sistema di motion capture. Vi proponiamo una dettagliata analisi cinematica per interpretare il partecipante vari movimenti, tra cui traiettoria, distanza commovente e il tempo di completamento per valutare le capacità IADL.

Abstract

L'impossibilità di completare le attività strumentali della vita quotidiana (IADL) è un precursore di varie malattie neuropsicologiche. Valutazioni basate su questionario di IADL sono inclini a pregiudizi soggettivi ma facile da usare. Qui, descriviamo un test romanzo realtà virtuale (VR) per valutare due compiti complessi di IADL: gestione delle transazioni finanziarie e con i mezzi pubblici. Mentre un partecipante esegue le attività in un ambiente di VR, un movimento di acquisire tracce di sistema la posizione e l'orientamento della mano dominante e la testa in un sistema di coordinate cartesiano tridimensionale. Cinematica dei dati grezzi vengono raccolti e convertito in 'performance cinematica misure,' cioè, movimento traiettoria, distanza commovente, tempo di completamento. Traiettoria di movimento è il percorso di una determinata parte del corpo (ad esempio, la mano dominante o testa) nello spazio. Distanza commovente si riferisce alla distanza totale della traiettoria, e tempo di completamento è quanto ci è voluto per completare un compito IADL. Queste misure cinematiche potrebbero discriminare i pazienti con danno conoscitivo da controlli sani. Lo sviluppo di questo protocollo di misurazione cinematico permette la rilevazione dei primi danni conoscitivi relativi IADL.

Introduzione

Attività strumentali della vita (IADL), come gestire le transazioni finanziarie, con i mezzi pubblici e cucina, sono marcatori medicali poiché richiedono più funzioni neuropsicologiche¹quotidiana. Alterata funzionalità IADL sono quindi considerate precursori di malattie neurologiche, quali danno conoscitivo delicato (MCI) e demenza². Rassegna completa di oro di IADL attività³ indicato che attività cognitivamente più impegnative, come la gestione delle finanze e con i mezzi pubblici, il preannunciatore più in anticipo di MCI e demenza.

Ad oggi, le valutazioni più comunemente usate di IADL sono questionari auto-riferiti, questionari basati su informatore e valutazioni basate su prestazioni⁴. Valutazioni basate su questionario di IADL sono conveniente e facile da usare, ma sono inclini a pregiudizi soggettivi. Per esempio, quando auto-segnalazione, i pazienti tendono a over o under estimate loro IADL capacità⁵. Allo stesso modo, informatori giudicar malee funzionalità IADL a causa dell'osservatore percezioni erronee o lacune di conoscenza⁴. Così, le valutazioni basate sulle prestazioni che chiedere ai pazienti di svolgere compiti specifici IADL sono state preferite, anche se molte delle attività sono inadeguate per una regolazione clinica generale⁶.

Recentemente, la realtà virtuale (VR) studi hanno dimostrato che questa tecnologia potrebbe avere significative applicazioni in medicina e sanità, che comprende tutto, dalla formazione alla riabilitazione a valutazione medica⁷. Tutti i partecipanti possono essere testati alle stesse condizioni VR, che imitano il mondo reale. Per esempio, Allain et al. ⁸ ha sviluppato un'attività virtuale di caffè e ha mostrato che i pazienti con danno conoscitivo eseguito l'attività male. Klinger et al. ⁹ ha sviluppato un altro ambiente di VR per mailing e attività di shopping e trovato una relazione significativa tra il tempo di completamento di attività in VR e risultati dei test neuropsicologici. Gli studi di valutazione IADL precedenti-VR sono principalmente concentrati sugli indicatori di performance semplice come tempo di reazione o precisione quando si utilizzano dispositivi di input tradizionali come ad esempio un mouse e tastiera^8,9. Ulteriori dati di prestazioni relativi IADL occorre pertanto allo schermo in modo efficiente per i pazienti con MCI⁴.

Analisi cinematica di dati di cattura del movimento in tempo reale è un approccio potente per documentare quantitativamente dati di prestazioni associati alle attività IADL. Ad esempio, bianco et al. ¹⁰ ha sviluppato una cucina virtuale che acquisisce dati angolo articolare del partecipante durante le attività quotidiane di vita e utilizzato i dati acquisiti per valutare quantitativamente l'efficacia della terapia fisica. Dimbwadyo-Terrer et al. ¹¹ ha sviluppato un ambiente immersivo di VR per valutare le prestazioni degli arti superiori, lo svolgimento di attività di vita quotidiane di base e ha mostrato che i dati cinematici registrati in un ambiente di VR altamente correlato con scale funzionali dell'arto superiore. Queste analisi cinematiche con sistemi di motion capture potrebbero fornire ulteriori opportunità per valutare rapidamente danno conoscitivo^{12 di un paziente}. L'inclusione dei dati cinematici dettagliati nello screening per i pazienti con MCI ha migliorato significativamente la classificazione dei pazienti rispetto ai controlli sani¹³.

Qui, descriviamo un protocollo per valutare la cinematica dei movimenti di vita quotidiana con sistemi di motion capture in un ambiente immersivo di VR. Il protocollo comprende due compiti complessi di IADL: "attività 1: prelevare denaro" (gestione delle transazioni finanziarie) e "attività 2: prendere l'autobus" (mezzi pubblici). Mentre le attività sono state eseguite, un sistema di motion capture tracciate la posizione e l'orientamento della mano dominante e la testa. Dopo aver completato le attività 1, traiettoria mano dominante, distanza commovente e tempo di completamento sono stati raccolti. Nel passaggio 2, testa traiettoria, distanza commovente e tempo di completamento sono stati raccolti. La sezione di rappresentante risultati in questo articolo i dettagli la prova preliminare dei pazienti con MCI (cioè, le funzionalità IADL sono alterate) rispetto ai controlli sani (cioè, le funzionalità IADL sono intatte).

Protocollo

Tutte le procedure sperimentali descritte qui sono state approvate dalla istituzionale Review Board di Hanyang University, secondo la dichiarazione di Helsinki (HYI-15-029-2). 6 controlli sani (4 maschi e 2 femmine) e 6 pazienti MCI (3 maschi e 3 femmine) sono stati reclutati da un centro medico terziario, Hanyang University Hospital.

1. reclutare partecipanti

1. Reclutare i pazienti con MCI (cioè, alterata funzionalità IADL) e controlli sani (cioè, normale funzionalità IADL) di età compresa tra 70-80 anni.
2. Con l'aiuto di un neurologo con più di 10 anni di esperienza clinica, rivedere l'anamnesi dei pazienti ed escludere i pazienti con una storia di malattie neurologiche/psichiatriche o intervento chirurgico al cervello.
   Nota: Utilizzare i seguenti test neuropsicologici: Mini Mental State esame-demenza Screening, coreano strumentale attività della vita quotidiana, libero e Cued Selective ricordando Test, Digit Span Test-avanti/indietro, Trail Making Test-A/B¹³ e i criteri di Albert et al. ¹⁴ per la diagnosi di MCI.

2. installare il Software VR e collegare i computer

1. Installazione dell'hardware in camera dedicata simile alla Figura 1. Eseguire questo protocollo in un dimensione di una stanza virtuale ambiente immersivo (4 x 2,5 x 2,5 m³) contenente 4 computer, 4 stereoscopica tridimensionale (3D) Proiettori e 8 telecamere di rilevamento di movimento per tenere traccia della posizione e l'orientamento della mano dominante e testa durante le due attività IADL.
   Nota: Le tecnologie VR utilizzate in questo articolo sono computer hardware e software che offrono esperienze 3D immersive e interattive, mediante il quale gli eventi e oggetti realistici possono essere presentati in un ambiente virtuale. I dettagli di hardware e software sono descritti nella Tabella dei materiali.
2. Garantire a che tutti i computer sono equipaggiati con il software necessario (pacchetto ridistribuibile di Visual Studio 2012 (x86), DirectX e MiddleVR o equivalente). Per MiddleVR, cioè, software middleware, controlla il sito Web¹⁵ per ottenere le ultime versioni delle librerie per i dispositivi di input, stereoscopia, clustering e interazioni.
3. Collegare computer ai proiettori 3D stereoscopici. Le impostazioni grafiche sono risoluzione di 1920 x 1080 pixel.
4. Creare un gruppo Home di Windows 10 per collegare 4 computer a una rete domestica. Nel computer principale, creare una cartella e condividerlo con altri computer del gruppo Home.
5. Nel computer principale, avviare il software middleware. Fare clic sul pulsante "Cluster". Impostare il computer primario come server e altri computer come client. Questo consente di sincronizzare lo stato di tutti i dispositivi. Fare clic sul pulsante "nodi 3D". Specificare la posizione, orientamento e dimensioni dello schermo di ambiente virtuale.
6. Completare le impostazioni basate sul sito Web¹⁵ e salvare il file di configurazione.

3. impostare sistemi di Motion Capture in un ambiente virtuale

1. Montare 8 telecamere di rilevamento di movimento in un ambiente virtuale per coprire completamente il volume di cattura. Fissare saldamente telecamere affinché rimangano fissi durante l'acquisizione. Assicurare gli oggetti in un ambiente virtuale sarà visibili da almeno 2 telecamere in ogni momento.
2. Installare software OptiTrack movente, vale a dire, software di cattura del movimento, nel computer principale usando il manuale di installazione¹⁶. Collegare il computer principale con i sistemi di cattura del movimento con cavi Ethernet di categoria 6.
3. Calibrare i sistemi di cattura del movimento con le seguenti operazioni, come dettagliato nel manuale software¹⁶.
   1. Rimuovere tutti i riflessi estranei o marcatori inutili dal volume di cattura.
   2. Fare clic sul pulsante "Maschera visibile" per mascherare i riflessi indesiderati o interferenze ambientali.
   3. Fare clic sul pulsante "Avvia Wanding". Utilizzare la bacchetta di calibrazione per supportare la cattura di fotogrammi campione al fine di calcolare le rispettive posizioni e orientamenti nello spazio 3D.
   4. Fare clic sul pulsante "Calcola" per calibrare il sistema utilizzando campioni raccolti.
   5. Controllare i risultati di taratura (in ordine dal peggiore al migliore): poveri, fiera, buono, ottimo, ottimo ed eccezionale. Se il risultato è migliore di grande, fare clic sul pulsante "Applica". In caso contrario, fare clic sul pulsante "Annulla" e ripetere il processo di polke.
   6. Posto sulla Piazza di calibrazione all'interno dello spazio 3D dove si desidera che l'origine di trovarsi. Fare clic su "Set Ground Plane" per stabilire un sistema di coordinate 3D cingolati origine.
   7. Selezionare marcatori associati riflettenti per la mano dominante e la testa. Fare clic sul pulsante "Corpo rigido" e fare clic sul pulsante "Creare da marcatori selezionati".
4. Sulla mozione software capture, aprire il menu di "Streaming". Verificare che il numero di porta elencato sia 3883 e selezionare la casella di "Trasmissione dati frame" nella categoria "VRPN Streaming Engine". Fare clic su "Ctrl" + "S" per salvare il file di calibrazione.
5. Nel computer principale, avviare il software middleware. Fare clic sul pulsante "Dispositivi". Aggiungere un Tracker di VRPN per ottenere i dati di tracciamento dal sistema di motion capture e quindi salvare il file di configurazione.

4. preparare un ambiente virtuale per l'uso

1. Rimuovere tutti gli oggetti riflettenti (cioè, orologi, anelli, orecchini, metalli, ecc.) dall'ambiente virtuale.
2. Accendere il computer, proiettori 3D stereoscopici e sistemi di motion capture (360 fotogrammi al secondo).
3. Una volta 4 computer sono in esecuzione, avviare il software di VRDaemon. Ad esempio, fare doppio clic su "VRDaemon.exe" che si trova in "C:\Program Files (x86) \MiddleVR\bin."
4. Nel computer principale, avviare il software di cattura del movimento. Fare clic sul pulsante menu in alto con l'etichetta "Apri progetto esistente." Caricare il file di calibrazione della fotocamera.
5. Nel computer principale, avviare il software middleware. Fare clic sul pulsante "Simulazioni". Caricare i file di configurazione e simulazione appropriati da una cartella condivisa.
6. Sul software middleware, premere il pulsante "Esegui" per eseguire un'applicazione virtuale immersiva con i file di configurazione e simulazione selezionati.

5. familiarizzare il partecipante con l'ambiente virtuale

1. Fornire al partecipante con occhiali stereoscopici pesa circa 50 g. La frequenza di visualizzazione degli occhiali stereoscopici è 192 Hz. Accertarsi che gli occhiali stereoscopici sono comodamente posizionati sopra gli occhi e le orecchie; vedere Figura 2A.
2. Allegare marcatori riflettenti di peso inferiore a 1 g a mano dominante del partecipante e la testa. Fare attenzione a collegare i marcatori riflettenti strettamente; Vedi Figura 2B. Informare i partecipanti che possono liberamente muoversi o ruotare in un ambiente virtuale utilizzando il movimento della testa e può fare clic su oggetti virtuali con la mano dominante. Compare una mano virtuale in un ambiente virtuale per simulare la posizione del dito indice del partecipante; vedere la Figura 3.
3. Chiedere al partecipante di muoversi liberamente (cioè, alzarsi, sedersi, andare a sinistra e andare a destra) in un ambiente virtuale per 5 min a familiarizzare con l'ambiente di VR. Quindi chiedi al partecipante di scegliere pulsanti virtuali per 5 min al fine di acquisire familiarità con il modo di interagire con oggetti virtuali con la mano dominante. Se il partecipante chiede uno, fornire un'altra sessione di allenamento di 10 min.
4. Verifica se il partecipante è immune alla malattia di VR con un simulatore malattia questionario¹⁷.
   Attenzione: Il movimento sincronizzato di rilevamento sul display stereoscopico può causare malattia VR, che può provocare disagio, mal di testa, consapevolezza dello stomaco, nausea, vomito, pallore, sudorazione, affaticamento, sonnolenza, disorientamento e apatia. Se il partecipante si lamenta di affaticamento o il Punteggio di malattia del simulatore è troppo alto, arrestare il protocollo.

6. eseguire "attività 1: prelevare denaro"

Attenzione: Controbilanciare le sequenze di attività 1 e 2 attività per rimuovere l'effetto di riporto.

1. Spiegare al partecipante i dettagli dell'attività e fornire l'8 azione passi per completare l'operazione in un ambiente virtuale. I passaggi sono (1) inserire la scheda in ATM, (2) selezionare il menu 'prelevare', (3) selezionare l'importo da prelevare, (4) selezionare il tipo di fattura, (5) Inserisci il PIN (personal identification number), (6) selezionare l'opzione di ricezione, (7) rimuovere la scheda e (8) prendere i soldi da l'ATM (vedere Figura 4).
2. Nel computer principale, avviare il software middleware. Nella scheda "Simulazioni", selezionare un file di simulazione per l'attività 1 e un file di configurazione. Premere il pulsante "Esegui"; "Attività 1: prelevare denaro" verrà eseguito in un ambiente virtuale.
   Nota: Per i file di attività 1, vedere il file allegato "Task 1 ritirare Money.zip" nel File supplementare 1. Si noti che l'attività virtuale è stato sviluppato con il motore Unity 3D.
3. Se il "attività 1: prelevare denaro" viene eseguito in ambiente virtuale, indicare al partecipante di eseguire come segue: "per favore, ritirare KRW 70.000 (equivalente a circa 60 USD) dal bancomat per lo shopping. Selezionare due diversi tipi di note, uno 50.000 KRW nota per 50.000 KRW e due 10.000 KRW note per 20.000 KRW. La password per la vostra transazione è la data odierna. Per esempio, se l'esperimento è effettuato su 11 novembre, il PIN è 1111. Conservare lo scontrino fiscale per ulteriore riferimento."
4. Una volta terminata l'operazione, è possibile controllare i dati cinematici salvati in file CSV (valori separati da virgole) per un'ulteriore analisi da una cartella condivisa.
   Nota: Utilizzando i sistemi di cattura del movimento, durante "attività 1: prelevare denaro" registrare la posizione e l'orientamento della mano dominante, lo svolgimento di un'attività con una frequenza di registrazione di 1 ms.
5. Dare circa 5 minuti di pausa al partecipante prima di iniziare "attività 2: prendere un autobus."

7. eseguire "attività 2: prendere un autobus"

1. Spiegare al partecipante i dettagli dell'attività e fornire istruzioni su come completare "attività 2: prendere l'autobus" come segue: "si prega di aspettare alla fermata dell'autobus e prendere il bus di destinazione. Le informazioni di autobus destinazione avrà sullo schermo VR da un determinato numero di riga, il colore e la destinazione. Quando arriva l'autobus destinazione, assicuratevi di camminare fuori la fermata dell'autobus e alla porta d'ingresso del bus destinazione. 8 bus di destinazione diverso sarà casualmente generato ed ha presentato." Vedere la Figura 5.
2. Nel computer principale, avviare il software middleware. Nella scheda "Simulazioni", selezionare un file di simulazione per l'attività 2 e un file di configurazione. Premere il pulsante "Esegui", quindi "attività 2: prendere l'autobus" verrà eseguito in un ambiente virtuale.
   Nota: Per i file di attività 2, vedere il file allegato "Task 2 prendere un Bus.zip" nel File supplementare 2. Si noti che l'attività virtuale è stato sviluppato con il motore Unity 3D.
3. Se il "attività 2: prendere l'autobus" viene eseguito in ambiente virtuale, indicare al partecipante di aspettare alla fermata dell'autobus. Clicca il tasto "Barra spaziatrice" sulla tastiera per rendere gli autobus arrivano alla fermata dell'autobus.
4. Una volta terminata l'operazione, controllare i dati cinematici salvati in file CSV per ulteriori analisi da una cartella condivisa.
   Nota: Utilizzando i sistemi di cattura del movimento, durante "attività 2: prendere l'autobus" registrare la posizione e l'orientamento della testa quando lo svolgimento di attività con una frequenza di registrazione di 1 ms.
5. Il protocollo è completo. Aiutare il partecipante togliersi gli occhiali stereoscopici e staccare i marcatori riflettenti dalla mano dominante e la testa.

Risultati

CSV file da "attività 1: prelevare denaro" sono stati analizzati utilizzando il software statistico R per calcolare la traiettoria di mano dominante, la distanza commovente e il tempo di completamento. Viene visualizzata la traiettoria del movimento mano dominante (Figura 6). La distanza commovente della mano dominante viene calcolata sommando il totale distanze tra posizioni sequenziali della mano durante l'esecuzione di attività 1. La distanza tra le posi...

Discussione

Abbiamo dettagliate di un protocollo di misurazione cinematico dei movimenti di vita quotidiana con sistemi di motion capture in un ambiente immersivo di VR. In primo luogo, l'impostazione sperimentale guidato come impostare, preparare e familiarizzare i partecipanti con l'ambiente di VR immersiva. In secondo luogo, abbiamo sviluppato due attività IADL standardizzata in VR. In terzo luogo, passaggio 3 e passaggio 5 nella sezione protocollo sono le fasi più critiche per minimizzare la malattia VR. Quando si impostano i ...

Materiali

Name	Company	Catalog Number	Comments
Computer	N/A	N/A	Computer requirements:                                                            - Single socket H3 (LGA 1150) supports - Intel® Xeon® E3-1200 v3, 4th gen. Core i7/i5/i3 processors - Intel® C226 Express PCH - Up to 32GB DDR3 ECC/non-ECC 1600MHz UDIMM in 4 sockets - Dual Gigabit Ethernet LAN ports - 8x SATA3 (6Gbps) - 2x PCI-E 3.0 x16, 3x PCI-E 2.0 x1, and 2x PCI 5V 32-bit slots - 6x USB 3.0 (2 rear + 4 via headers) - 10x USB 2.0 (4 rear + 6 via headers) - HD Audio 7.1 channel connector by Realtek ALC1150 - 1x DOM power connector and 1x SPDIF Out Header - 800W High Efficiency Power Supply - Intel Xeon E3-1230v3 - DDR3 PC12800 8GB ECC - WD 1TB BLUE WD 10EZEX  3.5" - NVIDIA QUADRO K5000 & SYNC
Stereoscopic 3D Projector	Barco	F35 AS3D WUXGA	Resolution: - WQXGA (2,560 x 1,600) - Panorama (2,560 x 1,080) - WUXGA (1,920 x 1,200), 1080p (1,920 x 1,080)
Stereoscopic Glasses	Volfoni	Edge 1.2	For further information, visit http://volfoni.com/en/edge-1-2/
Motion Capture Systems	NaturalPoint OptiTrack	17W	For further information, visit http://optitrack.com/products/prime-17w/
OptiTrack (Motion capture software)	NaturalPoint OptiTrack	Motive 2.0	For further information, visit https://optitrack.com/downloads/motive.html
MiddleVR (Middleware software)	MiddleVR	MiddleVR For Unity	For further information, visit http://www.middlevr.com/middlevr-for-unity/
VRDaemon (Middleware software)	MiddleVR	MiddleVR For Unity	For further information, visit http://www.middlevr.com/middlevr-for-unity/
Unity3D (Game engine)	Unity Technologies	Personal	For further information, visit https://unity3d.com/unity