È necessario avere un abbonamento a JoVE per visualizzare questo. Accedi o inizia la tua prova gratuita.
L'immaginazione motoria in un ambiente di realtà virtuale ha ampie applicazioni nei sistemi di interfaccia cervello-computer. Questo manoscritto delinea l'uso di avatar digitali personalizzati che assomigliano ai partecipanti che eseguono movimenti immaginati dal partecipante in un ambiente di realtà virtuale per migliorare l'immersione e il senso di proprietà del corpo.
Questo studio introduce un framework innovativo per la riabilitazione neurologica integrando le tecnologie di interfacce cervello-computer (BCI) e realtà virtuale (VR) con la personalizzazione di avatar tridimensionali (3D). Gli approcci tradizionali alla riabilitazione spesso non riescono a coinvolgere pienamente i pazienti, principalmente a causa della loro incapacità di fornire un'esperienza profondamente immersiva e interattiva. Questa ricerca cerca di colmare questa lacuna utilizzando tecniche di imaging motorio (MI), in cui i partecipanti visualizzano movimenti fisici senza un'esecuzione effettiva. Questo metodo sfrutta i meccanismi neurali del cervello, attivando le aree coinvolte nell'esecuzione del movimento quando si immaginano i movimenti, facilitando così il processo di recupero. L'integrazione delle capacità immersive della realtà virtuale con la precisione dell'elettroencefalografia (EEG) per catturare e interpretare l'attività cerebrale associata ai movimenti immaginati costituisce il cuore di questo sistema. I Digital Twin sotto forma di avatar 3D personalizzati vengono utilizzati per migliorare significativamente il senso di immersione all'interno dell'ambiente virtuale. Questo accresciuto senso di incarnazione è fondamentale per una riabilitazione efficace, con l'obiettivo di rafforzare la connessione tra il paziente e la sua controparte virtuale. In questo modo, il sistema non solo mira a migliorare le prestazioni delle immagini motorie, ma cerca anche di fornire un'esperienza di riabilitazione più coinvolgente ed efficace. Attraverso l'applicazione in tempo reale di BCI, il sistema consente di tradurre direttamente i movimenti immaginati in azioni virtuali eseguite dall'avatar 3D, offrendo un feedback immediato all'utente. Questo ciclo di feedback è essenziale per rafforzare i percorsi neurali coinvolti nel controllo motorio e nel recupero. L'obiettivo finale del sistema sviluppato è quello di migliorare significativamente l'efficacia degli esercizi di imaging motorio rendendoli più interattivi e reattivi ai processi cognitivi dell'utente, aprendo così un nuovo percorso nel campo della riabilitazione neurologica.
I paradigmi riabilitativi per i pazienti con disabilità neurologiche stanno subendo un cambiamento trasformativo con l'integrazione di tecnologie avanzate come le interfacce cervello-computer (BCI) e la realtà virtuale immersiva (VR), offrendo un metodo più sfumato ed efficace per favorire il recupero. L'immaginazione motoria (MI), la tecnica al centro della riabilitazione basata sulla BCI, prevede la prova mentale di movimenti fisici senza un'effettiva esecuzione motoria1. L'infarto miocardico sfrutta un meccanismo neurale in cui l'immaginazione di un movimento innesca un modello di attività cerebrale che rispecchia da vicino quello dell'esecuzione dell'azione fisica stessa 2,3,4. In particolare, l'impegno nell'infarto miocardico porta a un fenomeno noto come desincronizzazione correlata agli eventi (ERD) nelle bande di frequenza alfa (8-13 Hz) e beta (13-25 Hz) dell'attività elettrica del cervello 5,6,7. L'ERD è indicativo di una soppressione dei ritmi cerebrali di base, un modello osservato anche durante il movimento effettivo, fornendo così un substrato neurale per l'uso dell'infarto miocardico all'interno dei quadri di riabilitazione assistita da BCI7. Una tale somiglianza nell'attivazione corticale tra infarto miocardico e movimento fisico suggerisce che l'infarto miocardico può stimolare efficacemente le reti neurali coinvolte nel controllo motorio, rendendolo uno strumento prezioso per i pazienti con deficit motori8. Inoltre, la pratica dell'MI è stata estesa oltre la mera prova mentale per includere strategie di osservazione dell'azione9. Osservare il movimento di parti del corpo correlate al compito o le azioni in altri può attivare la rete di neuroni specchio (MNN), un gruppo di neuroni che rispondono sia all'osservazione dell'azione che all'esecuzione9. È stato dimostrato che l'attivazione della MNN attraverso l'osservazione induce plasticità corticale, come evidenziato da varie modalità di neuroimaging, tra cui la risonanza magnetica funzionale10, la tomografia a emissione di positroni11 e la stimolazione magnetica transcranica12. L'evidenza supporta l'idea che l'allenamento dell'infarto miocardico, potenziato dall'osservazione dell'azione, può portare a un significativo adattamento neurale e recupero negli individui affetti.
La tecnologia della realtà virtuale ha rivoluzionato il regno della riabilitazione basata sull'MI offrendo un ambiente immersivo che migliora il senso di proprietà del corpo e offusca le distinzioni tra il mondo reale e quello virtuale 13,14,15. La qualità immersiva della realtà virtuale la rende uno strumento efficace per l'osservazione dell'azione e la pratica delle immagini motorie, in quanto consente ai partecipanti di percepire l'ambiente virtualecome reale. La ricerca ha dimostrato che i dispositivi VR hanno un effetto più pronunciato sull'allenamento MI rispetto ai tradizionali display 2D15,16. Tali risultati sono evidenziati da una maggiore attività neurale, come l'aumento dei rapporti di ampiezza ERD nella corteccia sensomotoria, evidenziando i benefici di livelli di immersione più elevati nella stimolazione dell'attività cerebrale durante gli esercizi di infarto miocardico guidati visivamente16. Il sistema aiuta a migliorare le prestazioni dell'infarto miocardico per le attività che coinvolgono i movimenti delle braccia o degli arti fornendo un feedback diretto, migliorando così il processo di riabilitazione16,17. La sinergia tra MI e VR enfatizza l'integrazione delle attività sensoriali, percettive, cognitive e motorie18,19. La combinazione è stata particolarmente vantaggiosa per i sopravvissuti all'ictus20,21 e per i veterani di guerra22, poiché gli studi hanno dimostrato che l'integrazione della realtà virtuale nei protocolli di riabilitazione basati sull'infarto miocardico può ridurre significativamente i tempi di riabilitazione e migliorare i risultati del recupero. La caratteristica unica della VR in riabilitazione risiede nella sua capacità di creare un senso di presenza all'interno di un ambiente virtuale appositamente progettato, migliorando l'esperienza di riabilitazione che è ulteriormente aumentata dall'inclusione di avatar virtuali che rappresentano il corpo dell'utente, che è stato sempre più utilizzato negli studi di riabilitazione motoria23. Questi avatar offrono una rappresentazione tridimensionale realistica dei movimenti degli arti, aiutando l'infarto miocardico e influenzando in modo significativo l'attivazione della corteccia motoria. Consentendo ai partecipanti di visualizzare i loro sé virtuali mentre eseguono compiti specifici, la realtà virtuale non solo arricchisce l'esperienza MI, ma favorisce anche una riorganizzazione neurale più rapida ed efficace e un processo di recupero24. L'implementazione di avatar virtuali e ambienti simulati nella formazione MI enfatizza l'uso naturale e integrato dei corpi virtuali all'interno di mondi virtuali immersivi.
Nonostante i notevoli vantaggi del controllo basato su BCI di avatar 3D nell'infarto miocardico per la riabilitazione, rimane una limitazione significativa nell'uso predominante di metodologie offline. Attualmente, la maggior parte delle applicazioni BCI prevede l'acquisizione di dati elettroencefalografici (EEG) preregistrati che vengono successivamente utilizzati per manipolare un avatar24,25. Anche negli scenari in cui si ottiene il controllo dell'avatar in tempo reale, questi avatar sono spesso generici e non assomigliano ai partecipanti che rappresentano23. Questo approccio generico perde un'opportunità fondamentale per approfondire l'immersione e il senso di proprietà del corpo, che è fondamentale per una riabilitazione efficace24. La creazione di un avatar 3D che rispecchi l'esatta somiglianza del soggetto potrebbe migliorare significativamente l'esperienza immersiva dell'esperienza16. Visualizzando se stessi nel mondo virtuale, i partecipanti potrebbero favorire una connessione più forte tra i loro movimenti immaginati e reali, portando potenzialmente a modelli ERD più pronunciati e, quindi, a un adattamento e un recupero neurale più efficaci16. Avanzando verso il controllo in tempo reale di avatar 3D personalizzati, il campo della BCI e della VR può migliorare significativamente i paradigmi di riabilitazione, offrendo un metodo più sfumato, coinvolgente ed efficace per il recupero del paziente.
Il presente manoscritto presenta la creazione, la progettazione e gli aspetti tecnologici sia dell'hardware che del software del controllo BCI in tempo reale basato su VR di avatar 3D, evidenziando i suoi risultati innovativi che ne supportano l'integrazione in contesti di riabilitazione motoria. Il sistema proposto utilizzerà l'elettroencefalografia (EEG) per catturare i segnali di immagini motorie generati dal soggetto, che verranno poi utilizzati per controllare i movimenti e le azioni dell'avatar in tempo reale. L'approccio attuale combinerà le capacità avanzate della tecnologia VR con la precisione dell'EEG nel riconoscere e interpretare l'attività cerebrale correlata ai movimenti immaginati, con l'obiettivo di creare un'interfaccia più coinvolgente ed efficace per consentire agli utenti di interagire con gli ambienti digitali attraverso il potere dei loro pensieri.
Il presente studio mira a indagare la fattibilità del controllo di un avatar 3D in tempo reale all'interno di un ambiente VR utilizzando segnali MI registrati tramite EEG. Lo studio si concentra sul miglioramento dell'immersione e del senso di proprietà del corpo personalizzando l'avatar per assomigliare molto al soggetto. Il protocollo ha ricevuto l'approvazione dal Vellore Institute of Technology Review Board. I partecipanti hanno fornito il consenso informato scritto dopo aver esaminato lo scopo, le procedure e i potenziali rischi dello studio.
1. Configurazione sperimentale
NOTA: Assicurarsi che il sistema incorpori tutti i componenti come illustrato nello schema della configurazione sperimentale in Figura 1 (vedere la tabella dei materiali per l'apparecchiatura utilizzata).
Figura 1: Configurazione VR-BCI. L'intera configurazione VR-BCI mostra il partecipante che indossa il visore VR e la cuffia EEG. I partecipanti hanno visualizzato l'avatar 3D personalizzato nell'ambiente virtuale e ne hanno controllato l'azione utilizzando i segnali cerebrali trasmessi al computer in modalità wireless. Clicca qui per visualizzare una versione più grande di questa figura.
2. Progettazione sperimentale
3. Raccolta e analisi dei dati
I risultati mostrati provengono da 5 individui che hanno seguito il protocollo sopra descritto. Hanno partecipato allo studio un totale di 5 adulti sani (3 femmine) di età compresa tra 21 e 38 anni.
Le prestazioni di classificazione individuale per ciascun partecipante sia in condizioni di allenamento con immagini motorie che di test sono mostrate nella Figura 2. È stata calcolata una matrice di confusione media per tutti i soggetti per valutare l'accuratezza de...
L'applicazione dell'infarto miocardico in combinazione con la tecnologia VR offre una strada promettente per la riabilitazione sfruttando i meccanismi naturali del cervello per la pianificazione e l'esecuzione motoria. La capacità dell'MI di indurre la desincronizzazione correlata agli eventi in specifiche bande di frequenza cerebrali, rispecchiando l'attività neurale del movimento fisico 2,3,4, fornisce un quadro robusto per ...
Gli autori non hanno alcun conflitto di interessi da rivelare.
Gli autori desiderano ringraziare tutti i partecipanti per il loro tempo e il loro coinvolgimento.
Name | Company | Catalog Number | Comments |
Alienware Laptop | Dell | High-end gaming laptop with GTX1070 Graphics Card | |
Oculus Rift-S VR headset | Meta | VR headset | |
OpenBCI Cyton Daisy | OpenBCI | EEG system | |
OpenBCI Gel-free cap | OpenBCI | Gel-free cap for placing the EEG electrodes over the participant's scalp |
Richiedi autorizzazione per utilizzare il testo o le figure di questo articolo JoVE
Richiedi AutorizzazioneThis article has been published
Video Coming Soon