Воспроизведение моторных образов с помощью воплощенных цифровых двойников в среде интерфейса мозг-компьютер с поддержкой виртуальной реальности

Summary

Моторные образы в среде виртуальной реальности имеют широкое применение в системах интерфейса мозг-компьютер. В этой рукописи описывается использование персонализированных цифровых аватаров, которые напоминают участников, выполняющих движения, воображаемые участником в среде виртуальной реальности, для усиления погружения и ощущения владения телом.

Abstract

Это исследование представляет инновационную основу для неврологической реабилитации путем интеграции интерфейсов мозг-компьютер (BCI) и технологий виртуальной реальности (VR) с настройкой трехмерных (3D) аватаров. Традиционные подходы к реабилитации часто не в полной мере вовлекают пациентов, в первую очередь из-за их неспособности обеспечить глубокое погружение и интерактивный опыт. Данное исследование пытается восполнить этот пробел с помощью методов моторного воображения (ИМ), когда участники визуализируют физические движения без фактического выполнения. Этот метод использует нейронные механизмы мозга, активируя области, участвующие в выполнении движений при воображении движений, тем самым облегчая процесс восстановления. Интеграция иммерсивных возможностей виртуальной реальности с точностью электроэнцефалографии (ЭЭГ) для захвата и интерпретации активности мозга, связанной с воображаемыми движениями, составляет основу этой системы. Цифровые двойники в виде персонализированных 3D-аватаров используются для значительного усиления ощущения погружения в виртуальную среду. Это обостренное чувство телесности имеет решающее значение для эффективной реабилитации, направленной на укрепление связи между пациентом и его виртуальным двойником. Таким образом, система не только стремится улучшить производительность моторных изображений, но и стремится обеспечить более увлекательный и эффективный опыт реабилитации. С помощью приложения BCI в режиме реального времени система позволяет напрямую переводить воображаемые движения в виртуальные действия, выполняемые 3D-аватаром, предлагая немедленную обратную связь пользователю. Эта петля обратной связи необходима для укрепления нейронных путей, участвующих в управлении моторикой и восстановлении. Конечная цель разработанной системы – значительно повысить эффективность упражнений на моторное воображение за счет того, чтобы сделать их более интерактивными и отзывчивыми к когнитивным процессам пользователя, тем самым проложив новый путь в области неврологической реабилитации.

Introduction

Парадигмы реабилитации пациентов с неврологическими нарушениями претерпевают трансформационный сдвиг с интеграцией передовых технологий, таких как интерфейсы мозг-компьютер (BCI) и иммерсивная виртуальная реальность (VR), предлагая более тонкий и эффективный метод содействия выздоровлению. Моторная визуализация (ИМ), техника, лежащая в основе реабилитации на основе ИМК, включает в себя мысленную репетицию физических движений без фактического^{моторного} исполнения. ИМ использует нейронный механизм, при котором представление движения запускает паттерн мозговой активности, который близко отражает активность самого физического действия.

Protocol

Настоящее исследование направлено на изучение возможности управления 3D-аватаром в режиме реального времени в среде виртуальной реальности с использованием сигналов MI, записанных с помощью ЭЭГ. Исследование сосредоточено на усилении погружения и чувстве владения телом путем персона?.......

Discussion

Применение ИМ в сочетании с технологией виртуальной реальности предлагает многообещающий путь для реабилитации за счет использования естественных механизмов мозга для моторного планирования и выполнения. Способность ИМ вызывать десинхронизацию, связанную с событиями, в определенн?.......

Materials

Name	Company	Catalog Number	Comments
Alienware Laptop	Dell		High-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headset	Meta		VR headset
OpenBCI Cyton Daisy	OpenBCI		EEG system
OpenBCI Gel-free cap	OpenBCI		Gel-free cap for placing the EEG electrodes over the participant's scalp