Воспроизведение моторных образов с помощью воплощенных цифровых двойников в среде интерфейса мозг-компьютер с поддержкой виртуальной реальности

Резюме

Моторные образы в среде виртуальной реальности имеют широкое применение в системах интерфейса мозг-компьютер. В этой рукописи описывается использование персонализированных цифровых аватаров, которые напоминают участников, выполняющих движения, воображаемые участником в среде виртуальной реальности, для усиления погружения и ощущения владения телом.

Аннотация

Это исследование представляет инновационную основу для неврологической реабилитации путем интеграции интерфейсов мозг-компьютер (BCI) и технологий виртуальной реальности (VR) с настройкой трехмерных (3D) аватаров. Традиционные подходы к реабилитации часто не в полной мере вовлекают пациентов, в первую очередь из-за их неспособности обеспечить глубокое погружение и интерактивный опыт. Данное исследование пытается восполнить этот пробел с помощью методов моторного воображения (ИМ), когда участники визуализируют физические движения без фактического выполнения. Этот метод использует нейронные механизмы мозга, активируя области, участвующие в выполнении движений при воображении движений, тем самым облегчая процесс восстановления. Интеграция иммерсивных возможностей виртуальной реальности с точностью электроэнцефалографии (ЭЭГ) для захвата и интерпретации активности мозга, связанной с воображаемыми движениями, составляет основу этой системы. Цифровые двойники в виде персонализированных 3D-аватаров используются для значительного усиления ощущения погружения в виртуальную среду. Это обостренное чувство телесности имеет решающее значение для эффективной реабилитации, направленной на укрепление связи между пациентом и его виртуальным двойником. Таким образом, система не только стремится улучшить производительность моторных изображений, но и стремится обеспечить более увлекательный и эффективный опыт реабилитации. С помощью приложения BCI в режиме реального времени система позволяет напрямую переводить воображаемые движения в виртуальные действия, выполняемые 3D-аватаром, предлагая немедленную обратную связь пользователю. Эта петля обратной связи необходима для укрепления нейронных путей, участвующих в управлении моторикой и восстановлении. Конечная цель разработанной системы – значительно повысить эффективность упражнений на моторное воображение за счет того, чтобы сделать их более интерактивными и отзывчивыми к когнитивным процессам пользователя, тем самым проложив новый путь в области неврологической реабилитации.

Введение

Парадигмы реабилитации пациентов с неврологическими нарушениями претерпевают трансформационный сдвиг с интеграцией передовых технологий, таких как интерфейсы мозг-компьютер (BCI) и иммерсивная виртуальная реальность (VR), предлагая более тонкий и эффективный метод содействия выздоровлению. Моторная визуализация (ИМ), техника, лежащая в основе реабилитации на основе ИМК, включает в себя мысленную репетицию физических движений без фактического^{моторного} исполнения. ИМ использует нейронный механизм, при котором представление движения запускает паттерн мозговой активности, который близко отражает активность самого физического действия. В частности, вовлечение в ИМ приводит к явлению, известному как событийная десинхронизация (ЭРБ) в альфа-диапазоне (8-13 Гц) и бета (13-25 Гц) диапазонов электрической активности мозга ^5,6,7. ERD указывает на подавление исходных ритмов мозга, паттерн, который также наблюдается во время реального движения, тем самым обеспечивая нейронный субстрат для использования MI в рамках реабилитационных систем с помощью BCI⁷. Такое сходство в активации коры головного мозга между ИМ и физическим движением позволяет предположить, что ИМ может эффективно стимулировать нейронные сети, участвующие в моторном контроле, что делает его ценным инструментом для пациентов с^{двигательным} дефицитом. Кроме того, практика ИМ вышла за рамки простой умственной репетиции и включает в себя стратегии наблюдения за^{действием.} Наблюдение за движением частей тела, связанных с задачей, или действиями других людей может активировать сеть зеркальных нейронов (MNN), группу нейронов, которые реагируют как на наблюдение за действием, так^{и на его} выполнение. Было продемонстрировано, что активация МНН посредством наблюдения индуцирует пластичность коры головного мозга, о чем свидетельствуют различные методы нейровизуализации, включая функциональную МРТ¹⁰, позитронно-эмиссионную томографию¹¹ и транскраниальную магнитную стимуляцию¹². Фактические данные подтверждают идею о том, что тренировка ИМ, усиленная наблюдением за действием, может привести к значительной нейронной адаптации и восстановлению у пораженных людей.

Технология виртуальной реальности произвела революцию в области реабилитации на основе ИМ, предложив иммерсивную среду, которая усиливает чувство владения телом и стирает различия между реальным и виртуальным^{мирами.} Иммерсивное качество виртуальной реальности делает ее эффективным инструментом для наблюдения за действием и отработки моторных образов, поскольку позволяет участникам воспринимать виртуальную среду как реальную¹⁵. Исследования показали, что устройства виртуальной реальности оказывают более выраженное влияние на обучение ИМ по сравнению с традиционными дисплеями 2D-мониторов^15,16. О таких результатах свидетельствует повышенная нейронная активность, такая как увеличение амплитуды ERD в сенсомоторной коре, что подчеркивает преимущества более высоких уровней погружения в стимуляцию мозговой активности во^{время упражнений MI} под визуальным контролем. Система помогает улучшить производительность ИМ для задач, связанных с движениями рук или конечностей, обеспечивая прямую обратную связь, тем самым улучшая процесс реабилитации^16,17. Синергия между ИМ и виртуальной реальностью подчеркивает интеграцию сенсорной, перцептивной, когнитивной и моторной деятельности^18,19. Эта комбинация оказалась особенно полезной для выживших после инсульта^20,21 и ветеранов войны²² года, поскольку исследования показали, что интеграция виртуальной реальности в протоколы реабилитации на основе ИМ может значительно сократить время реабилитации и улучшить результаты восстановления. Уникальная особенность виртуальной реальности в реабилитации заключается в ее способности создавать ощущение присутствия в специально разработанной виртуальной среде, улучшая реабилитационный опыт, который еще больше усиливается за счет включения виртуальных аватаров, представляющих тело пользователя, что все чаще используется^{в исследованиях} двигательной реабилитации.. Эти аватары предлагают реалистичное трехмерное представление движений конечностей, способствуя инфаркту миокарда и значительно влияя на активацию моторной коры. Позволяя участникам визуализировать свое виртуальное «я», выполняющее конкретные задачи, виртуальная реальность не только обогащает опыт ИМ, но и способствует более быстрому и эффективному процессу нейронной реорганизации и восстановления^. Внедрение виртуальных аватаров и смоделированных сред в обучении инфаркту миокарда подчеркивает естественное и интегрированное использование виртуальных тел в иммерсивных виртуальных мирах.

Несмотря на замечательные преимущества управления 3D-аватарами в ИМ на основе ИМК для реабилитации, остается существенное ограничение в преимущественном использовании офлайн-методологий. В настоящее время большинство приложений ИМК включают захват предварительно записанных данных электроэнцефалографии (ЭЭГ), которые впоследствии используются для манипулирования аватаром^24,25. Даже в сценариях, где достигается управление аватаром в режиме реального времени, эти аватары часто являются общими и не похожи на участников^{, которых они} представляют. Этот общий подход упускает важнейшую возможность углубить погружение и чувство владения телом, что имеет решающее значение для^{эффективной реабилитации}. Создание 3D-аватара, который в точности повторяет сходство с объектом, может значительно усилить эффект погружения в^{происходящее16}. Визуализируя себя в виртуальном мире, участники могли способствовать более тесной связи между своими воображаемыми и реальными движениями, что потенциально приводило к более выраженным паттернам ERD и, таким образом, к более эффективной нейронной адаптации^{и восстановлению}. Продвигаясь в сторону управления персонализированными 3D-аватарами в режиме реального времени, область BCI и VR может значительно улучшить парадигмы реабилитации, предлагая более тонкий, увлекательный и эффективный метод восстановления пациентов.

В настоящей рукописи представлены создание, проектирование и технологические аспекты как аппаратного, так и программного обеспечения управления 3D-аватарами в реальном времени на основе виртуальной реальности, подчеркивая его инновационные результаты, которые поддерживают его интеграцию в системы двигательной реабилитации. Предлагаемая система будет использовать электроэнцефалографию (ЭЭГ) для захвата сигналов моторных изображений, генерируемых субъектом, которые затем будут использоваться для управления движениями и действиями аватара в режиме реального времени. Текущий подход будет сочетать в себе передовые возможности технологии виртуальной реальности с точностью ЭЭГ в распознавании и интерпретации активности мозга, связанной с воображаемыми движениями, с целью создания более привлекательного и эффективного интерфейса для взаимодействия пользователей с цифровой средой с помощью силы их мыслей.

Access restricted. Please log in or start a trial to view this content.

протокол

Настоящее исследование направлено на изучение возможности управления 3D-аватаром в режиме реального времени в среде виртуальной реальности с использованием сигналов MI, записанных с помощью ЭЭГ. Исследование сосредоточено на усилении погружения и чувстве владения телом путем персонализации аватара, чтобы он был максимально похож на объект. Протокол получил одобрение Наблюдательного совета Веллорского технологического института. Участники предоставили письменное информированное согласие после ознакомления с целью, процедурами и потенциальными рисками исследования.

1. Экспериментальная установка

ПРИМЕЧАНИЕ: Убедитесь, что система включает в себя все компоненты, как показано на схеме экспериментальной установки на рисунке 1 (см. Таблицу материалов для используемого оборудования).

1. Разработка 3D аватаров
   1. Моделирование аватара
      1. За день до сбора данных соберите несколько фотографий лица с разных ракурсов и точные замеры тела каждого участника.
      2. Нажмите « Программное обеспечение для моделирования », чтобы открыть его. Сразу после открытия найдите ползунок для Гендера. Отрегулируйте этот ползунок в соответствии с полом модели, которую вы хотите создать.
      3. Перейдите на вкладку «Моделирование» в верхней части экрана и нажмите на нее, чтобы получить доступ к параметрам настройки тела.
      4. Используйте ползунки под различными секциями, такими как Туловище, Руки, Ноги и т.д., чтобы смоделировать тело. Сосредоточьтесь на следующих основных измерениях: рост, грудь/грудь, талия, бедра, длина ног и длина рук.
      5. Перейдите на вкладку «Поза/анимация» и выберите скелет по умолчанию для базовых анимаций. Перейдите в меню «Файлы» вверху, выберите «Экспорт», а затем выберите. Формат MHX2 для совместимости с программным обеспечением для анимации. Убедитесь, что выбран параметр «Экспорт с оснасткой», чтобы включить скелет. Выберите папку назначения, присвойте файлу имя и нажмите кнопку Экспорт.
      6. Откройте программу для анимации. Перейдите в раздел Файл > Импорт и выберите .mhx2 или ожидаемый формат. Перейдите к сохраненному файлу, выберите его и импортируйте в программу.
      7. Перейдите в меню «Правка», выберите «Настройки» > «Дополнения» и убедитесь, что соответствующий плагин для создания лиц включен.
      8. В окне 3D просмотра переключитесь на предустановку макета, предусмотренную плагином, или перейдите на панель плагина, обычно расположенную на полке инструментов с левой стороны.
      9. Нажмите « Создать новую голову » на панели плагина, чтобы запустить модель головы. Используйте кнопку Добавить фотографию для импорта фотографий участника. Используйте передние и боковые профили для точного моделирования.
      10. Следуйте подсказкам, чтобы выровнять точки на фотографиях с соответствующими точками на 3D-модели. Затем плагин настроит модель головы в соответствии с чертами участника. Как только вы будете удовлетворены сходством, доработайте модель головы.
      11. Вручную расположите модель головы так, чтобы она совпала с шеей модели тела. Отрегулируйте масштаб и вращение головы для бесшовной посадки.
      12. Используйте инструмент «Привязка» (Shift+Tab), чтобы точно выровнять вершины шеи на голове с вершинами на теле.
      13. После выравнивания соедините голову и тело, выделив обе сетки, нажав Ctrl+J , чтобы объединить их в один объект.
      14. Импортируйте или смоделируйте пару бонго и расположите их перед моделью на соответствующей высоте.
   2. Анимация аватара
      1. Переключитесь в режим позы для оснасточной модели. В кадре 1 выберите все кости и вставьте ключевой кадр (используйте клавишу I) для LocRotScale, чтобы записать их начальное положение.
      2. Переместите временную шкалу вперед к кадру 30, чтобы поместить левую руку для удара по бонго.
      3. Перемещайте и вращайте якорь левой руки, чтобы имитировать удар по бонго. Вставьте ключевой кадр для этих костей. Повторите этот процесс, чтобы вернуть руку в исходное положение на кадре 60, вставив еще один ключевой кадр для завершения действия.
      4. Переместите временную шкалу на кадр 90, где правая рука начинает свое действие. Как и в случае с левой рукой, отрегулируйте положение и вращение правой руки, чтобы имитировать удар по другому бонго, и вставьте ключевой кадр.
      5. Верните руку в исходное положение и вставьте ключевой кадр, чтобы завершить движение на кадре 150.
      6. Прокрутите временную шкалу, чтобы просмотреть анимацию. При необходимости отрегулируйте для более плавного движения или лучшего времени между ударами бонго. Сохраните файл.
2. Настройка оборудования
   1. Соберите 16-канальную систему сбора данных ЭЭГ, прикрепив модуль Daisy с 8 каналами ЭЭГ к плате с 8 каналами ЭЭГ.
   2. Подключите электрод сравнения с помощью кабеля Y-образного разветвителя к нижнему контакту опорного напряжения на плате Daisy и нижнему контакту опорного контакта платы в нижней части, которые помечены как SRB.
   3. Подсоедините заземляющий электрод к контакту BIAS на нижней плате.
   4. Подсоедините 16 электродов ЭЭГ к контактам нижней платы с маркировкой N1P-N8P и шлейфовым контактам с маркировкой N1P-N8P.
   5. Вставьте электроды на безгелевый колпачок в отмеченных местах, соответствующих международной системе 10-20 для размещения электродов с электродами с маркировкой FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 и T4.
   6. Замочите 18 губок, предусмотренных для электродов ЭЭГ, в физиологическом растворе с 5 г хлорида натрия, смешанного с 200 мл водопроводной воды, на 15 минут.
   7. Вставьте смоченные губки в нижнюю часть каждого электрода, чтобы установить контакт между кожей головы и электродом.
   8. Расположите участников поудобнее в тихой комнате. Наденьте безгелевую шапочку для ЭЭГ на кожу головы участника, убедившись, что шапочка правильно выровнена и прилегает к ушам участника.
   9. Подключите USB-ключ к ноутбуку. Откройте графический интерфейс ЭЭГ, нажмите на систему ЭЭГ, в разделе «Источник данных» выберите «Последовательный (из ключа»), «16 каналов» и «АВТОПОДКЛЮЧЕНИЕ».
   10. На экране «Сбор данных» выберите виджет сигнала, чтобы проверить качество сигнала подключенных электродов путем проверки оптимального уровня импеданса <10 кОм на каждом участке^{электрода 26}.
   11. Если импеданс выше 10 кОм, то добавьте несколько капель солевого раствора в губку под электродом. После проверки импеданса закройте графический интерфейс.
   12. Откройте программное обеспечение Acquisition Server, выберите соответствующую плату ЭЭГ в разделе «Драйвер» и нажмите «Подключить > играть », чтобы установить соединение с системой ЭЭГ.
   13. Подготовьте гарнитуру виртуальной реальности, продезинфицировав ее салфетками и положив на голову участника поверх шапочки ЭЭГ, чтобы облегчить иммерсивное взаимодействие во время захвата данных ЭЭГ.
3. Настройка игры
   ПРИМЕЧАНИЕ: В следующих инструкциях описывается настройка двух сценариев игрового движка с использованием Open Sound Control (OSC): один для обучения моторных образов (прямая связь), а другой для тестирования моторных образов (обратная связь). Сценарий прямой связи обучает пользователей работе с изображениями моторики с помощью наблюдаемых анимаций, запускаемых сообщениями OSC. Сценарий обратной связи проверяет эффективность моторных образов путем анимации воображаемых пользователем движений на основе входных данных OSC.
   1. Откройте программное обеспечение игрового движка и выберите Motor Imagery Training Project. Включите поддержку VR: перейдите в раздел «Редактирование» > «Настройки проекта» > «Проигрыватель» > «Настройки XR», установите флажок «Поддерживается виртуальная реальность» и убедитесь, что гарнитура VR указана в разделе SDK для виртуальной реальности.
   2. Удалите стандартную камеру и перетащите камеру VR в сцену из пакета интеграции VR.
   3. Поместите импортированный файл анимации в сцену. При необходимости отрегулируйте масштаб и ориентацию. Убедитесь, что OSCListener GameObject с предварительно написанными скриптами настроен на запуск анимации модели для движений влево и вправо на основе сообщений OSC, имитируя действие удара по бонго для тренировки моторных образов.
   4. Откройте File > Build Settings в программном обеспечении игрового движка. Выберите PC, Mac & Linux Standalone, выберите целевую Windows, затем нажмите «Собрать и запустить».
   5. Для проекта тестирования изображений двигателей выполните те же действия, что и для проекта по обучению изображений двигателей. Используйте OSCListener GameObject, сконфигурированный со скриптами, предназначенными для приема сигналов OSC, указывающих на воображаемые движения рук участника, запуская соответствующие анимации для тестового проекта.

Рисунок 1: Настройка VR-BCI. Вся конфигурация VR-BCI показывает участника, одетого в VR-гарнитуру и шапочку для ЭЭГ. Участники рассматривали персонализированный 3D-аватар в виртуальной среде и контролировали его действие с помощью сигналов мозга, передаваемых на компьютер по беспроводной сети. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

2. Экспериментальный дизайн

1. Этап верификации сигнала
   1. Откройте программное средство для разработки и запуска сценариев визуализации двигателей, перейдите в раздел «Файл» и загрузите шесть сценариев Motor-Imagery-BCI: «Проверка сигнала», «Захват», «Обучение CSP», «Обучение классификатора», «Тестирование» и «Матрица неточностей».
   2. Перейдите к сценарию проверки сигнала. Примените полосовой фильтр в диапазоне от 1 до 40 Гц с порядком фильтрации 4 к необработанным сигналам с помощью дизайнерских блоков для оптимизации обработки сигнала.
2. Этап обучения
   1. Направляйте и инструктируйте участников выполнять задачи на моторное воображение, представляя движения рук в ответ на визуальные подсказки.
   2. Откройте файл для тренировки моторных образов и покажите подготовленный 3D-аватар, стоящий над набором бонго, через VR-гарнитуру.
   3. Перейдите к сценарию съемки и дважды щелкните стимулятор Graz Motor Imagery Stimulator , чтобы настроить блок.
   4. Сконфигурируйте 50, 5 с попыток (cue-1,25 с и MI-3,75 с) для движений как левой, так и правой руки, включая 20 с исходный период с последующим интервалом 10 с отдыхом после каждых 10 попыток, чтобы избежать умственной усталости.
   5. Настройте рандомизацию испытаний для левой и правой руки и перед испытанием поставьте подсказку, указывающую, какую руку нужно представить.
   6. Подключите OSC-бокс с IP-адресом и портом для передачи сигнала для воображаемой руки в программу игрового движка для тренировки моторных образов.
   7. Попросите участников представить, что они выполняют движение своей руки вместе с 3D-аватаром, следуя в том же темпе, что и аватар, когда он ударяет по бонго соответствующей рукой, следуя текстовому сигналу, показывающему, какую руку следует представить.
3. Обучение CSP и LDA
   1. После сбора данных запустите сценарий CSP Training, чтобы проанализировать данные ЭЭГ на этапе сбора данных и вычислить общие пространственные шаблоны (CSP), создав фильтры для различения изображений левой и правой руки.
   2. После обучения CSP перейдите к сценарию обучения классификатора и запустите его, чтобы использовать линейный дискриминантный анализ (LDA) с использованием фильтров CSP для эффективной классификации задач, подготавливая систему к управлению аватаром в режиме реального времени.
4. Этап тестирования
   1. Перейдите к сценарию тестирования, чтобы участники могли управлять своими 3D-аватарами в режиме реального времени с помощью технологии интерфейса мозг-компьютер (BCI).
   2. Загрузите в соответствующие поля классификаторы, обученные в предыдущем сценарии на данных ЭЭГ, в то время как участники представляли движения рук, чтобы интерпретировать эти воображаемые действия в режиме реального времени.
   3. Убедитесь, что система ЭЭГ и настройка VR работают и правильно настроены в соответствии с настройками этапа обучения.
   4. Проинструктируйте участников о процедуре тестирования, подчеркнув необходимость четко представлять движения рук (удары бонго левой или правой рукой) в соответствии с текстовыми подсказками.
   5. Аналогично этапу обучения, проведите 20 испытаний для каждого участника, разделенных поровну между воображаемыми движениями левой и правой руки и рандомизированными.
   6. Подключите и настройте OSC-бокс для передачи информации о подсказках, которая будет отображаться в виде текста, указывающего, какая рука должна быть изображена в программе игрового движка.
   7. Подключитесь к другому OSC-боксу для передачи прогнозируемого значения движений влево и вправо, чтобы программа игрового движка воспроизвела соответствующую анимацию на основе руки, представленной участником.
   8. Запустите тестовый сценарий. Запустите программу игрового движка Motor Imagery Testing.

3. Сбор и анализ данных

1. Непрерывная запись данных ЭЭГ и выходных данных классификатора на этапах сбора и тестирования эксперимента с дискретизацией данных с частотой 125 Гц.
2. Перейдите к сценарию «Матрица нечистостей» и загрузите полученный файл ЭЭГ в поле с надписью «Считыватель общего потока» для каждого участника, а также для этапов сбора и обучения.
3. Запустите сценарий, чтобы получить матрицу несоответствий, чтобы оценить, насколько точно система BCI интерпретирует сигналы моторных изображений.
4. Соберите отзывы участников об их опыте использования аватара, возможностях управления, уровне погружения и комфорте при ношении шапочки для ЭЭГ и гарнитуры виртуальной реальности.

Access restricted. Please log in or start a trial to view this content.

Результаты

Показанные результаты получены от 5 человек, которые следовали описанному выше протоколу. Всего в исследовании приняли участие 5 здоровых взрослых (3 женщины) в возрасте от 21 до 38 лет.

Результаты индивидуальной классификации для каждого участника как в условиях обучения м...

Access restricted. Please log in or start a trial to view this content.

Обсуждение

Применение ИМ в сочетании с технологией виртуальной реальности предлагает многообещающий путь для реабилитации за счет использования естественных механизмов мозга для моторного планирования и выполнения. Способность ИМ вызывать десинхронизацию, связанную с событиями, в определенн?...

Access restricted. Please log in or start a trial to view this content.

Материалы

Name	Company	Catalog Number	Comments
Alienware Laptop	Dell		High-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headset	Meta		VR headset
OpenBCI Cyton Daisy	OpenBCI		EEG system
OpenBCI Gel-free cap	OpenBCI		Gel-free cap for placing the EEG electrodes over the participant's scalp