Desempenho de imagens motoras por meio de gêmeos digitais incorporados em um ambiente de interface cérebro-computador habilitado para realidade virtual

Resumo

As imagens motoras em um ambiente de realidade virtual têm amplas aplicações em sistemas de interface cérebro-computador. Este manuscrito descreve o uso de avatares digitais personalizados que se assemelham aos participantes realizando movimentos imaginados pelo participante em um ambiente de realidade virtual para aumentar a imersão e o senso de propriedade do corpo.

Resumo

Este estudo apresenta uma estrutura inovadora para reabilitação neurológica, integrando interfaces cérebro-computador (BCI) e tecnologias de realidade virtual (VR) com a personalização de avatares tridimensionais (3D). As abordagens tradicionais de reabilitação muitas vezes não conseguem envolver totalmente os pacientes, principalmente devido à sua incapacidade de fornecer uma experiência profundamente imersiva e interativa. Esta pesquisa se esforça para preencher essa lacuna utilizando técnicas de imagens motoras (MI), onde os participantes visualizam movimentos físicos sem execução real. Este método capitaliza os mecanismos neurais do cérebro, ativando áreas envolvidas na execução do movimento ao imaginar movimentos, facilitando assim o processo de recuperação. A integração dos recursos imersivos da RV com a precisão da eletroencefalografia (EEG) para capturar e interpretar a atividade cerebral associada a movimentos imaginados forma o núcleo desse sistema. Gêmeos digitais na forma de avatares 3D personalizados são empregados para aumentar significativamente a sensação de imersão no ambiente virtual. Esse senso elevado de corporificação é crucial para uma reabilitação eficaz, com o objetivo de reforçar a conexão entre o paciente e sua contraparte virtual. Ao fazer isso, o sistema não visa apenas melhorar o desempenho das imagens motoras, mas também busca fornecer uma experiência de reabilitação mais envolvente e eficaz. Por meio da aplicação em tempo real do BCI, o sistema permite a tradução direta de movimentos imaginados em ações virtuais realizadas pelo avatar 3D, oferecendo feedback imediato ao usuário. Esse ciclo de feedback é essencial para reforçar as vias neurais envolvidas no controle e recuperação motora. O objetivo final do sistema desenvolvido é aumentar significativamente a eficácia dos exercícios de imagens motoras, tornando-os mais interativos e responsivos aos processos cognitivos do usuário, abrindo assim um novo caminho no campo da reabilitação neurológica.

Introdução

Os paradigmas de reabilitação para pacientes com deficiências neurológicas estão passando por uma mudança transformadora com a integração de tecnologias avançadas, como interfaces cérebro-computador (BCI) e realidade virtual imersiva (VR), oferecendo um método mais sutil e eficaz para promover a recuperação. A imaginação motora (IM), a técnica no coração da reabilitação baseada em BCI, envolve o ensaio mental de movimentos físicos sem execução motora real¹. A EM explora um mecanismo neural em que imaginar um movimento desencadeia um padrão de atividade cerebral que reflete de perto o de realizar a própria ação física ^2,3,4. Especificamente, o envolvimento em IM leva a um fenômeno conhecido como dessincronização relacionada a eventos (ERD) nas bandas de frequência alfa (8-13 Hz) e beta (13-25 Hz) da atividade elétrica do cérebro ^5,6,7. O ERD é indicativo de uma supressão dos ritmos cerebrais basais, um padrão também observado durante o movimento real, fornecendo assim um substrato neural para o uso de IM dentro das estruturas de reabilitação assistida por BCI⁷. Essa semelhança na ativação cortical entre o IM e o movimento físico sugere que o IM pode efetivamente estimular as redes neurais envolvidas no controle motor, tornando-se uma ferramenta valiosa para pacientes com déficits motores⁸. Além disso, a prática da EM foi estendida além do mero ensaio mental para incluir estratégias de observação de ações⁹. Observar o movimento de partes do corpo relacionadas a tarefas ou ações em outras pessoas pode ativar a rede de neurônios-espelho (MNN), um grupo de neurônios que respondem tanto à observação quanto à execução^{da ação 9}. A ativação do MNN por meio da observação demonstrou induzir plasticidade cortical, como evidenciado por várias modalidades de neuroimagem, incluindo ressonância magnética funcional¹⁰, tomografia por emissão de pósitrons¹¹ e estimulação magnética transcraniana¹². As evidências apóiam a noção de que o treinamento de EM, aprimorado pela observação de ações, pode levar a uma adaptação neural significativa e recuperação em indivíduos afetados.

A tecnologia de realidade virtual revolucionou o domínio da reabilitação baseada em MI, oferecendo um ambiente imersivo que aumenta o senso de propriedade do corpo e confunde as distinções entre os mundos real e virtual 13,14,15. A qualidade imersiva da RV a torna uma ferramenta eficaz para a observação da ação e a prática de imagens motoras, pois permite que os participantes percebam o ambiente virtual como real¹⁵. A pesquisa mostrou que os dispositivos de RV têm um efeito mais pronunciado no treinamento de IM em comparação com os monitores 2D tradicionais^15,16. Tais achados são evidenciados pelo aumento da atividade neural, como o aumento das taxas de amplitude do ERD no córtex sensório-motor, destacando os benefícios de níveis mais altos de imersão na estimulação da atividade cerebral durante exercícios de IM guiados visualmente¹⁶. O sistema auxilia na melhoria do desempenho do IM para tarefas que envolvem movimentos de braços ou membros, fornecendo feedback direto, melhorando assim o processo de reabilitação^16,17. A sinergia entre IM e RV enfatiza a integração de atividades sensoriais, perceptivas, cognitivas e motoras^18,19. A combinação tem sido particularmente benéfica para sobreviventes de AVC^20,21 e veteranos de guerra²², pois estudos mostraram que a integração da RV em protocolos de reabilitação baseados em IM pode reduzir significativamente o tempo de reabilitação e melhorar os resultados de recuperação. A característica única da RV na reabilitação reside em sua capacidade de criar uma sensação de presença dentro de um ambiente virtual especificamente projetado, aprimorando a experiência de reabilitação que é aumentada ainda mais pela inclusão de avatares virtuais representando o corpo do usuário, que tem sido cada vez mais utilizado em estudos de reabilitação motora²³. Esses avatares oferecem uma representação tridimensional realista dos movimentos dos membros, auxiliando na infarto do miocárdio e impactando significativamente a ativação do córtex motor. Ao permitir que os participantes visualizem seus eus virtuais realizando tarefas específicas, a RV não apenas enriquece a experiência de IM, mas também promove um processo de reorganização e recuperação neural mais rápido e eficaz²⁴. A implementação de avatares virtuais e ambientes simulados no treinamento de MI enfatiza o uso natural e integrado de corpos virtuais em mundos virtuais imersivos.

Apesar das vantagens notáveis do controle baseado em BCI de avatares 3D em MI para reabilitação, uma limitação significativa permanece no uso predominante de metodologias offline. Atualmente, a maioria das aplicações de BCI envolve a captura de dados de eletroencefalografia (EEG) pré-gravados que são posteriormente utilizados para manipular um avatar^24,25. Mesmo em cenários em que o controle do avatar em tempo real é alcançado, esses avatares geralmente são genéricos e não se assemelham aos participantes que representam²³. Essa abordagem genérica perde uma oportunidade crítica de aprofundar a imersão e o senso de propriedade do corpo, o que é crucial para uma reabilitação eficaz²⁴. A criação de um avatar 3D que espelhe a semelhança exata do sujeito pode melhorar significativamente a experiência imersiva da experiência¹⁶. Ao se visualizarem no mundo virtual, os participantes podem promover uma conexão mais forte entre seus movimentos imaginados e reais, potencialmente levando a padrões ERD mais pronunciados e, portanto, adaptação e recuperação neural mais eficazes¹⁶. Ao avançar para o controle em tempo real de avatares 3D personalizados, o campo de BCI e VR pode melhorar significativamente os paradigmas de reabilitação, oferecendo um método mais sutil, envolvente e eficaz para a recuperação do paciente.

O presente manuscrito apresenta a criação, design e aspectos tecnológicos de hardware e software do controle BCI em tempo real baseado em VR de avatares 3D, destacando seus resultados inovadores que suportam sua integração em configurações de reabilitação motora. O sistema proposto utilizará eletroencefalografia (EEG) para capturar sinais de imagens motoras geradas pelo sujeito, que serão usados para controlar os movimentos e ações do avatar em tempo real. A abordagem atual combinará os recursos avançados da tecnologia VR com a precisão do EEG no reconhecimento e interpretação da atividade cerebral relacionada a movimentos imaginados, com o objetivo de criar uma interface mais envolvente e eficaz para os usuários interagirem com ambientes digitais por meio do poder de seus pensamentos.

Protocolo

O presente estudo tem como objetivo investigar a viabilidade de controlar um avatar 3D em tempo real em um ambiente de RV usando sinais MI gravados via EEG. O estudo se concentra em aumentar a imersão e o senso de propriedade do corpo, personalizando o avatar para se parecer com o assunto. O protocolo recebeu aprovação do Conselho de Revisão do Instituto de Tecnologia de Vellore. Os participantes forneceram consentimento informado por escrito após revisar o propósito, os procedimentos e os riscos potenciais do estudo.

1. Configuração experimental

NOTA: Certifique-se de que o sistema incorpore todos os componentes conforme ilustrado no diagrama da configuração experimental na Figura 1 (consulte a Tabela de Materiais para o equipamento usado).

1. Desenvolvimento de avatar 3D
   1. Modelando o avatar
      1. No dia anterior à coleta de dados, colete várias fotografias faciais de vários ângulos e medidas corporais precisas de cada participante.
      2. Clique em Software de Modelagem para abri-lo. Imediatamente após a abertura, encontre o controle deslizante para Gênero. Ajuste esse controle deslizante para corresponder ao gênero do modelo que deseja criar.
      3. Navegue até a guia Modelagem na parte superior da tela e clique na guia para acessar as opções de personalização do corpo.
      4. Use os controles deslizantes em várias seções, como Torso, Braços, Pernas, etc., para modelar o corpo. Concentre-se nas seguintes medidas básicas: Altura, Peito/Busto, Cintura, Quadris, Comprimento da Perna e Comprimento do Braço.
      5. Clique na guia Pose/Animate e selecione o esqueleto padrão para animações básicas. Vá para o menu Arquivos na parte superior, selecione Exportar e escolha o. MHX2 para compatibilidade com o software de animação. Certifique-se de selecionar a opção Exportar com equipamento para incluir o esqueleto. Escolha uma pasta de destino, nomeie o arquivo e clique em Exportar.
      6. Abra o software de animação. Vá para Arquivo > Importar e selecione .mhx2 ou o formato esperado. Navegue até o arquivo salvo, selecione-o e importe-o para o software.
      7. Vá para o menu Editar, selecione Preferências > Complementos e certifique-se de que o plug-in apropriado para criar rostos esteja ativado.
      8. Na janela de visualização 3D, mude para a predefinição de layout fornecida pelo plug-in ou vá para o painel do plug-in, geralmente localizado na prateleira de ferramentas no lado esquerdo.
      9. Clique em Criar uma nova cabeça no painel do plug-in para iniciar o modelo de cabeça. Use o botão Adicionar foto para importar fotos do participante. Use perfis frontais e laterais para modelagem precisa.
      10. Siga as instruções para alinhar pontos nas fotos com os pontos correspondentes no modelo 3D. O plug-in ajustará o modelo da cabeça para corresponder aos recursos do participante. Quando estiver satisfeito com a semelhança, finalize o modelo da cabeça.
      11. Posicione manualmente o modelo de cabeça para alinhá-lo com o pescoço do modelo de corpo. Ajuste a escala e a rotação da cabeça para um ajuste perfeito.
      12. Use a ferramenta Encaixar (Shift+Tab) para alinhar com precisão os vértices do pescoço na cabeça com os do corpo.
      13. Uma vez alinhado, junte a cabeça e o corpo selecionando ambas as malhas, pressionando Ctrl+J para juntá-las em um único objeto.
      14. Importe ou modele um par de bongôs e posicione-os na frente do modelo em uma altura apropriada.
   2. Animando o avatar
      1. Alterne para o Modo de pose para o modelo manipulado. No quadro 1, selecione todos os ossos e insira um quadro-chave (use a tecla I) para que LocRotScale registre suas posições iniciais.
      2. Mova a linha do tempo para frente até o quadro 30 para colocar a mão esquerda para bater no bongô.
      3. Mova e gire a armadura da mão esquerda para simular golpear o bongô. Insira um quadro-chave para esses ossos. Repita esse processo para retornar a mão à sua posição inicial no quadro 60, inserindo outro quadro-chave para concluir a ação.
      4. Mova a linha do tempo para o quadro 90, onde a mão direita inicia sua ação. Semelhante à mão esquerda, ajuste a posição e a rotação da mão direita para simular golpear o outro bongô e insira um quadro-chave.
      5. Retorne a mão à sua posição inicial e insira um quadro-chave para encerrar o movimento no quadro 150.
      6. Percorra a linha do tempo para revisar a animação. Ajuste conforme necessário para um movimento mais suave ou melhor tempo entre os golpes do bongô. Salve o arquivo.
2. Configuração do equipamento
   1. Monte o sistema de aquisição de dados EEG de 16 canais conectando o módulo Daisy com 8 canais EEG na parte superior da placa com 8 canais EEG.
   2. Conecte o eletrodo de referência por meio de um cabo Y-Splitter ao pino de referência inferior na Daisy Board e ao pino de referência inferior da placa na parte inferior, ambos rotulados como SRB.
   3. Conecte o eletrodo de aterramento ao pino BIAS na placa inferior.
   4. Conecte os 16 eletrodos de EEG aos pinos da placa inferior identificados como N1P-N8P e os pinos inferiores da margarida rotulados como N1P-N8P.
   5. Insira os eletrodos na tampa sem gel nos locais rotulados de acordo com o sistema internacional 10-20 para colocação de eletrodos com eletrodos rotulados como FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 e T4.
   6. Mergulhe 18 esponjas fornecidas para os eletrodos de EEG em uma solução salina com 5 g de cloreto de sódio misturado em 200 mL de água da torneira por 15 min.
   7. Insira as esponjas embebidas na parte inferior de cada eletrodo para estabelecer contato entre o couro cabeludo e o eletrodo.
   8. Faça com que os participantes se sentem confortavelmente em uma sala silenciosa. Coloque a touca de EEG sem gel no couro cabeludo do participante, certificando-se de que a touca esteja alinhada corretamente para caber nas orelhas do participante.
   9. Conecte o dongle USB ao laptop. Abra a GUI do EEG, clique no sistema EEG, na opção Fonte de dados, selecione Serial (do Dongle), 16 canais e AUTO-CONNECT.
   10. Dentro da tela Aquisição de dados, selecione o widget de sinal para verificar a qualidade do sinal dos eletrodos conectados, verificando um nível de impedância ideal de <10 kΩ em cada local do eletrodo²⁶.
   11. Se a impedância for superior a 10 kΩ, adicione algumas gotas de solução salina à esponja sob o eletrodo. Após a verificação de impedância, feche a GUI.
   12. Abra o software Acquisition Server, selecione a placa EEG apropriada em Driver e clique em Connect > Play para estabelecer uma conexão com o sistema EEG.
   13. Prepare o fone de ouvido VR higienizando-o com lenços umedecidos e colocando-o na cabeça do participante sobre a tampa do EEG para facilitar uma interação imersiva durante a captura de dados de EEG.
3. Configuração do jogo
   NOTA: As instruções a seguir descrevem a configuração de dois cenários de mecanismo de jogo usando o Open Sound Control (OSC): um para treinamento de imagens motoras (feedforward) e outro para testar imagens motoras (feedback). O cenário feedforward treina os usuários em imagens motoras por meio de animações observadas acionadas por mensagens OSC. O cenário de feedback testa a eficácia das imagens motoras animando movimentos imaginados pelo usuário com base nas entradas OSC.
   1. Abra o software do mecanismo de jogo e selecione Projeto de treinamento de imagens motoras. Habilitar suporte a VR: Vá para Editar configurações do > projeto > Configurações do Player > XR, marque Realidade virtual com suporte e verifique se o headset VR está listado em SDKs de realidade virtual.
   2. Exclua a câmera padrão e arraste a câmera de RV para a cena do pacote de integração de RV.
   3. Coloque o arquivo de animação importado na cena. Ajuste a escala e a orientação conforme necessário. Verifique se o OSCListener GameObject com scripts pré-escritos está definido para disparar animações de modelo para movimentos da mão esquerda e direita com base em mensagens OSC, simulando a ação de bater bongô para treinamento de imagens motoras.
   4. Abra Arquivo > Configurações de compilação no software do mecanismo de jogo. Selecione PC, Mac e Linux Standalone, direcione o Windows e clique em Compilar e Executar.
   5. Para o projeto de teste de imagens motoras, execute etapas semelhantes às do projeto de treinamento de imagens motoras. Use o OSCListener GameObject configurado com scripts projetados para receber sinais OSC indicativos dos movimentos imaginados da mão do participante, acionando as animações correspondentes para o projeto de teste.

Figura 1: Configuração VR-BCI. Toda a configuração VR-BCI mostra o participante usando o fone de ouvido VR e a touca de EEG. Os participantes visualizaram o avatar 3D personalizado no ambiente virtual e controlaram sua ação usando sinais cerebrais transmitidos para o computador sem fio. Clique aqui para ver uma versão maior desta figura.

2. Desenho experimental

1. Estágio de verificação de sinal
   1. Abra a ferramenta de software para projetar e executar cenários de imagens de motor, vá para Arquivo e carregue os seis cenários de Motor-Imagery-BCI rotulados Verificação de Sinal, Aquisição, Treinamento CSP, Treinamento de Classificador, Teste e Matriz de Confusão.
   2. Navegue até o cenário de verificação de sinal. Aplique um filtro passa-banda entre 1 e 40 Hz com uma ordem de filtro de 4 aos sinais brutos usando caixas de design para processamento de sinal otimizado.
2. Estágio de treinamento
   1. Guie e instrua os participantes a se submeterem a tarefas de imagens motoras, imaginando os movimentos das mãos em resposta a pistas visuais.
   2. Abra o arquivo para treinamento de imagens motoras e exiba o avatar 3D preparado em pé sobre um conjunto de bongôs por meio do fone de ouvido VR.
   3. Navegue até o cenário de aquisição e clique duas vezes no Graz Motor Imagery Stimulator para configurar a caixa.
   4. Configure tentativas de 50, 5 s (cue-1,25 s e MI-3,75 s) para movimentos da mão esquerda e direita, incorporando um período de linha de base de 20 s seguido por intervalos de 10 s de descanso após cada 10 tentativas para evitar fadiga mental.
   5. Configure os testes da mão esquerda e direita para serem randomizados e tenha uma sugestão antes do teste indicando a mão a ser imaginada.
   6. Conecte uma caixa OSC com o endereço IP e a porta para transmitir a sugestão para a mão a ser imaginada para o programa do mecanismo de jogo de treinamento de imagens motoras.
   7. Oriente os participantes a imaginar a execução do movimento de sua mão junto com o avatar 3D seguindo o mesmo ritmo do avatar ao atingir o bongô com a mão correspondente, seguindo uma sugestão de texto exibindo qual mão deve ser imaginada.
3. Treinamento CSP e LDA
   1. Após a aquisição, execute o cenário de treinamento do CSP para analisar os dados de EEG do estágio de aquisição e calcular os padrões espaciais comuns (CSP), criando filtros para distinguir entre imagens da mão esquerda e da direita.
   2. Após o treinamento do CSP, navegue até o cenário de treinamento do classificador e execute-o para utilizar a LDA (Análise Discriminante Linear) usando os filtros do CSP para classificação de tarefas eficiente, preparando o sistema para controle de avatar em tempo real.
4. Estágio de teste
   1. Navegue até o cenário de teste para que os participantes controlem seus avatares 3D em tempo real usando a tecnologia de interface cérebro-computador (BCI).
   2. Carregue nas caixas apropriadas os classificadores treinados durante o cenário anterior nos dados de EEG capturados enquanto os participantes imaginavam os movimentos das mãos para interpretar essas ações imaginadas em tempo real.
   3. Certifique-se de que o sistema de EEG e a configuração de RV estejam operacionais e configurados corretamente de acordo com as configurações do estágio de treinamento.
   4. Informe os participantes sobre o procedimento de teste, enfatizando a necessidade de imaginar claramente os movimentos das mãos (bongô batendo com a mão esquerda ou direita) conforme solicitado por dicas de texto.
   5. Semelhante ao estágio de treinamento, realize 20 tentativas para cada participante, divididas igualmente entre movimentos de imaginação da mão esquerda e direita e randomizadas.
   6. Conecte e configure uma caixa OSC para transmitir as informações de sugestão a serem exibidas como texto indicando qual mão deve ser visualizada no programa do mecanismo de jogo.
   7. Conecte-se a outra caixa OSC para transmitir o valor previsto para os movimentos da mão esquerda e direita para que o programa do mecanismo de jogo reproduza a animação correspondente com base na mão imaginada pelo participante.
   8. Execute o cenário de teste. Execute o programa do mecanismo de jogo Motor Imagery Testing.

3. Coleta e análise de dados

1. Registre continuamente os dados de EEG e as saídas do classificador durante os estágios de aquisição e teste do experimento, com dados amostrados a 125 Hz.
2. Navegue até o cenário Matriz de Confusão e carregue o arquivo EEG adquirido na caixa rotulada Leitor de fluxo genérico para cada participante e para os estágios de aquisição e treinamento.
3. Execute o cenário para obter a matriz de Confusão para avaliar a precisão com que o sistema BCI interpreta os sinais de imagens motoras.
4. Reúna feedback dos participantes sobre sua experiência com a facilidade de uso do avatar, recursos de controle, nível de imersão e conforto ao usar a touca de EEG e o fone de ouvido VR.

Resultados

Os resultados apresentados são de 5 indivíduos que seguiram o protocolo descrito acima. Participaram do estudo 5 adultos saudáveis (3 mulheres) com idades entre 21 e 38 anos.

O desempenho da classificação individual para cada participante sob condições de treinamento e teste de imagens motoras é mostrado na Figura 2. Uma matriz de confusão média para todos os indivíduos foi calculada para avaliar a precisão do classificador em distinguir entre sinais d...

Discussão

A aplicação da IM em conjunto com a tecnologia VR oferece um caminho promissor para a reabilitação, aproveitando os mecanismos naturais do cérebro para planejamento e execução motora. A capacidade do IM de induzir a dessincronização relacionada a eventos em bandas de frequência cerebrais específicas, espelhando a atividade neural do movimento físico ^2,3,4, fornece uma estrutura robusta para envolver e fortalecer as r...

Materiais

Name	Company	Catalog Number	Comments
Alienware Laptop	Dell		High-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headset	Meta		VR headset
OpenBCI Cyton Daisy	OpenBCI		EEG system
OpenBCI Gel-free cap	OpenBCI		Gel-free cap for placing the EEG electrodes over the participant's scalp