Baseado no SSVEP procedimento experimental para a interação cérebro-robô com robôs humanóides

Resumo

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

Resumo

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Introdução

Brain-Robot Interaction (BRI), que fornece um caminho de comunicação inovadora entre o ser humano e um dispositivo robótico através de sinais cerebrais, é potencial em ajudar as pessoas com deficiência em suas vidas diárias ^1,2. Uma variedade de métodos é capaz de adquirir sinais cerebrais tanto invasiva ou não-invasiva, tal como electrocorticografia (ECoG), electroencefalograma (EEG), ressonância magnética funcional (IRMf), etc. O método não-invasivo mais comumente utilizado para a construção do sistema BRI é a aquisição de sinais de EEG a partir de eletrodos colocados no couro cabeludo. Este método é barato, fácil de utilizar e fornece uma resolução temporal aceitável ^3. Entre uma variedade de dispositivos robóticos, robôs humanóides são avançados como eles são criados para imitar algumas das mesmas tarefas físicas e mentais que os seres humanos sofrem diariamente. BRI com um robô humanóide vai desempenhar um papel importante na assistência aos doentes e idosos, bem como a execução de trabalhos insalubres ou perigosos. Mas o controlede um robô humanóide através do sistema BRI é altamente desafiador, como o robô humanóide com movimento de corpo inteiro é desenvolvido para executar tarefas complexas tais como assistência pessoal ^{4, 5.}

Steady-State potencial evocado visual (SSVEP) é um tipo de sinal cerebral evocada pela modulação do estímulo visual em uma determinada frequência ^6. Ele contém sinusóides nas freqüências fundamentais e harmônicas do estímulo cintilação, e bem visível aparece em todo o córtex visual na região occipital do couro cabeludo ^7. A razão para a escolha dos sinais SSVEP é que o sistema baseado BRI-SSVEP produz relativamente alta taxa de transferência de informações e requer menos treinamento ^8. Outros tipos de ondas cerebrais, tais como potenciais relacionados a eventos (ERPs) ⁹ ou do motor-imagery (MI) potenciais de ^10, também podem ser incorporados a este procedimento experimental.

Nosso procedimento para a interação cérebro-robô humanóide comrobôs é baseado em Cerebot - uma plataforma robô humanóide controlado pela mente - que consiste em um sistema de aquisição de dados de EEG e um robô humanóide ^11. O sistema de EEG é capaz de gravar, pré-processamento dos sinais de bio-potencial de exibição adquiridos por vários tipos de eletrodos. Ele fornece analógico múltiplos I / Os e I / Os digitais e é capaz de gravar até 128 canais de sinal simultaneamente a uma taxa de amostragem de 30 kHz com resolução de 16 bits. Seus kits de desenvolvimento de software em C ++ e MATLAB são fáceis para os usuários a projetar os procedimentos experimentais. O robô humanóide tem 25 graus de liberdade e está equipado com vários sensores, incluindo 2 câmeras, 4 microfones, 2 rangefinders sonar, 2 IR emissores e receptores, uma placa de inércia, 9 sensores tácteis, e 8 sensores de pressão. Ele fornece Choregraphe e C ++ SDK para criar e movimentos de edição e comportamentos robôs interativos.

O objetivo geral deste método é estabelecer um proce experimental à base de SSVEPdure integrando vários programas de software, tais como OpenViBE, Choregraph, software Central, bem como programas de usuário desenvolvido escritos em C ++ e MATLAB, para permitir o estudo da interação cérebro-robô com robôs humanóides ^11. A Figura 1 mostra a estrutura do sistema. O computador apresentação do estímulo dedicado (SPC) exibe a interface do usuário para fornecer o assunto com estímulos visuais, instruções e feedbacks ambientais. O computador de processamento de dados dedicado (DPC) corre o Gravador de Dados eo off-line Data Analyzer no processo de treinamento off-line, e corre o processador de sinal de linha eo controlador do robô para o controle on-line do robô humanóide. Em comparação com outros sistemas de controle baseados em SSVEP, o nosso sistema é mais confiável, mais flexível e, sobretudo, mais conveniente para ser reutilizado e atualizado, uma vez que é desenvolvido através da integração de uma série de pacotes de software padronizados, como OpenViBE, Choregraph, software Central, e módulos escrito em C ++e MATLAB.

O procedimento a seguir foi revisado e aprovado pelo Tianjin University Medical hospital geral comitê de ética, e todos os indivíduos deram consentimento por escrito.

Protocolo

1. Adquirir sinais de EEG

1. Explique o procedimento experimental para o assunto e obter o consentimento informado por escrito para participar de experimentos.
2. Medir a circunferência da cabeça do sujeito usando uma fita métrica e selecione o tamanho da tampa EEG que fica perto da medição. A disposição de eléctrodos é baseada na "Sistema Internacional 10-20" ^12.
3. Meça a distância entre o násio e inion. Use um marcador lápis para marcar a pele 10% da distância como uma referência para alinhar a tampa, e marcar o ponto médio da distância que o vértice no couro cabeludo do indivíduo.
4. Coloque a tampa EEG sobre o assunto, alinhando a marca de 10%, com o ponto médio dos eléctrodos FP1 e FP2. Eletrodo Cz posição da tampa sobre o vértice.
5. Certifique-se de que a Fz, Cz, Pz e Oz estão na linha média da cabeça, e que cada par de eléctrodos localizados em ambos os lados da linha média é uma linha horizontal.
6. Smear os eletrodos REF1 e REF2 com gel condutor. Coloque os eletrodos de referência nas mastoides direita e esquerda usando fita adesiva médica. Aperte a barbicha.
7. Coloque uma seringa de ponta romba nos suportes de eléctrodos e injetar gel condutor em cada eletrodo na seguinte ordem: primeiro, o eletrodo "terra" na testa e, segundo, os cinco eletrodos utilizados no experimento, O2, O1, Oz, Pz e Cz.
8. Assentar o assunto em uma confortável cadeira de 60 centímetros na frente de um monitor de estímulo. Instrua o assunto para manter suas / seus olhos no mesmo nível horizontal, com o centro do monitor.
9. Ligue os fios dos eléctrodos para o sistema de aquisição de dados de EEG. Configure a taxa de amostragem de 1 kHz.
10. Examine a qualidade do sinal EEG no dedicado DPC. Se houver um problema com um eléctrodo em particular, gel de re-injectar para ajustar a impedância do canal.
11. Use a SPC dedicado a piscar quatro imagens robô a frequências de 4.615, 12, 15 e 20Hz como estímulos visuais na interface do usuário, como mostrado na Figura 2.

2. offline Analisar SSVEP Características

1. Realizar 32 ensaios de experiências de treinamento off-line para cada assunto e registrar seus sinais cerebrais adquiridos do sistema de EEG durante todo este processo.
   NOTA: Este processo só é realizado por indivíduos de primeira viagem do experimento para estabelecer seus vetores de características SSVEP e para treinar o classificador.
2. Quando um julgamento começa, selecione um estímulo como o destino aleatoriamente e exibir uma seta amarela acima dela.
3. 1 seg mais tarde, piscar os quatro estímulos visuais em freqüências diferentes na interface do usuário por 5 s.
4. Solicite o assunto para focar o alvo estímulo selecionado, mantendo sua / seu movimento do corpo a um mínimo.
5. Após cada ensaio, dar o assunto 3 seg para relaxar, e, em seguida, iniciar o próximo julgamento.
6. Quando todos os ensaios terminar, leia os dados salvos. Extrair uma época de dados 3-sec ser tween 2 segundos e 5 segundos após o gatilho que seleciona um estímulo como o alvo em cada tentativa.
7. Calcular a densidade do espectro de potência (PSD) de épocas de dados offline usando o Data Analyzer em scripts do MATLAB. Utilizar o algoritmo de processamento descrito em detalhes abaixo:
   1. Calcular os análise de correlação canônica (CCA) coeficientes dos dados de EEG multicanais com dados de referência. CCA é um método estatístico de múltiplas variáveis ​​utilizadas para dois conjuntos de dados para encontrar a sua correlação subjacente ^13. Considerando o segmento 3s de dados de EEG multicanal X e os dados de referência Y do mesmo comprimento, usar CCA para encontrar os vectores de ponderação, W _X e W _Y, para maximizar o coeficiente de correlação ρ entre X = X ^{T W} _{X e Y} = Y ^T W _y. Defina os dados de referência a ser os sinais periódicos em determinadas freqüências de estímulo.
      /ftp_upload/53558/53558eq1.jpg "/>
      onde f _1, f _2, f _3, f ₄ são as frequências característica dos quatro estímulos visuais.
   2. Espacialmente filtrar os dados EEG multicanais X utilizando os coeficientes calculados CCA W _x para obter uma one-dimensionais filtrados x de dados, que tem a correlação mais importante com a combinação linear dos dados de referência.
   3. Calcule o PSD dos dados espacialmente x filtradas usando Transformada Rápida de Fourier (FFT).
      
      onde N _FFT é o tamanho da amostra de dados de X, e FFT (x, n _FFT) retorna transformar a N _FFT Fourier discreta -ponto de x.
   4. Normalizar o PSD em relação ao seu valor médio entre 3 e 30 Hz.
      
      Onde60; indica a média do espectro de potência entre 3 e 30Hz.
8. Calibrar os parâmetros de classificação para as quatro freqüências de estímulo. Em primeiro lugar, observar o espectro PSD normalizado que corresponde ao seu alvo de estímulo, e configure manualmente a frequência com a forte amplitude PSD como a frequência característica. Com base na freqüência característica, dividir os dados PSD normalizados em dois conjuntos: um é adquirido quando o estímulo correspondente é selecionado como o destino, eo outro é adquirido quando os estímulos não-alvo são selecionadas. Calcular o valor médio de cada conjunto, respectivamente. Determinar o limiar pela mediana dos dois valores médios para classificar o alvo e não-alvo define ^14.

3. processamento on-line sinais cerebrais

1. Abra o processador de sinal de linha, conforme mostrado na Figura 3, que é desenvolvido based sobre o meio ambiente OpenViBE e os scripts de MATLAB, na DPC para os sinais cerebrais de processamento on-line.
2. Clique na caixa de sinal do Adquirir e Processos, que está marcado com um ciclo de vermelho na Figura 3, para abrir a janela de configuração do OpenViBE duplo. Configure os parâmetros de classificação para o assunto:. Definir a taxa de amostragem como 1 kHz, defina o intervalo de tempo para FFT como 3 segundos, e definir as freqüências de recursos de acordo com os resultados da análise off-line, por exemplo, 4.667, 24, 15 e 20 Hz .
3. Clique no botão começa a correr o processador de sinal online, que processa os dados em tempo real usando o seguinte algoritmo em três etapas.
4. Primeiro, o algoritmo adquire dados de EEG de canais de Oz, O1, O2, Pz e CPZ do sistema de EEG cada 0.5s, e extrai o segmento de dados dos últimos 3s para o processamento online.
5. Em segundo lugar, o algoritmo processa o segmento de dados 3-sec usando os algoritmos descritos no passo 2.7, e calcula o tempo real PSD para CLASSIFICAÇÃOção.
6. Em terceiro lugar, o algoritmo classifica os padrões de ondas cerebrais de acordo com as amplitudes de PSD nas quatro freqüências de recursos. Quando a amplitude de uma freqüência característica é acima de um dado limiar, classificar o estímulo bruxuleante à correspondente frequência, como o alvo SSVEP.

4. Ligar o robô humanóide

1. Pressione o botão no peito do robô humanóide e esperar por ele para o arranque.
   NOTA: Este processo demora cerca de 1 min e é completada quando o robô diz "OGNAK GNOUK", enquanto seu peito botão torna-se branco.
2. Estabelecer sua conexão Wireless Fidelity (WiFi) para o DPC ^15.
3. Aberta o controlador do robô programado em C ++ scripts do Visual na DPC. O controlador recebe os resultados da classificação do Processador de Sinal Online via Virtual-realidade periférica Network (VRPN) interface, os traduz em comandos do robô, e controla os comportamentos correspondentes do humanoid robô via conexão sem fio.
4. Configurar o Controlador do Robô introduzindo o endereço de IP do robô de acordo com sua conexão Wi-Fi, a definição de três conjuntos de comportamentos robô que pode ser facilmente transferido para executar as três tarefas diferentes, e definir os parâmetros de execução desses comportamentos (por exemplo., Velocidade de caminhada ou a distância) para atender a exigência de tarefas.
   NOTA: mais detalhes sobre estes comportamentos são descritos nos passos 5.2.1, 5.3.1, 5.4.1 e.
5. Clique no botão Criar da plataforma Visual Studio para executar o controlador do robô.
6. Abra o programa Choregraphe no SPC. Clique em "Conectar-se a" botão para fazer aparecer um widget Connection. Selecione o robô para ser controlado de acordo com seu endereço IP, e clique duas vezes em seu ícone para se conectar a ele.
7. Abra o monitor de vídeo a partir do menu Exibir na barra de menu Choregraphe, e mova o monitor para a frente da interface do usuário para exibir informações de vídeo ao vivo da câmera do robô.

5. Conduzindo experimentos controle de circuito fechado

1. Solicite o assunto para executar três tarefas específicas de controlo de malha fechada dentro de ambientes diferentes, a fim de avaliar o desempenho interação cérebro-robô.
   NOTA: estas tarefas, que são importantes em aplicações robóticas, porque eles são úteis para ajudar os deficientes e idosos em suas vidas diárias, precisa ativar diferentes comportamentos do robô.
2. Realizar a primeira tarefa de controle de malha fechada para telepresença controlar o robô humanóide através de sinais cerebrais para caminhar através de obstáculos e apertar um interruptor de luz para acender a luz, como mostrado na Figura 4.
   1. Para realizar a primeira tarefa, controlar os comportamentos de robôs que são codificadas pelos quatro estímulos SSVEP como: um passo à frente com uma distância fixa de 0,15 m, virando à esquerda com um radian fixa de 0,3 rad, virando à direita com um radian fixa de 0,3 rad, e empurrando o interruptor usando sua mão direita.
      NOTA: o Configuração processo é descrito na etapa 4.4.
   2. Informar a pessoa do objectivo tarefa e os quatro comportamentos para ser controlado.
   3. Execute o controlador do robô como nos passos 4,5-4,7, e iniciar a experiência. Dê o tema da liberdade de perceber o ambiente e tomar decisões com base no feedback de vídeo ao vivo, e para ativar os comportamentos do robô por olhando para os estímulos correspondentes.
      NOTA: nenhuma instrução ou ajuda deve ser dada ao assunto a não ser em situações de emergência, por exemplo, o robô está prestes a colidir com um obstáculo..
3. Realizar a segunda tarefa para telepresença controlar o robô humanóide através de sinais cerebrais para caminhar em direção à escada que segue o sinal de saída, como mostrado na Figura 5. Ao confrontar os transeuntes, pergunte o assunto para controlar o robô para dizer "desculpe-me" e aguarde o transeuntes a ceder.
   1. Controlar os comportamentos robô codificadas pelos quatro estímulos SSVEP como: andar para a frente continuously a uma velocidade de 0,05 m / seg, de virar à esquerda continuamente a uma velocidade de 0,1 rad / seg, transformando direita continuamente a uma velocidade de 0,1 rad / seg, e parar todos os comportamentos de locomoção.
   2. Alterne o controlador do robô para a função de regulação em função da postura ^16.
      NOTA: quando o robô está caminhando, essa função usa o quarto estímulo como o comando de parar os comportamentos de passeio; quando o robô não está andando, ele usa o quarto estímulo para controlar o robô para dizer "desculpe-me". A função é implementada em scripts C ++ através da detecção de status de caminhada do robô.
   3. Informar a pessoa do objectivo tarefa e os cinco condutas a serem controlados.
   4. Executar o Robot Controller e iniciar a experiência, tal como descrito no passo 5.2.3.
4. Realizar a terceira tarefa para telepresença controlar o robô humanóide de caminhar em direção a um alvo balão, para buscá-lo e entregá-lo para a mão do sujeito, conforme mostrado na Figura 6.
   1. Controlar os comportamentos robô codificadas pelos quatro estímulos SSVEP como: um passo à frente com uma distância fixa de 0,15 m, virar à esquerda com um radian fixa de 0,3 rad, virando à direita com um radian fixa de 0,3 rad, e pegar objetos.
   2. Ative a função de regulação em função da postura do Controlador do Robô reutilizar o quarto estímulo como o comando de colocar para baixo o objeto quando ele já tiver sido apanhado.
   3. Informar a pessoa do objectivo tarefa e os cinco condutas a serem controlados.
   4. Executar o Robot Controller e iniciar a experiência, tal como descrito no passo 5.2.3.

Resultados

Os resultados aqui apresentados foram obtidos a partir de um sujeito do sexo masculino tendo corrigido ao normal versão. A figura 7 mostra o procedimento do processamento de dados de EEG, incluindo extracção de uma época de dados multicanal (Figura 7A), espacialmente filtrar os dados com base nos coeficientes CCA (Figura 7B) e calculando o PSD normalizada (Figura 7C).

Discussão

Este trabalho apresenta um procedimento experimental à base de SSVEP para estabelecer o sistema de interação cérebro-robô com robôs humanóides, integrando vários programas de software. Como a intenção humano é percebido por interpretar os sinais EEG em tempo real, é crítico para verificar as ligações dos eléctrodos de EEG e qualidades de sinal antes de realizar a experiência. Se os sinais adquiridos de todos os eletrodos são de qualidades pobres, é necessário verificar a conexão da terra e eletrodos...

Materiais

Name	Company	Catalog Number	Comments
Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8