Medir a cinemática dos movimentos de vida diária com sistemas de captura de movimento em realidade Virtual

Resumo

Nós projetamos um teste de realidade virtual para avaliar as atividades instrumentais de vida diária (IADL) com um sistema de captura de movimento. Propomos uma detalhada análise cinemática para interpretar do participante vários movimentos, incluindo a trajetória, distância em movimento e hora de conclusão para avaliar capacidades IADL.

Resumo

A incapacidade de completar as atividades instrumentais de vida diária (IADL) é um precursor para várias doenças neuropsicológicos. Avaliações baseadas em questionário de IADL são fáceis de usar, mas propenso a viés subjetivo. Aqui, descrevemos um teste de novela de realidade virtual (VR) para avaliar duas tarefas complexas de IADL: manipular transações financeiras e usando transporte público. Enquanto um participante executa as tarefas em uma configuração de VR, uma moção capturar vestígios do sistema, a posição e orientação da mão dominante e cabeça em um sistema de coordenadas cartesianas tridimensional. Dados brutos cinemáticos são recolhidos e convertidos em 'cinemática medidas de desempenho,' isto é, movimento trajetória, em movimento de distância e tempo de conclusão. A trajetória de movimento é o caminho de uma parte específica do corpo (por exemplo, mão dominante ou cabeça) no espaço. Movendo a distância refere-se a distância total da trajetória, e tempo de conclusão é quanto tempo levou para completar uma tarefa IADL. Estas medidas cinemáticas poderiam discriminar pacientes com comprometimento cognitivo de controles saudáveis. O desenvolvimento do presente protocolo de medição cinemático permite a detecção de início deficiências cognitivas IADL-relacionados.

Introdução

Atividades instrumentais do diário viver (IADL), tais como manipulação de transações financeiras, utilizando os transportes públicos e cozinhar, são marcadores de médicos desde que requerem múltiplas funções neuropsicológica¹. Capacidades IADL prejudicadas, portanto, são consideradas precursores de doenças neurológicas, tais como transtorno cognitivo leve (MCI) e demência². Revisão global do ouro de IADL tarefas³ indicavam tarefas cognitivamente mais exigentes, tais como gerir as finanças e utilizando os transportes públicos, o primeiro preditor de MCI e demência.

Até à data, as avaliações mais utilizadas de IADL são questionários de auto-relato, informante com base em questionários e avaliações baseadas no desempenho⁴. Avaliações baseadas em questionário de IADL são de baixo custo e fácil de usar, mas são propensas a viés subjetivo. Por exemplo, quando autorelatórios, os pacientes tendem a over - ou under - estimate suas capacidades IADL⁵. Da mesma forma, os informadores misjudge capacidades IADL devido a equívocos do observador ou de lacunas de conhecimento⁴. Assim, avaliações baseadas em desempenho que perguntar aos pacientes para realizar tarefas específicas de IADL tem sido preferidas, embora muitas das tarefas são inadequadas para um ambiente clínico geral⁶.

Recentemente, estudos de realidade virtual (VR) têm mostrado que esta tecnologia pode ter aplicações importantes em medicina e saúde, que inclui tudo, desde o treinamento de reabilitação para avaliação médica⁷. Todos os participantes podem ser testados sob as mesmas condições VR, que imitam o mundo real. Por exemplo, Allain et al ⁸ desenvolveu uma tarefa de fazer café virtual e mostrou que os pacientes com comprometimento cognitivo realizada a tarefa mal. Et al . Klinger ⁹ desenvolveu outro ambiente VR para envio e tarefas de compras e encontrou uma relação significativa entre o tempo de conclusão da tarefa em VR e resultados dos testes neuropsicológicos. Estudos anteriores de VR de avaliação IADL principalmente concentraram-se em medidas de desempenho simples tais como o tempo de reação ou precisão ao usar dispositivos de entrada convencionais como um mouse e teclado^8,9. Dados mais detalhados de desempenho sobre IADL assim, é necessário para a tela eficientemente para pacientes com MCI⁴.

Análise cinemática de dados de captura de movimento em tempo real é uma poderosa abordagem quantitativamente documentar dados detalhados de desempenho associados IADL tarefas. Por exemplo, branco et al. ¹⁰ desenvolveu uma cozinha virtual que captura dados de ângulo conjunta do participante durante as tarefas diárias da vida e usados dados capturados para avaliar quantitativamente a eficácia da terapia física. Dimbwadyo-Terrer et al ¹¹ desenvolveu um ambiente imersivo de VR para avaliar o desempenho de membro superior, quando realizar tarefas básicas de vida diária e mostrou que a cinemáticos dados registrados em um ambiente de VR altamente correlacionado com as escalas funcionais do membro superior. Essas análises de cinemáticas com sistemas de captura de movimento podem fornecer mais oportunidade de avaliar rapidamente impairment cognitive^{12 de um paciente}. Inclusão dos dados cinemáticos detalhados na triagem para pacientes com MCI melhorou significativamente a classificação dos pacientes em comparação com controles saudáveis¹³.

Aqui, descrevemos um protocolo para avaliar a cinemática dos movimentos de vida diária com sistemas de captura de movimento em um ambiente imersivo de VR. O protocolo composto por duas tarefas complexas de IADL: "tarefa 1: retirar dinheiro" (manipulação de operações financeiras) e "tarefa 2: pegar um ônibus" (transportes públicos). Enquanto as tarefas foram realizadas, um sistema de captura de movimento traçou a posição e orientação da mão dominante e cabeça. Depois de completar a tarefa 1, a trajetória da mão dominante, em movimento de distância e tempo de conclusão foram coletados. Na tarefa 2, foram coletados cabeça trajetória, em movimento de distância e tempo para conclusão. A seção de resultados de representante neste artigo detalha o teste preliminar de pacientes com MCI (i.e., IADL capacidades são prejudicadas) em comparação com controles saudáveis (ou seja, capacidades IADL estão intactas).

Protocolo

Todos os procedimentos experimentais descritos aqui foram aprovados pela institucional Review Board de Hanyang University, de acordo com a declaração de Helsinque (HYI-15-029-2). 6 controles saudáveis (4 machos e 2 fêmeas) e 6 pacientes MCI (3 machos e 3 fêmeas) foram recrutados de um hospital terciário, Hanyang University Hospital.

1. recrutar participantes

1. Recrute pacientes MCI (ou seja, capacidades IADL prejudicadas) e controles saudáveis (ou seja, capacidades IADL normais) com idade entre 70-80 anos.
2. Com a ajuda de um neurologista com mais de 10 anos de experiência clínica, rever a história médica dos pacientes e excluir pacientes com histórico de doenças neurológicas/psiquiátricas ou cirurgia cerebral.
   Nota: Use os seguintes testes neuropsicológicos: Mini Mental estado demência-exame de rastreio, coreano Instrumental atividades de diário viver, livre e seletiva Cued lembrando teste, Digit Span teste-para diante/para trás, Trail fazendo teste-A/B¹³ e os critérios de Albert et al . ¹⁴ para diagnosticar MCI.

2. Instale o Software VR e conectar computadores

1. Configure o hardware na sala dedicada semelhante a Figura 1. Realizar este protocolo em um tamanho de uma sala virtual ambiente envolvente (4 x 2.5 x 2.5 m³) contendo 4 computadores, 4 estereoscópico tridimensional (3D) projetores e 8 câmeras de controle de movimento para rastrear a posição e orientação da mão dominante e cabeça durante as duas tarefas IADL.
   Nota: As tecnologias VR usadas neste artigo são hardware e software que oferecem experiências 3D imersivas e interativas, por que eventos e objetos realistas podem ser apresentados em um ambiente virtual. Os detalhes de hardware e software são descritos na Tabela de materiais.
2. Certifique-se de que todos os computadores estão equipados com o software necessário (pacote redistribuível do Visual Studio 2012 (x86), DirectX e MiddleVR ou equivalente). Para MiddleVR, ou seja, software de middleware, verifique o site de¹⁵ para obter as últimas versões das bibliotecas para os dispositivos de entrada, estereoscopia, clustering e interações.
3. Conecte computadores para projetores 3D estereoscópicas. Configurações gráficas são 1920 x 1080 pixels de resolução.
4. Crie um grupo doméstico 10 de Windows para se conectar os 4 computadores a uma rede doméstica. No computador principal, crie uma pasta e compartilhá-lo com outros computadores do grupo doméstico.
5. No computador principal, inicie o software de middleware. Clique em "Cluster". Defina o computador primário como um servidor e outros computadores como clientes. Isso sincronizará o estado de todos os dispositivos. Clique o botão "nós 3D". Especifica a posição, orientação e tamanho de tela do ambiente virtual.
6. Completar as configurações com base no site¹⁵ e salve o arquivo de configuração.

3. criar sistemas de captura de movimento em um ambiente Virtual

1. Monte 8 câmeras de controle de movimento em um ambiente virtual para cobrir totalmente o volume de captura. Fixe as câmeras bem para que eles permaneçam estacionários durante a captura. Certifique-se de objetos em um ambiente virtual será visíveis pelo menos 2 câmeras em todos os momentos.
2. Instale o software OptiTrack motivo, ou seja, software de captura de movimento, no computador principal utilizando o manual de instalação¹⁶. Conecte o computador primário com os sistemas de captura de movimento com cabos Ethernet de categoria 6.
3. Calibre os sistemas de captura de movimento com as seguintes etapas, conforme detalhado no manual software¹⁶.
   1. Remova todas as reflexões estranhas ou marcadores desnecessários o volume de captura.
   2. Clique no botão "Máscara visível" para mascarar reflexos indesejados ou interferência do ambiente.
   3. Clique no botão "Iniciar revistando". Use a varinha de calibração para apoiar a captura de quadros de amostra para calcular as respectivas posições e orientações no espaço 3D.
   4. Clique no botão "Calcular" para calibrar o sistema usando amostras coletadas.
   5. Verificar os resultados de calibração (em ordem de pior para melhor): pobres, justo, bom, ótimo, excelente e excepcional. Se o resultado é melhor do que grande, clique no botão "Aplicar". Se não, clique no botão "Cancelar" e repita o processo de inspecção.
   6. Coloque o esquadro de calibração dentro do espaço 3D, onde você quer que a origem esteja situado. Clique em "Definir plano de chão" para estabelecer uma origem do sistema de coordenadas 3D controladas.
   7. Selecione o associado marcadores reflexivos para a mão dominante e a cabeça. Clique no botão de "Corpo rígido" e, em seguida, clique no botão "Criar do selecionado marcadores".
4. No movimento de software de captura, abrir o menu de "Streaming". Verifique se o número da porta listado é 3883 e marque a caixa de "Transmissão de dados do quadro" na categoria "VRPN Streaming Engine". Clique em "Ctrl" + "S" para salvar o arquivo de calibração.
5. No computador principal, inicie o software de middleware. Clique no botão "Dispositivos". Adicionar um VRPN Tracker para obter dados de monitoramento do sistema de captura de movimento e em seguida, salve o arquivo de configuração.

4. preparar um ambiente Virtual para uso

1. Remova todos os objetos reflexivos (i.e., relógios, anéis, brincos, metais, etc.) do ambiente virtual.
2. Liga computadores, projetores 3D estereoscópicas e sistemas de captura de movimento (360 frames por segundo).
3. Uma vez que 4 computadores estejam em execução, inicie o software VRDaemon. Por exemplo, clique duas vezes em "VRDaemon.exe" que encontra em "C:\Program Files (x86) \MiddleVR\bin."
4. No computador principal, inicie o software de captura de movimento. Clique no botão perto do menu superior rotulado "Open Existing Project." Carrega o arquivo de calibração de câmera.
5. No computador principal, inicie o software de middleware. Clique no botão "Simulações". Carrega os arquivos apropriados de simulação e configuração de uma pasta compartilhada.
6. Sobre o software de middleware, pressione o botão "Executar" para executar um aplicativo virtual imersivo com os arquivos de configuração e simulação selecionados.

5. familiarizar os participantes com o ambiente Virtual

1. Fornece ao participante com óculos estereoscópicas, pesando cerca de 50 g. A frequência dos óculos estereoscópicas é 192 Hz. Certifique-se de que os óculos estereoscópicas confortavelmente são colocados sobre os olhos e ouvidos; Ver Figura 2A.
2. Anexe marcadores reflexivos, pesando menos de 1 g a mão dominante do participante e a cabeça. Tenha cuidado para anexar os marcadores reflexivos firmemente; Ver Figura 2B. Informar os participantes que podem livremente mover ou girar no ambiente virtual usando o movimento da cabeça e pode clicar em objetos virtuais com a mão dominante. Uma mão virtual aparece no ambiente virtual para imitar a posição do dedo indicador do participante; Veja a Figura 3.
3. Pedir o participante a mover-se livremente (ou seja, levante-se, sente-se, vá para a esquerda e direita) no ambiente virtual por 5 min familiarizar-se com o ambiente de VR. Em seguida, pedir o participante clicar botões virtuais por 5 min para que se familiarize com a forma de interagir com objetos virtuais, com a mão dominante. Se o participante pede um, fornece outra sessão de treinamento de 10 min.
4. Verificar se o participante é imune à doença VR com um simulador doença questionário¹⁷.
   Atenção: O movimento sincronizado de rastreamento no visor estereoscópico pode causar doença VR, o que pode resultar em desconforto, dor de cabeça, consciência de estômago, náuseas, vômitos, palidez, sudorese, fadiga, sonolência, desorientação e apatia. Se o participante se queixa de fadiga ou o resultado de doença do simulador é muito alto, pare o protocolo.

6. executar "tarefa 1: retirar o dinheiro"

Cuidado: Contrabalançar as sequências de tarefas 1 e 2 de tarefa para remover o efeito de transição.

1. Explicar ao participante os detalhes da tarefa e fornecer os 8 ação passos para completar a tarefa no ambiente virtual. As etapas são (1) inserir o cartão no ATM, (2) Seleccione o menu 'retirar', (3) Seleccione a quantidade para retirar (4) Seleccione o tipo de conta, (5) Introduza o PIN (número de identificação pessoal), (6) selecionar a opção de recebimento, (7) Retire o cartão e (8) tomar o dinheiro de o ATM (ver Figura 4).
2. No computador principal, inicie o software de middleware. Na guia "Simulações", selecione um arquivo de simulação para a tarefa 1 e um arquivo de configuração. Pressione o botão "Executar"; "Tarefa 1: retirar dinheiro" será executado no ambiente virtual.
   Nota: Para o arquivo de tarefa 1, consulte o arquivo anexado "Tarefa 1 retirar Money.zip" no arquivo suplementar 1. Note que a tarefa virtual foi desenvolvida com o motor 3D de unidade.
3. Se a "tarefa 1: retirar dinheiro" é executado no ambiente virtual, instruir o participante a realizar da seguinte forma: "por favor retirar KRW 70.000 (equivalente a cerca de 60 USD) da ATM para fazer compras. Selecionados dois tipos diferentes de notas, uma nota KRW 50.000 para KRW 50.000 e duas 10.000 notas de KRW para KRW 20.000. A senha para a sua transação é a data de hoje. Por exemplo, se o experimento for realizado no dia 11 de novembro, o pino é 1111. Guarde o recibo para uma referência mais adicional".
4. Quando a tarefa estiver concluída, verifique os dados cinemáticos salvos em arquivos CSV (valores separados por vírgula) para posterior análise de uma pasta compartilhada.
   Nota: Usando os sistemas de captura de movimento, durante a "tarefa 1: retirar dinheiro" gravar a posição e orientação da mão dominante durante a realização de uma tarefa com uma frequência de gravação de 1 ms.
5. Poupa cerca de 5 min para o participante antes de começar a "tarefa 2: pegar um ônibus."

7. executar "tarefa 2: Pegue o ônibus"

1. Explicar ao participante os detalhes da tarefa e fornecer instruções sobre como concluir "tarefa 2: Pegue o ônibus" da seguinte forma: "por favor esperar na parada de ônibus e pegar o ônibus de destino. As alvo ônibus informações serão dadas na tela do VR por um número específico de linha, cor e destino. Quando chega o ônibus de destino, certifique-se de andar fora da paragem de autocarro e a porta da frente do ônibus alvo. 8 autocarros de destino diferente serão aleatoriamente gerados e apresentados." Consulte a Figura 5.
2. No computador principal, inicie o software de middleware. Na guia "Simulações", selecione um arquivo de simulação para a tarefa 2 e um arquivo de configuração. Pressione o botão "Executar", depois "tarefa 2: Pegue o ônibus" será executado no ambiente virtual.
   Nota: Para o arquivo de tarefa 2, consulte o arquivo anexado "Tarefa 2 tomar um Bus.zip" no arquivo suplementar 2. Note que a tarefa virtual foi desenvolvida com o motor 3D de unidade.
3. Se a "tarefa 2: Pegue o ônibus" é executado no ambiente virtual, instruir o participante a espera na paragem do autocarro. Clique na tecla "Espaço" no teclado para fazer o ônibus chegar na parada de ônibus.
4. Quando a tarefa estiver concluída, verifique os dados cinemáticos salvos em arquivos CSV, para posterior análise de uma pasta compartilhada.
   Nota: Usando os sistemas de captura de movimento, durante a "tarefa 2: Pegue o ônibus" gravar a posição e orientação da cabeça quando realizar a tarefa com uma frequência de gravação de 1 ms.
5. O protocolo é completo. Ajude o participante tirar os óculos estereoscópicas e separe os marcadores reflexivos da mão dominante e da cabeça.

Resultados

CSV arquivos de "tarefa 1: retirar dinheiro" foram analisados utilizando o software estatístico R para calcular a trajetória da mão dominante, em movimento de distância e tempo para conclusão. A trajetória do movimento da mão dominante é visualizada (Figura 6). A distância em movimento da mão dominante é calculada através da soma das distâncias totais entre as posições de mão sequencial ao executar a tarefa 1. A distância entre as posições ...

Discussão

Nós detalhados um protocolo de medição cinemático dos movimentos de vida diária com sistemas de captura de movimento em um ambiente imersivo de VR. Primeiro, a configuração experimental guiada para como configurar, preparar e familiarizar os participantes com o ambiente envolvente do VR. Em segundo lugar, nós desenvolvemos duas tarefas IADL padronizadas em VR. Em terceiro lugar, o passo 3 e passo 5 na seção de protocolo são os passos mais importantes para minimizar a doença VR. Ao configurar os sistemas de ca...

Materiais

Name	Company	Catalog Number	Comments
Computer	N/A	N/A	Computer requirements:                                                            - Single socket H3 (LGA 1150) supports - Intel® Xeon® E3-1200 v3, 4th gen. Core i7/i5/i3 processors - Intel® C226 Express PCH - Up to 32GB DDR3 ECC/non-ECC 1600MHz UDIMM in 4 sockets - Dual Gigabit Ethernet LAN ports - 8x SATA3 (6Gbps) - 2x PCI-E 3.0 x16, 3x PCI-E 2.0 x1, and 2x PCI 5V 32-bit slots - 6x USB 3.0 (2 rear + 4 via headers) - 10x USB 2.0 (4 rear + 6 via headers) - HD Audio 7.1 channel connector by Realtek ALC1150 - 1x DOM power connector and 1x SPDIF Out Header - 800W High Efficiency Power Supply - Intel Xeon E3-1230v3 - DDR3 PC12800 8GB ECC - WD 1TB BLUE WD 10EZEX  3.5" - NVIDIA QUADRO K5000 & SYNC
Stereoscopic 3D Projector	Barco	F35 AS3D WUXGA	Resolution:                                                                              - WQXGA (2,560 x 1,600)                                                           - Panorama (2,560 x 1,080)                                                         - WUXGA (1,920 x 1,200), 1080p (1,920 x 1,080)
Stereoscopic Glasses	Volfoni	Edge 1.2	For further information, visit http://volfoni.com/en/edge-1-2/
Motion Capture Systems	NaturalPoint OptiTrack	17W	For further information, visit http://optitrack.com/products/prime-17w/
OptiTrack (Motion capture software)	NaturalPoint OptiTrack	Motive 2.0	For further information, visit https://optitrack.com/downloads/motive.html
MiddleVR (Middleware software)	MiddleVR	MiddleVR For Unity	For further information, visit http://www.middlevr.com/middlevr-for-unity/
VRDaemon (Middleware software)	MiddleVR	MiddleVR For Unity	For further information, visit http://www.middlevr.com/middlevr-for-unity/
Unity3D (Game engine)	Unity Technologies	Personal	For further information, visit https://unity3d.com/unity