Os autores gostariam de agradecer Rabih Dow, Padma Rajagopal, Molly Connors e os funcionários do Centro de Carroll para Cegos (Newton MA, EUA) pelo apoio na realização desta pesquisa. Este trabalho foi financiado pela subvenção NIH / NEI: RO1 EY019924.

1. Demografia participantes Este é um estudo on-going que recruta cegos participantes do sexo masculino e feminino, com idade entre 18-45 anos. Todos os participantes são legalmente cego de início precoce (documentado antes da idade de 3) e de diferentes etiologias oculares. Nenhum dos participantes do estudo foram previamente familiarizados com a disposição espacial do edifício-alvo física. 2. Preparação e familiarização com a ABES <ol><li> Proporcionar ao participante com uma venda nos olhos e fones de ouvido para ser usado durante todo o processo de formação e avaliação. Certifique-se que a venda está confortavelmente colocado sobre os olhos e os fones de ouvido são devidamente orientados e posicionados sobre as orelhas (ou seja, alto-falante esquerdo sobre a orelha esquerda). </li><li> Participante trem como usar chaves atribuídas e as informações representadas pelos sinais de áudio em ABES. Usando específicos traços essenciais (Figura 3), um usuário navega através de e explora oconstruir virtualmente (avançar, direita ou esquerda). Cada passo virtuais aproxima um passo na construção física real. </li><li> Familiarizar com as normas e premissa do jogo. </li><li> Familiarizar com sinais de áudio específicos para o jogo (por exemplo, o som de jóias localização e som de monstros próximos). Conforme o usuário navega pelo prédio, auditivo-base e contextual informação espacial é adquirido sequencialmente e é atualizado dinamicamente. Informação espacial e situacional é baseada em pistas de som emblemáticos e espacializada fornecidos após cada passo dado. Orientação é baseada em leituras de bússola cardeais (por exemplo, &quot;norte&quot; ou &quot;leste&quot;) e texto através da fala (TTS) é usado para fornecer mais informações sobre a localização atual de um usuário, orientação e rumo (por exemplo, &quot;você está no corredor do primeiro º andar, de frente para o oeste &quot;), bem como a identidade de objetos e obstáculos em seu caminho (por exemplo,&quot; esta é uma porta &quot;). Sugestões de distância são fornecidos com base on intensidade do som modulado. A localização espacial dos sons é atualizado para corresponder título egocêntrica do usuário. Essencialmente, o software é projetado para reproduzir um arquivo de áudio apropriado em função da localização e egocêntrico posição do usuário e controla a posição do usuário como eles se movem através do ambiente. Por exemplo, se uma porta está localizado no lado direito da pessoa, o som batendo é ouvido em ouvido direito do usuário (ou seja, o software reproduz um arquivo de áudio de um som de batida no canal direito). Se a pessoa agora gira em torno de 180 graus, de modo que a mesma porta agora está localizado em seu lado esquerdo, o mesmo som batendo é agora ouvido no canal esquerdo (ou seja, o software reproduz um arquivo de áudio de um som de batida no canal esquerdo). Finalmente, se o usuário estiver de frente para a porta, o mesmo som batendo é ouvido em ambas as orelhas de forma igual. , Mantendo o controle do rumo egocêntrico do usuário, o software pode reproduzir os sons espaciais apropriadas localizadas que identificama presença e localização de objetos e acompanhar estas mudanças como o usuário se move através do ambiente virtual. Veja a Figura 4. </li></ol> 3. Treinamento e jogo com a ABES (3 sessões cada 30 minutos para um total de 1,5 horas) <ol><li> Permitir para jogar jogo livre e anotar todas as dificuldades e desafios (ou seja, utilização de teclas, sinais de áudio, as áreas de navegação difícil). O reforço positivo e esclarecimentos são fornecidos no final de cada sessão de treinamento. </li><li> O desempenho do jogo de registro (por exemplo, tempo, número e localização em que o participante encontra uma jóia). </li></ol> 4. Avaliar o desempenho de tarefas de navegação virtual <ol><li> Explique aos participantes os detalhes do teste e fornecer instruções sobre como completar as tarefas de navegação virtual. O participante irá completar 10 tarefas de navegação pré-determinados apresentados sequencialmente utilizando o software ABES (ou seja, uma vez que a participaçãocalça é concluída com êxito a primeira tarefa, o computador será automaticamente re-localizá-los para o ponto de partida da tarefa seguinte). </li><li> Informar o participante que terá um máximo de 6 minutos para concluir cada tarefa de navegação. </li><li> 10 caminhos de navegação virtuais de dificuldade comparável (ou seja, a distância percorrida e número de voltas) são escolhidos com base em pares pré-determinados, de 10 de iniciar e parar locais (salas, por exemplo). Especificamente, a gama de passos necessários para navegar na rota alvo variou entre 25-35 passos (no ambiente virtual) e incorporadas entre as curvas 3-4 de 90 graus. </li><li> Coloque os 10 pares de navegação em ABES para apresentação automática e captura de dados de desempenho. </li><li> As medidas adotadas são gravadas automaticamente usando software interno Abes &#39;. As medidas adotadas incluem: a conclusão com êxito da tarefa de navegação e tempo necessário para atingir a meta. Ver Figura 5A. </li><li> Instruções describing o local de partida e o destino do alvo são fornecidos automaticamente pelo software ABES no início de cada tarefa. Tempo começa imediatamente uma vez que o sujeito toma seu primeiro passo virtual do local de partida e termina quando chegar ao local de destino (a menos que o tempo demora mais do que seis minutos, para que a corrida é marcada como incompleta eo caminho seguinte é apresentada). Dados capturados são enviados automaticamente para um arquivo de texto e abriu posteriormente no banco de dados / software estatístico para análise posterior. </li></ol> 5. Avaliar o desempenho de tarefas Física Navegação <ol><li> Explique aos participantes os detalhes do teste e fornecer instruções sobre como completar as tarefas de navegação físicas. O participante irá completar 10 tarefas de navegação pré-determinados (apresentada em ordem mexidos a partir da avaliação de desempenho anterior virtual) e sob a supervisão de um investigador experiente. </li><li> Informar o participante que terá um maximínimo de 6 min para concluir cada tarefa de navegação. Para efeitos de navegação física da tarefa, o participante está autorizado a usar o seu bengala branca para apoiar a mobilidade. </li><li> 10 caminhos de navegação físicos são escolhidos com base em pares pré-determinados, de 10 de início e locais de parada (salas, por exemplo) de dificuldade comparável (ou seja, a distância percorrida e número de voltas). </li><li> Pesquisador prepara cronômetro e prancheta com a lista de tarefas de navegação para pontuação manual de desempenho. </li><li> As medidas adotadas são registrados manualmente pelo investigador. As medidas adotadas incluem: a conclusão com êxito da tarefa de navegação e tempo necessário para atingir a meta. </li><li> &quot;Square-off&quot; o participante (ou seja, a posição do participante com a porta do local de partida por trás deles). Instruções descrevendo o local de partida e o destino do alvo são fornecidos pelo investigador no início de cada tarefa. Tempo começa imediatamente uma vez que o assunto takes o primeiro passo física do local de partida e termina quando o participante relata verbalmente chegar ao destino (a menos que o tempo demora mais do que 6 min, para o qual a execução é pontuada como uma incompleta eo caminho seguinte é apresentada). Dados capturados é registado manualmente e, posteriormente, transferidos para a base de dados / software estatístico para análise posterior. Ver Figura 5B. </li></ol> 6. Avaliar Gota Física fora Desempenho de Tarefas <ol><li> Explique aos participantes os detalhes do teste e fornecer instruções sobre como completar a queda física fora das tarefas de navegação. O participante irá completar 5 tarefas de navegação com as metas de sair do prédio usando a rota mais curta possível e sob a supervisão de um investigador experiente. </li><li> Informar o participante que terá um máximo de 6 minutos para concluir cada tarefa de navegação. Para os efeitos da queda física fora da tarefa de navegação, o participante é permitidapara usar sua bengala branca para suporte de mobilidade. </li><li> 5 predeterminadas localizações físicas de partida são utilizados de tal forma que três caminhos de saída de comprimentos diferentes são possíveis. </li><li> Pesquisador prepara cronômetro e prancheta com a lista de tarefas de navegação para pontuação manual de desempenho. </li><li> As medidas adotadas são registrados manualmente pelo investigador. As medidas adotadas incluem: a conclusão com êxito da tarefa de navegação e tempo necessário para atingir a meta. Além disso, os caminhos são marcados de tal forma que o caminho mais curto tomadas é dado o máximo de pontos (ou seja, 3 para o caminho mais curto, 2 para o segundo, uma para o mais longo, e 0 para não ser capaz de completar a tarefa). Ver Figura 5C. </li><li> &quot;Square-off&quot; o participante no primeiro local de partida. Instruções descrevendo o local de início são fornecidos pelo investigador no início de cada tarefa. Tempo começa imediatamente uma vez que o sujeito toma seu primeiro passo física do local de partida e terminaquando o participante verbalmente relata que chegam a uma porta de saída do edifício (a menos que o tempo demora mais do que 6 minutos, para que o funcionamento é marcado como incompleto e o local de partida seguinte é apresentado). Dados capturados é registado manualmente e, posteriormente, transferidos para a base de dados / software estatístico para análise posterior. </li></ol>

<ol>
	<li>Loomis, J. M., Klatzky, R. L., Golledge, R. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Navigating+without+vision:+basic+and+applied+research.">Navigating without vision: basic and applied research.</a> Optom. Vis. Sci. 78, 282-289 (2001).</li><li>Siegel, A. W., White, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+development+of+spatial+representations+of+large-scale+environments.">The development of spatial representations of large-scale environments.</a> Adv. Child Dev. Behav. 10, 9-55 (1975).</li><li>Strelow, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=What+is+needed+for+a+theory+of+mobility:+direct+perception+and+cognitive+maps--lessons+from+the+blind.">What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind.</a> Psychol. Rev. 92, 226-248 (1985).</li><li>Giudice, N. A., Bakdash, J. Z., Legge, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Wayfinding+with+words:+spatial+learning+and+navigation+using+dynamically+updated+verbal+descriptions.">Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions.</a> Psychol. Res. 71, 347-358 (2007).</li><li>Ashmead, D. H., Hill, E. W., Talor, C. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Obstacle+perception+by+congenitally+blind+children.">Obstacle perception by congenitally blind children.</a> Percept. Psychophys. 46, 425-433 (1989).</li><li>Dede, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Immersive+interfaces+for+engagement+and+learning.">Immersive interfaces for engagement and learning.</a> Science. 323, 66-69 (2009).</li><li>Bavelier, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Brains+on+video+games.">Brains on video games.</a> Nat. Rev. Neurosci. 12, 763-768 (2011).</li><li>Bavelier, D., Green, C. S., Dye, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Children,+wired:+for+better+and+for+worse.">Children, wired: for better and for worse.</a> Neuron. 67, 692-701 (2010).</li><li>Lange, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Designing+informed+game-based+rehabilitation+tasks+leveraging+advances+in+virtual+reality.">Designing informed game-based rehabilitation tasks leveraging advances in virtual reality.</a> Disabil. Rehabil. , (2012).</li><li>Merabet, L., S&#225;nchez, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Audio-based+Navigation+Using+Virtual+Environments:+Combining+Technology+and+Neuroscience.">Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience.</a> AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).</li><li>Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Assessment+of+Indoor+Route-finding+Technology+for+People+with+Visual+Impairment.">Assessment of Indoor Route-finding Technology for People with Visual Impairment.</a> J. Vis. Impair. Blind. 104, 135-147 (2010).</li><li>Lahav, O., Schloerb, D. W., Srinivasan, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Newly+blind+persons+using+virtual+environment+system+in+a+traditional+orientation+and+mobility+rehabilitation+program:+a+case+study.">Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study.</a> Disabil. Rehabil. Assist Technol. , (2011).</li></ol>

Os autores declaram não haver conflito de interesses.

Nós descrevemos um interativo de áudio baseada em simulador de ambiente virtual projetado para melhorar a percepção espacial geral e habilidades de navegação na cego. Nós demonstramos que a interação com a ABES fornece pistas precisas que descrevem as relações espaciais entre os objetos eo layout geral do ambiente de destino. Usuários cegos podem gerar precisos espaciais mapas cognitivos com base nesta informação auditiva e interagindo com o ambiente virtual imersiva. Além disso, a interacção com ABES d...

Encontrar uma maneira em um ambiente desconhecido se apresenta como um desafio significativo para os cegos. Navegando com sucesso requer uma compreensão das relações espaciais que existem entre si mesmo e os objetos no ambiente 1,2. A representação mental que descreve o espaço circundante é referido como um mapa espacial cognitivo 3. Os indivíduos cegos pode reunir informações espaciais relevantes sobre seu ambiente circundante através de outros canais sensoriais (tais como ouvir) que permitem a geração de um mapa espacial precisa cognitiva para os efeitos de tarefas do mundo real de navegação 4,5. Tem recebido grande atenção em relação ao potencial educativo de ambientes virtuais e jogos de vídeo de ação como um meio para aprender e dominar as habilidades de 6-9. Na verdade, muitas estratégias e abordagens têm sido desenvolvidos para cegos para esta finalidade (ver 4,10-12). Nós desenvolvemos Audio baseada Simulator Ambiente (ABES), um user-centered ambiente de áudio baseada em virtual que permite a navegação simulada e exploração de um edifício existente física. Desenho de plantas arquitetônicas originais, uma renderização virtual de um edifício de dois andares moderno (localizado no Centro de Carroll para Cegos; Newton, MA) foram gerados com o software ABES (Figuras 1A e B). ABES incorpora uma metáfora do jogo de ação com uma premissa projetado para promover a exploração completa do espaço do edifício. Com simples traços essenciais e as sugestões de som espacializado, os usuários navegar e explorar todo o edifício para recolher um número máximo de jóias escondidas em várias salas. Os usuários devem evitar itinerante monstros que podem levá-los para longe e escondê-los em outras partes do edifício (Figura 1C). Nós demonstramos que interagindo com ABES permite a um utilizador cego para gerar um mapa espacial preciso cognitiva de um edifício de destino com base em informação auditiva umcquired dentro do contexto de uma metáfora jogo de ação. Isto é confirmado por uma série de pós-treinamento testes de desempenho comportamental destinadas a avaliar a transferência de informação espacial adquirida a partir de um ambiente virtual para uma tarefa de navegação do mundo real e de grande escala no interior (veja a Figura 2 para o projeto global do estudo). Nossos resultados mostram que os usuários cegos são capazes de navegar com sucesso através de um edifício para o qual foram previamente desconhecido, apesar do fato de que em nenhum momento eles foram informados do propósito geral do estudo, nem eram instruídos a lembrar a disposição espacial do construção durante o jogo.

<table border="1"><tbody><tr><td> Nome do Equipamento </td><th > Comentários </td></tr><tr><td> Computador portátil </td><td > Laptop usado exclusivamente para os participantes do treinamento e coleta de dados </td></tr><tr><td> Estéreo telefones cabeça (totalmente fechado desenho circumaural) </td><td > Usado por todos os participantes durante o treinamento </td></tr><tr><td> De olhos vendados </td><td > Usado por todos os participantes durante o treinamento e teste </td></tr></tbody></table>

development of an audio-based virtual gaming environment to assist with navigation skills in the blind

Áudio-baseado Simulator Ambiente (ABES) é um software de ambiente virtual projetado para melhorar as habilidades de navegação do mundo real na cego. Usando apenas áudio pistas baseadas em conjunto e no contexto de uma metáfora do jogo de vídeo, os usuários coletar informações espaciais relevantes sobre o layout de um edifício. Isto permite ao utilizador a desenvolver um mapa espacial preciso cognitiva de uma grande escala espaço tridimensional que pode ser manipulada para os fins de uma tarefa verdadeira navegação interior. Após o jogo, os participantes são, então, avaliados em sua capacidade de navegar dentro do edifício-alvo física representada no jogo. Os resultados preliminares sugerem que os primeiros usuários cegos eram capazes de adquirir informações relevantes sobre a disposição espacial de um edifício anteriormente desconhecido como indexado pelo seu desempenho em uma série de tarefas de navegação. Estas tarefas incluíam encontrar caminho através do edifício virtual e física, bem como uma série de tarefas drop off. Nós achamos que a envolventeea natureza altamente interativa do software ABES parece muito envolver o usuário cego de explorar ativamente o ambiente virtual. Aplicações desta abordagem pode se estender a grandes populações de indivíduos com deficiência visual.

Os resultados de três primeiros participantes cegos (com idade entre 19 e 22 anos) são mostrados (ver Tabela 1 para as características dos participantes). Em resumo, todos os três participantes apresentaram um elevado grau de sucesso em todas as três tarefas de navegação na sequência de jogo com o software ABES. Isto foi confirmado pelos escores de desempenho (média do grupo e individual) em todas as três tarefas comportamentais (ver Figura 6). O desempenho percentagem correct...

Watch this Scientific Journal Video about Development of an Audio-based Virtual Gaming Environment to Assist with Navigation Skills in the Blind at JoVE.com

Development of an Audio-based Virtual Gaming Environment to Assist with Navigation Skills in the Blind

Áudio-baseado Simulator Ambiente (ABES) é um software de ambiente virtual projetado para melhorar as habilidades de navegação do mundo real na cego.

Desenvolvimento de um ambiente de jogo de áudio baseada Virtual para ajudar com habilidades de navegação em Cegos

Audio-based Environment Simulator (AbES) is virtual environment software designed to improve real world navigation skills in the blind. Using only audio ...

development-an-audio-based-virtual-gaming-environment-to-assist-with

Research

JoVE Journal

Medicine

14.2K visualizações.  Massachusetts Eye and Ear Infirmary, Harvard Medical School. Áudio-baseado Simulator Ambiente (ABES) é um software de ambiente virtual projetado para melhorar as habilidades de navegação do mundo real na cego.