Los autores desean agradecer a Rabih Dow, Rajagopal Padma, Connors y Molly el personal del Centro de Carroll para Ciegos (Newton MA, EE.UU.) por su apoyo en la realización de esta investigación. Este trabajo fue apoyado por el NIH subvención / NEI: RO1 EY019924.

1. Demográficas de los participantes Se trata de un estudio en curso que recluta a ciegas participantes hombres y mujeres de edades comprendidas entre 18-45 años. Todos los participantes son legalmente ciegos de aparición temprana (documentada antes de la edad de 3) y de diferentes etiologías oculares. Ninguno de los participantes en el estudio estaban familiarizados con la distribución espacial del edificio físico de destino. 2. La preparación y familiarización con Abes <ol><li> Proporcionar al participante con los ojos vendados y auriculares para ser usado durante todo el proceso de formación y evaluación. Asegúrese de que la venda se coloca cómodamente sobre los ojos y los auriculares están correctamente orientados y colocados en los oídos (es decir, altavoz izquierdo sobre la oreja izquierda). </li><li> Participante Train cómo usar las teclas asignadas y la información representada por las señales de audio en Abes. Usando combinaciones de teclas específicas (Figura 3), que el usuario navega a través de y explora laconstruir virtualmente (que se mueve hacia delante, derecha o izquierda). Cada paso virtual se aproxima a un paso en la construcción física real. </li><li> Familiarizarse con las reglas y la premisa del juego. </li><li> Familiarícese con las señales de audio específicos para el juego (por ejemplo, el sonido de las joyas de la localización y el sonido de los monstruos cercanos). A medida que el usuario navega a través del edificio, la información espacial auditivo y contextual basada en que se adquiere de forma secuencial y se actualiza de forma dinámica. La información espacial y de la situación se basa en las señales de sonido espacializado icónicas y siempre después de cada paso que se da. La orientación se basa en las partidas cardinales (por ejemplo, &quot;norte&quot; o &quot;este&quot;) y el texto a través del habla (TTS) se utiliza para proporcionar más información sobre la ubicación actual del usuario, orientación y sentido (por ejemplo, &quot;usted está en el corredor de la primera piso, mirando hacia el oeste &quot;), así como la identidad de los objetos y obstáculos en su camino (por ejemplo,&quot; se trata de una puerta &quot;). Indicaciones de distancia se otorgará en base on modulando la intensidad del sonido. La localización espacial de los sonidos se actualiza para coincidir partida egocéntrico del usuario. Esencialmente, el software está diseñado para reproducir un archivo de audio apropiada como una función de la ubicación y egocéntrico partida del usuario y realiza un seguimiento de la posición del usuario a medida que avanzan a través del ambiente. Por ejemplo, si una puerta está situado en el lado derecho de la persona, el golpeteo se oye en el oído derecho del usuario (es decir, el software juega un archivo de audio de un sonido de golpeteo en el canal derecho). Si la persona que ahora se da la vuelta 180 grados para que la puerta se encuentra ahora mismo en su lado izquierdo, el mismo sonido golpeando se escucha ahora en el canal izquierdo (es decir, el software juega un archivo de audio de un sonido tocando en el canal izquierdo). Finalmente, si el usuario se enfrenta a la puerta, el mismo sonido golpeando se oye en ambos oídos por igual. Al mantener un registro de las partidas egocéntrico del usuario, el software puede reproducir los sonidos apropiados espaciales localizadas que identificanla presencia y localización de objetos y el seguimiento de estos cambios como el usuario se mueve a través del entorno virtual. Véase la Figura 4. </li></ol> 3. Entrenamiento y Juego con Abes (3 sesiones con una duración de 30 minutos para un total de 1,5 horas) <ol><li> Permitir juego libre jugar y observar las dificultades y desafíos (por ejemplo el uso de combinaciones de teclas, las señales de audio, las zonas de difícil navegación). El refuerzo positivo y aclaraciones se encuentran al final de cada sesión de entrenamiento. </li><li> Rendimiento récord juego (por ejemplo, número, hora y lugar en que un participante encuentra una joya). </li></ol> 4. Evaluar el desempeño de tareas de navegación virtual <ol><li> Explique a los participantes los detalles de la prueba y proporcionar instrucciones sobre cómo llevar a cabo las tareas de navegación virtuales. El participante deberá completar 10 tareas predeterminadas de navegación presentados secuencialmente usando el software Abes (es decir, una vez que la participaciónpant completa con éxito la primera tarea, la computadora automáticamente volver a localizar el punto de partida de la siguiente tarea). </li><li> Informe a los participantes que tendrán un máximo de 6 minutos para completar cada tarea de navegación. </li><li> 10 rutas de navegación virtuales de dificultad comparable (es decir, la distancia recorrida y el número de vueltas) son elegidos sobre la base de emparejamientos predeterminados de arranque y parada 10 lugares (salas de IE). En concreto, el rango de pasos necesarios para navegar por la ruta de destino varió entre 25-35 pasos (en el entorno virtual) y se incorporan entre 3-4 vueltas de 90 grados. </li><li> Cargue los 10 pares de navegación en Abes para la presentación automática y captura de datos de rendimiento. </li><li> Las medidas de resultado se registra automáticamente con el software interno Abes. Las medidas de resultado incluyen: completar con éxito la tarea de navegación y el tiempo necesario para alcanzar el objetivo. Véase la Figura 5A. </li><li> Instrucciones de describing la ubicación de inicio y el punto de destino se proporcionan de forma automática por el software ABES en el inicio de cada tarea. El cronometraje comienza inmediatamente una vez que el sujeto toma su primer paso virtual desde la posición de inicio y termina una vez que llega a la ubicación de destino (menos tiempo tarda más de 6 min, para lo cual se anotó la carrera como incompleta, y la ruta de acceso siguiente se presentan). Los datos capturados se envía automáticamente a un archivo de texto y se abrió posteriormente en la base de datos / software estadístico para su posterior análisis. </li></ol> 5. Evaluar el desempeño de tareas físicas navegación <ol><li> Explique a los participantes los detalles de la prueba y proporcionar instrucciones sobre cómo llevar a cabo las tareas de navegación físicos. El participante deberá completar 10 tareas predeterminadas de navegación (presentados en orden codificado de la evaluación del desempeño virtual anterior) y bajo la supervisión de un investigador experimentado. </li><li> Informe a los participantes que tendrán un maximínimo de 6 minutos para completar cada tarea de navegación. Para los fines de la física tarea de navegación, el participante puede usar su bastón blanco para soporte de movilidad. </li><li> 10 rutas de navegación físicos son elegidos en base a pares predeterminados de inicio y 10 lugares de parada (es decir, salas) de dificultad comparable (es decir, la distancia recorrida y el número de vueltas). </li><li> Investigador prepara cronómetro y el sujetapapeles con la lista de tareas de navegación de puntuación manual de funcionamiento. </li><li> Las medidas de resultado se registraron manualmente por el investigador. Las medidas de resultado incluyen: completar con éxito la tarea de navegación y el tiempo necesario para alcanzar el objetivo. </li><li> &quot;Square-off&quot; del participante (es decir, posición del participante con la puerta de la ubicación inicial detrás de ellos). Instrucciones que describen la posición de partida y el punto de destino se proporcionan por el investigador en el inicio de cada tarea. El cronometraje comienza inmediatamente una vez que el sujeto takes el primer paso físico de la ubicación inicial y termina cuando el participante informa verbalmente llegar a su destino (a menos tiempo tarda más de 6 minutos, para el que se anotó la carrera como una incompleta y la ruta siguiente se presenta). Los datos capturados se registra manualmente y posteriormente transferidos a la base de datos / software estadístico para el análisis adicional. Véase la Figura 5B. </li></ol> 6. Evaluar la gota Física de Trabajo de Desempeño <ol><li> Explique a los participantes los detalles de la prueba y proporcionar instrucciones sobre cómo llevar a cabo la caída física de las tareas de navegación. El participante deberá completar 5 tareas de navegación con los objetivos de salir del edificio utilizando la ruta más corta posible y bajo la supervisión de un investigador experimentado. </li><li> Informe a los participantes que tendrán un máximo de 6 minutos para completar cada tarea de navegación. Para los fines de la gota física de tarea de navegación, el participante puedea usar su bastón blanco para apoyo a la movilidad. </li><li> 5 predeterminadas ubicaciones físicas de partida se utiliza de tal manera que 3 vías de salida de diferentes longitudes son posibles. </li><li> Investigador prepara cronómetro y el sujetapapeles con la lista de tareas de navegación de puntuación manual de funcionamiento. </li><li> Las medidas de resultado se registraron manualmente por el investigador. Las medidas de resultado incluyen: completar con éxito la tarea de navegación y el tiempo necesario para alcanzar el objetivo. Por otra parte, los caminos están marcados de manera que el camino más corto es tomada dado el máximo de puntos (es decir, 3 por el camino más corto, 2 para el segundo, 1 para el más largo, y 0 para no ser capaz de completar la tarea). Véase la Figura 5C. </li><li> &quot;Square-off&quot; del participante en la primera posición de partida. Instrucciones que describen la ubicación de inicio se proporcionan por el investigador en el inicio de cada tarea. El cronometraje comienza inmediatamente una vez que el sujeto toma su primer paso físico de la ubicación inicial y finalcuando el participante informa verbalmente de llegar a la puerta de salida del edificio (a menos tiempo tarda más de 6 minutos, para el que se anotó la carrera como incompleto y la ubicación de inicio siguiente se presenta). Los datos capturados se registra manualmente y posteriormente transferidos a la base de datos / software estadístico para el análisis adicional. </li></ol>

<ol>
	<li>Loomis, J. M., Klatzky, R. L., Golledge, R. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Navigating+without+vision:+basic+and+applied+research.">Navigating without vision: basic and applied research.</a> Optom. Vis. Sci. 78, 282-289 (2001).</li><li>Siegel, A. W., White, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+development+of+spatial+representations+of+large-scale+environments.">The development of spatial representations of large-scale environments.</a> Adv. Child Dev. Behav. 10, 9-55 (1975).</li><li>Strelow, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=What+is+needed+for+a+theory+of+mobility:+direct+perception+and+cognitive+maps--lessons+from+the+blind.">What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind.</a> Psychol. Rev. 92, 226-248 (1985).</li><li>Giudice, N. A., Bakdash, J. Z., Legge, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Wayfinding+with+words:+spatial+learning+and+navigation+using+dynamically+updated+verbal+descriptions.">Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions.</a> Psychol. Res. 71, 347-358 (2007).</li><li>Ashmead, D. H., Hill, E. W., Talor, C. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Obstacle+perception+by+congenitally+blind+children.">Obstacle perception by congenitally blind children.</a> Percept. Psychophys. 46, 425-433 (1989).</li><li>Dede, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Immersive+interfaces+for+engagement+and+learning.">Immersive interfaces for engagement and learning.</a> Science. 323, 66-69 (2009).</li><li>Bavelier, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Brains+on+video+games.">Brains on video games.</a> Nat. Rev. Neurosci. 12, 763-768 (2011).</li><li>Bavelier, D., Green, C. S., Dye, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Children,+wired:+for+better+and+for+worse.">Children, wired: for better and for worse.</a> Neuron. 67, 692-701 (2010).</li><li>Lange, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Designing+informed+game-based+rehabilitation+tasks+leveraging+advances+in+virtual+reality.">Designing informed game-based rehabilitation tasks leveraging advances in virtual reality.</a> Disabil. Rehabil. , (2012).</li><li>Merabet, L., S&#225;nchez, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Audio-based+Navigation+Using+Virtual+Environments:+Combining+Technology+and+Neuroscience.">Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience.</a> AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).</li><li>Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Assessment+of+Indoor+Route-finding+Technology+for+People+with+Visual+Impairment.">Assessment of Indoor Route-finding Technology for People with Visual Impairment.</a> J. Vis. Impair. Blind. 104, 135-147 (2010).</li><li>Lahav, O., Schloerb, D. W., Srinivasan, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Newly+blind+persons+using+virtual+environment+system+in+a+traditional+orientation+and+mobility+rehabilitation+program:+a+case+study.">Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study.</a> Disabil. Rehabil. Assist Technol. , (2011).</li></ol>

Los autores declaran no tener ningún conflicto de intereses.

Se describe un sistema interactivo de audio simulador basado en entorno virtual diseñado para mejorar el conocimiento general y habilidades de navegación espacial en los ciegos. Se demuestra que la interacción con Abes proporciona indicaciones precisas que describen las relaciones espaciales entre los objetos y el diseño general del entorno de destino. Los usuarios ciegos pueden generar mapas precisos espaciales cognitivos basados ​​en esta información auditiva y mediante la interacción con el entorno virtual ...

Encontrar el propio camino en un entorno desconocido se presenta como un reto importante para las personas ciegas. Navegando con éxito requiere una comprensión de las relaciones espaciales que existen entre uno mismo y los objetos en el entorno 1,2. La representación mental que describe el espacio circundante se conoce como un mapa cognitivo espacial 3. Las personas ciegas pueden recopilar información espacial relevante con respecto a su entorno a través de otros canales sensoriales (como el oído) que permitan la generación de un mapa espacial cognitivo precisa a los efectos de las tareas reales mundiales de navegación 4,5. Considerable interés ha surgido en relación con el potencial educativo de los entornos virtuales y los juegos de acción de vídeo como un medio para aprender y dominar las habilidades de 6-9. De hecho, muchas estrategias y enfoques han sido desarrollados para los ciegos para este propósito (ver 4,10-12). Hemos desarrollado Audio entorno basado Simulator (Abes), una centrada en el usuario de audio basado en entorno virtual que permite la navegación simulada y la exploración física de un edificio existente. A partir de originales de planos arquitectónicos, una representación virtual de un moderno edificio de dos pisos (ubicado en el Centro de Carroll para Ciegos; Newton, MA) se ha generado con el software Abes (Figuras 1A y B). Abes incorpora una metáfora juego de acción con una premisa diseñado para promover la exploración completa del espacio del edificio. Usando simples pulsaciones de teclas y las señales sonoras espacializadas, los usuarios navegar y explorar todo el edificio para recoger el mayor número posible de las joyas ocultas en distintas habitaciones. Los usuarios deben evitar los monstruos errantes que pueden llevarlos a esconderse en otro lugar en el edificio (Figura 1 C). Se demuestra que la interacción con Abes permite a un usuario ciego para generar un preciso mapa espacial cognitivo de un edificio de destino en función de la información auditiva acquired en el contexto de una metáfora juego de acción. Esto es confirmado por una serie de pruebas posteriores a la formación de rendimiento conductual diseñados para evaluar la transferencia de la información adquirida espacial de un entorno virtual a una tarea interior del mundo real y a gran escala de navegación (véase la figura 2 para el diseño general del estudio). Nuestros resultados muestran que los usuarios ciegos son capaces de navegar con éxito a través de un edificio para el que fueron previamente desconocido, a pesar del hecho de que en ningún momento se les informó del propósito general del estudio, ni se les instruyó para recordar la distribución espacial de la construcción durante el juego.

<table border="1"><tbody><tr><td> Nombre del Equipo </td><th > Comentarios </td></tr><tr><td> Ordenador portátil </td><td > Portátil utiliza exclusivamente para participantes de la capacitación y los datos de recolección </td></tr><tr><td> Teléfonos Stereo Head (diseño circumaural cerrado completamente) </td><td > Usado por todos los participantes durante el entrenamiento </td></tr><tr><td> Con los ojos vendados </td><td > Usado por todos los participantes durante el entrenamiento y las pruebas </td></tr></tbody></table>

development of an audio-based virtual gaming environment to assist with navigation skills in the blind

Audio basado en simulador para el Medio Ambiente (ABES) es un software de entorno virtual diseñado para mejorar las habilidades reales de navegación mundiales en los ciegos. Usando sólo las señales de audio y juego basadas en el contexto de una metáfora del juego de vídeo, los usuarios recopilar la información pertinente en cuanto a distribución espacial de un edificio. Esto permite al usuario desarrollar un mapa espacial precisa cognitivo de un gran escala espacio tridimensional que puede ser manipulado a efectos de una tarea de navegación interior real. Tras el juego, los participantes son evaluados en su capacidad para navegar dentro del edificio objetivo físico representado en el juego. Los resultados preliminares sugieren que los primeros usuarios ciegos fueron capaces de asimilar la información pertinente en relación con la disposición espacial de un edificio previamente desconocido como un índice por su desempeño en una serie de tareas de navegación. Estas tareas incluyen la búsqueda de camino a través del edificio virtual y física, así como una serie de gota de tareas. Nos parece que la inmersióny la naturaleza altamente interactiva del software Abes parece involucrar mucho a los usuarios ciegos a explorar activamente el entorno virtual. Las aplicaciones de este enfoque puede extenderse a las grandes poblaciones de personas con discapacidad visual.

Los resultados de los tres primeros participantes ciegos (con edades comprendidas entre 19 y 22 años) se muestran (ver Tabla 1 para las características de los participantes). En resumen, los tres participantes mostraron un alto nivel de éxito en las tres tareas de navegación siguiendo el juego con el software Abes. Esto fue confirmado por los resultados de rendimiento (media del grupo e individual) en las tres tareas conductuales (ver Figura 6). El rendimiento porcentaje correcto pa...

Watch this Scientific Journal Video about Development of an Audio-based Virtual Gaming Environment to Assist with Navigation Skills in the Blind at JoVE.com

Development of an Audio-based Virtual Gaming Environment to Assist with Navigation Skills in the Blind

Audio basado en simulador para el Medio Ambiente (ABES) es un software de entorno virtual diseñado para mejorar las habilidades reales de navegación mundiales en los ciegos.

Desarrollo de un entorno de juego basado en audio virtual para ayudar con habilidades de navegación en la ciega

Audio-based Environment Simulator (AbES) is virtual environment software designed to improve real world navigation skills in the blind. Using only audio ...

development-an-audio-based-virtual-gaming-environment-to-assist-with

Research

JoVE Journal

Medicine

14.2K vistas.  Massachusetts Eye and Ear Infirmary, Harvard Medical School. Audio basado en simulador para el Medio Ambiente (ABES) es un software de entorno virtual diseñado para mejorar las habilidades reales de navegación mundiales en los ciegos.