作者想感谢的Rabih陶氏，帕德玛拉贾格帕兰，莫莉·康纳斯和盲人卡罗尔中心的工作人员（牛顿MA，USA）的支持，在开展这项研究。这项工作是由美国国立卫生研究院/ NEI补助金：RO1 EY019924支持。

1。参与者的人口统计学这是一个持续的研究，招募盲目的年龄在18-45岁之间的男性和女性参加。所有参与者在法律上是盲目的早期发病（记录之前于3岁以下）和不同的眼部病因。这项研究的参与者没有以前熟悉的目标物理建筑的空间布局。 2。准备和熟悉ABES <ol><li>提供一个眼罩和耳机佩戴在整个培训和考核过程的参与者。确保眼罩放置在眼睛舒适和耳机的方向正确，定位在耳朵（ 即超过左耳左扬声器）。 </li><li>火车参与者如何使用分配的键的信息所表示的音频提示在ABES。使用特定的按键组合（ 图3），在用户浏览，并探讨了建筑几乎（前进，向左或向右）。每一个虚步，接近真实的物理建筑中的一个步骤。 </li><li>熟悉的游戏规则和前提。 </li><li>熟悉游戏的声音提示（ 例如声音定位的珠宝和附近的怪物的声音）。当用户浏览通过建设，收购顺序听觉和上下文的空间信息，并动态更新。空间和态势信息的基础上标志性的空间化的声音提示后采取的每一步提供。方向是基于对大是大非的指南针标题（ 例如 “北”或“东进”）和文本通过语音（TTS）是用于提供进一步的信息对于用户的当前位置，方向和标题（ 例如：“你是在楼道里的第一个楼，面向西部大开发“），以及在他们的路径（ 例如：”这是一门“）的物体和障碍物的身份。距离线索提供基于ØŇ调节声音强度。声音的空间定位进行更新以匹配用户的以自我为中心的标题。本质上，该软件被设计作为一个功能的用户的位置和自我中心标题发挥适当的音频文件，并跟踪用户的位置，因为他们通过移动环境。例如，如果一个门位于人的右侧上，在用户的右耳听到的敲击声（即软件播放的音频文件的爆震在右声道的声音）。如果现在的人打开约180度，使同门现在位于其左侧，同样的敲击声现在听到在左声道（ 即软件播放的音频文件的爆震在左声道的声音）。最后，如​​果用户所面临的门，也同样在两个耳朵听到相同的敲击声。通过跟踪用户的以自我为中心的标题，该软件可以发挥适当的空间本地化的声音识别的存在和位置的对象和跟踪这些变化作为用户通过虚拟环境中移动。参见图4。 </li></ol> 3。训练和游戏ABES（3次，每次持续30分钟共1.5小时） <ol><li>允许免费玩游戏，并注意任何困难和挑战（ 例如，使用击键，声音提示，困难的导航区域）。正强化和澄清的每一堂训练课结束时。 </li><li>记录游戏的性能（ 例如数量，时间和地点，参与者发现的一颗明珠）。 </li></ol> 4。评估实景导航任务绩效<ol><li>说明参与者的详细的测试和提供如何完成虚拟导航任务的说明。与会者将完成10个预定的导航任务，提出了按顺序使用的的ABES软件（ 即一次参与喘气成功地完成了第一个任务，计算机将自动重新定位他们的出发点以下任务）。 </li><li>通知参与者，他们将有最多6分钟完成每个导航任务。 </li><li> 10个虚拟的导航路径的选择是基于比较的困难（ 即行驶距离和圈数）10开始预定配对的停止位置（ 即房间）。具体而言，导航目标路径所需的步骤的范围介于25-35步骤（在虚拟环境中）和90度的3-4匝之间成立。 </li><li>将10导航对ABES自动化的性能介绍和数据采集。 </li><li>测试结果是使用ABES的内部软件自动记录。成果的措施包括：成功地完成导航任务和达到目标的时间。请参阅图5A。 </li><li>指令Describing的起始位置和目标中所提供由ABES软件自动在每个任务的开始。一旦受他们的第一个虚步，从起始位置和结束一次到达目标位置（除非时间需要更长的时间超过6分钟，运行取得了不完整的下一个路径），立即开始计时。捕获到的数据自动传送到一个​​文本文件，并在随后打开数据库/统计软件进行进一步的分析。 </li></ol> 5。评估身体导航任务性能<ol><li>说明的测试参与者的详细信息，并提供有关如何完成的物理导航任务的说明。与会者将完成10个预定的导航任务（加扰为了从以前的虚拟性能评估）和一个经验丰富的调查员的监督下。 </li><li>通知的参与者，他们将有一个马克西妈妈的6分钟完成每个导航任务。的物理导航任务的目的，参与者可以使用他们的白甘蔗的流动性支持。 </li><li> 10个物理的导航路径的选择是基于10的开始和停止位置（ 即室）可比的困难（ 即行驶距离和圈数）在预定的配对。 </li><li>调查准备与人工阅卷性能的导航任务列表的秒表和剪贴板。 </li><li>由调查结果的措施手工记录。成果的措施包括：成功地完成导航任务和达到目标的时间。 </li><li> “方”的参与者（ 即位置的门在他们身后的起始位置）的参与者。由研究者中所提供的每个任务的开始描述的起始位置和目标的指令。计时开始后立即受德上课他们的第一物理步骤从起始位置和结束时，参与者口头报告到达目的地（除非时间需要更长的时间超过6分钟，该运行得分作为一个完整，并提出下一路径），。捕获的数据是手工记录，然后传输到数据库/统计软件进行进一步的分析。参见图5B。 </li></ol> 6。任务绩效评估身体落<ol><li>说明的测试参与者的详细信息，并提供有关如何完成导航任务的物理落的说明。与退出的建设的目标，用最短的可能的途径和经验丰富的调查员的监督下，参加者将完成5个导航任务。 </li><li>通知参与者，他们将有最多6分钟完成每个导航任务。对于导航任务的物理落的目的，允许参与者使用白手杖的流动性支持。 </li><li> 5预定的物理起始位置用于使得3退出路径不同的长度是可能的。 </li><li>调查准备与人工阅卷性能的导航任务列表的秒表和剪贴板。 </li><li>由调查结果的措施手工记录。成果的措施包括：成功地完成导航任务和达到目标的时间。此外，路径取得了最高点的最短路径的最短路径（ 即 3个，2代表第二个，最长的1和0为不能够完成的任务）。参见图5C。 </li><li> “广场”的参与者在第一的位置。由研究者在开始每个任务中所提供的描述的开始位置的指令。一旦受他们的第一个步骤，从起始位置和结束，立即开始计时当参与者口头报告到达出口门的建筑（，除非时间需要更长的时间超过6分钟，运行取得了不完整，下一个起始位置）。捕获的数据是手工记录，然后传输到数据库/统计软件进行进一步的分析。 </li></ol>

<ol>
	<li>Loomis, J. M., Klatzky, R. L., Golledge, R. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Navigating+without+vision:+basic+and+applied+research.">Navigating without vision: basic and applied research.</a> Optom. Vis. Sci. 78, 282-289 (2001).</li><li>Siegel, A. W., White, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+development+of+spatial+representations+of+large-scale+environments.">The development of spatial representations of large-scale environments.</a> Adv. Child Dev. Behav. 10, 9-55 (1975).</li><li>Strelow, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=What+is+needed+for+a+theory+of+mobility:+direct+perception+and+cognitive+maps--lessons+from+the+blind.">What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind.</a> Psychol. Rev. 92, 226-248 (1985).</li><li>Giudice, N. A., Bakdash, J. Z., Legge, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Wayfinding+with+words:+spatial+learning+and+navigation+using+dynamically+updated+verbal+descriptions.">Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions.</a> Psychol. Res. 71, 347-358 (2007).</li><li>Ashmead, D. H., Hill, E. W., Talor, C. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Obstacle+perception+by+congenitally+blind+children.">Obstacle perception by congenitally blind children.</a> Percept. Psychophys. 46, 425-433 (1989).</li><li>Dede, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Immersive+interfaces+for+engagement+and+learning.">Immersive interfaces for engagement and learning.</a> Science. 323, 66-69 (2009).</li><li>Bavelier, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Brains+on+video+games.">Brains on video games.</a> Nat. Rev. Neurosci. 12, 763-768 (2011).</li><li>Bavelier, D., Green, C. S., Dye, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Children,+wired:+for+better+and+for+worse.">Children, wired: for better and for worse.</a> Neuron. 67, 692-701 (2010).</li><li>Lange, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Designing+informed+game-based+rehabilitation+tasks+leveraging+advances+in+virtual+reality.">Designing informed game-based rehabilitation tasks leveraging advances in virtual reality.</a> Disabil. Rehabil. , (2012).</li><li>Merabet, L., S&#225;nchez, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Audio-based+Navigation+Using+Virtual+Environments:+Combining+Technology+and+Neuroscience.">Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience.</a> AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).</li><li>Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Assessment+of+Indoor+Route-finding+Technology+for+People+with+Visual+Impairment.">Assessment of Indoor Route-finding Technology for People with Visual Impairment.</a> J. Vis. Impair. Blind. 104, 135-147 (2010).</li><li>Lahav, O., Schloerb, D. W., Srinivasan, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Newly+blind+persons+using+virtual+environment+system+in+a+traditional+orientation+and+mobility+rehabilitation+program:+a+case+study.">Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study.</a> Disabil. Rehabil. Assist Technol. , (2011).</li></ol>

作者宣称没有利益冲突。

我们描述一个互动的虚拟环境仿真，旨在改善空间意识和导航技术的盲目。我们表明，与ABES提供准确线索，描述对象之间的空间关系和整体布局的目标环境。盲人用户可以生成精确的空间认知地图，在此听觉信息和身临其境的虚拟环境的互动。此外，与ABES范围内的游戏比喻表明，空间认知结构，可以学到隐含因果互动的软件，而不是简单地通过。在这个初始阶段的研究表明，互动和身临其境的?...

在一个陌生的环境中找到自己的方式表现为盲人作为一个重大的挑战。导航成功，需要了解一个人的自我环境中的1,2和对象之间的空间关系存在。周围空间的心理表征，描述了被称为“空间认知地图3。盲人可以通过收集相关的空间信息，其周围的环境可以生成一个精确的空间认知地图的目的，现实世界中的导航任务4,5的其他感觉通道（如听觉）。 动作视频游戏作为一种手段，学习和掌握技能6-9虚拟环境和教育的潜力方面出现相当大的兴趣。事实上，许多策略和方法已经开发了用于此目的的盲人（4,10-12）。我们已经开发了奥迪基于邻环境模拟器（ABES），以用户为中心的基于音频的虚拟环境，允许现有的物理建筑为模拟导航和探索。利用原有的建筑平面布置图，一个虚拟的渲染一个现代化的两层楼的建筑（位于卡罗尔中心的盲人，牛顿，MA）生成的的ABES软件（ 图1A和B）。 ABES结合了动作游戏的比喻，促进全面探索的建筑空间设计的前提。使用简单的击键和空间化的声音提示，用户浏览和探索整个建筑隐藏在各个房间收集到最大数量的珠宝。用户必须避免巡回怪物，可以把他们带走，并隐藏在其他地方建设（ 图1C）。 我们表明，与ABES使盲人用户产生一个精确的空间认知地图，基于对听觉信息的目标楼宇cquired范围内的一款动作游戏的比喻。一系列培训后的行为表现的测试，目的是评估转移获得的空间信息从虚拟环境到一个真实的世界，大型室内导航任务（参见图2为总体研究设计）证实了这一点。我们的研究结果表明，盲人用户能够成功地驾驭整个建筑，他们以前不熟悉，尽管事实上，在任何时候他们的整体研究的目的，也没有通知他们的指示回忆的空间布局，建设边玩游戏。

<table border="1"><tbody><tr><td> 设备名称 </td><th >评论</td></tr><tr><td>笔记本电脑</td><td >专为笔记本电脑使用培训参与者和收集数据</td></tr><tr><td>立体声耳机（全封闭的耳罩设计） </td><td >所有参加者在训练中所穿</td></tr><tr><td>盲目的</td><td >所有参加者在训练和测试所穿</td></tr></tbody></table>

development of an audio-based virtual gaming environment to assist with navigation skills in the blind

基于音频的环境模拟器（ABES），是真正的全球导航能力，旨在提高在盲目的虚拟环境软件。用户只使用音频线索，并设置范围内的视频游戏比喻，收集相关的空间信息有关建筑物的布局。这允许用户制定了大规模的三维空间中，可以被操纵一个真正的室内导航任务为施行准确的空间认知的地图。游戏结束后，与会者评估他们的代表在游戏中的目标物理建筑内的导航能力。初步结果表明，早期盲人用户能够获得的空间布局，以前不熟悉的建筑被他们的表演了一系列的导航任务索引的相关信息。这些任务包括寻找路径，通过虚拟和物理的建筑，以及一系列任务落。我们发现，身临其境的高度交互性的的ABES软件的出现，极大地从事盲人用户，积极探索虚拟环境。这种方法的应用可以扩展到人口较多的视障人士。

从早期的盲目参与者（年龄介乎19至22岁）的结果显示参与者的特点（ 见表1）。总之，所有与会者表现出高层次的成功在所有这三个导航任务ABES软件与游戏。证实了这一点的表现的分数（组均值和个人）在所有三个行为的任务（ 见图6）。正确的比例表现为虚拟（平均90％），其次是物理的（平均88.7％）导航任务说明了一个高层次的成功和相当的性能，这两个任务（ <stro...

Watch this Scientific Journal Video about Development of an Audio-based Virtual Gaming Environment to Assist with Navigation Skills in the Blind at JoVE.com

Development of an Audio-based Virtual Gaming Environment to Assist with Navigation Skills in the Blind

基于音频的环境模拟器（ABES），是真正的全球导航能力，旨在提高在盲目的虚拟环境软件。

基于音频的虚拟游戏环境的发展，以帮助盲人的导航技巧

Audio-based Environment Simulator (AbES) is virtual environment software designed to improve real world navigation skills in the blind. Using only audio ...

development-an-audio-based-virtual-gaming-environment-to-assist-with

Research

JoVE Journal

Medicine

14.2K 次观看.  Massachusetts Eye and Ear Infirmary, Harvard Medical School. 基于音频的环境模拟器（ABES），是真正的全球导航能力，旨在提高在盲目的虚拟环境软件。