오디오 기반의 가상 게임 환경의 개발은 맹인의 탐색 기술을 지원하는

요약

오디오 기반의 환경 시뮬레이터 (AbES)는 맹인에서 현실 세계 탐색 능력을 향상하기위한 가상 환경 소프트웨어입니다.

초록

오디오 기반의 환경 시뮬레이터 (AbES)는 맹인에서 현실 세계 탐색 능력을 향상하기위한 가상 환경 소프트웨어입니다. 비디오 게임 은유의 컨텍스트 내에서만 오디오 기반 신호 및 설정을 사용하여 사용자는 건물의 레이아웃에 대한 관련 공간 정보를 수집합니다. 이는 사용자가 실제 실내 탐색 작업의 목적을 위해 조작 할 수있는 큰 규모의 3 차원 공간의 정확한 공간인지지도를 개발 할 수 있습니다. 게임 플레이 후, 참가자들은 다음 게임에서 표현 대상 물리적 건물 내에 이동할 수있는 능력을 평가합니다. 예비 결과는 초기 맹인 사용자가 탐색 작업 일련의에서의 실적에 의해 색인으로 이전에 익숙하지 않은 건물의 공간 배치에 대한 관련 정보를 취득 할 수있었습니다하시기 바랍니다. 이러한 작업은 가상 및 실제 건물을 찾는 경로뿐만 아니라 작업에서 드롭 일련의 포함되어 있습니다. 우리는 찾아 그 몰입그리고 AbES 소프트웨어의 고도로 대화 형 특성은 크게 적극적으로 가상 환경을 둘러 시각 장애인 사용자를 참여하기 위해 나타납니다. 이 방법의 응용 프로그램은 시각 장애인 개인의 큰 인구를 연장 할 수 있습니다.

서문

익숙하지 않은 환경에서 사람의 길을 찾는 것은 맹인을위한 중요한 과제로 제시합니다. 성공적으로 탐색하는 것은 사람의 자신과 환경 ^1,2의 객체 사이에 존재하는 공간 관계의 이해를 필요로합니다. 공간을 둘러싼 설명 정신 표현은 공간인지지도 ^3로 언급됩니다. 시각 장애인 개인은 ^4,5 실제 탐색 작업의 목적에 대한 정확한 공간인지지도의 생성을 허용하는 다른 감각 채널 (예 : 청각 등)을 통해 주변 환경에 대한 관련 공간 정보를 수집 할 수 있습니다.

상당한 관심 배우고 기술에게 ^6-9을 습득 할 수있는 수단으로 가상 환경과 액션 비디오 게임의 교육적인 가능성에 대해이 생겨났다. 사실, 많은 전략과 방법이 목적 ^{(4,10-12 참조)} 맹인을 위해 개발되었습니다. 우리는 아우디를 개발O-기반의 환경 시뮬레이터 (AbES), 기존의 물리적 인 건물의 시뮬레이션 탐색 및 탐구 기능을 제공하는 사용자 중심의 음성 기반 가상 환경을 제공합니다. AbES 소프트웨어 (그림 1A 및 B)로 생성 된, 원래의 건축 바닥 계획, 현대적인 2 층 건물 (뉴턴, MA 맹인을위한 캐롤 센터에 위치)의 가상 렌더링에서 그리기. AbES은 건물 공간의 전체 탐험을 촉진하기위한 전제있는 액션 게임 은유를 포함한다. 간단한 키 스트로크와 spatialized 사운드 신호를 사용하여 사용자가 탐색하고 다양한 객실에 숨겨진 보석의 최대 수를 수집하기 위해 건물 전체를 탐험 해보세요. 사용자들을 데려와 다른 건물 (그림 1C)에서를 숨길 수 있습니다 괴물을 roving 않도록해야합니다.

우리는 AbES와 상호 작용하는 것은 맹인 사용자가 청각 정보를 기반으로 대상 건물의 정확한 공간인지지도를 생성 할 수 있다는 것을 입증액션 게임 은유의 컨텍스트 내에서 cquired. 이것은 실제 세계와 대규모 실내 탐색 작업 (전체 학습 설계를위한 그림 2 참조)에 가상 환경에서 획득 한 공간 정보의 전송을 평가하기위한 사후 교육 행동 성능 테스트 일련의에 의해 확인된다. 우리의 결과는 결코 그 연구의 전반적인 목적에 대한 정보를이었다하거나, 사람들이의 공간 배치를 기억 지시 있다는 사실에도 불구하고, 맹인 사용자가 성공적으로는 이전에 익숙했다하는 건물 탐색 할 수 있는지 보여 게임을 재생하는 동안 구축.

프로토콜

1. 참가자 인구 통계

이 18~45년 세 사이의 맹인 남성과 여성 참가자를 모집 지속적 연구입니다. 모든 참가자들은 초기 발병 (사전 3 세까지의 문서화)와 안구 etiologies를 변화의 법적으로 장님입니다. 연구 참가자 중 누구도 대상 물리적 건물의 공간 배치와 이전에 알고 없었다.

2. AbES로 준비하고 익숙해

1. 교육 및 평가 과정 전반에 걸쳐 착용 할 수있는 눈가리개와 헤드폰으로 참가자를 제공합니다. 눈가리개가 편안하게 눈 위에 위치되어 있으며 헤드폰이 제대로 지향과 귀 (왼쪽 귀에 이상 즉, 왼쪽 스피커) 위에 위치되어 있는지 확인합니다.
2. 방법을 지정 키와 AbES의 오디오 신​​호에 의해 표현 된 정보를 사용하는 열차 참가자. 특정 키 스트로크 (그림 3)을 사용하여, 사용자가를 통해 탐색과 탐구(오른쪽 또는 왼쪽, 전진) 거의 구축. 각 가상 단계는 실제 물리적 인 건물의 한 단계를 대략적으로.
3. 게임의 규칙과 전제로 지도록합니다.
4. 게임 플레이에 특정 오디오 신호 (위치 보석 및 인근 괴물의 소리 예 소리)로 지도록합니다. 사용자가 건물을 통해 탐색으로, 청각 기반과 콘텐츠 공간 정보는 순차적으로 취득 및 동적 업데이트됩니다. 공간 및 상황 정보를 가져 각 단계 후에 제공 상징적과 spatialized 사운드 신호를 기준으로합니다. 오리엔테이션은 추기경 나침반 제목 (예 : "북쪽"또는 "동쪽")와 연설을 통해 텍스트 (TTS) 사용자의 현재 위치, 방향에 관한하고 (예를 들면 "당신이 먼저 복도에 제목 추가 정보를 제공하는 데 사용됩니다에 기초 서쪽으로 직면 층 ")뿐만 아니라 개체 및 그 경로에 장애물 (예 :의 신원"이 문이다 "). 거리 신호는 O 기반으로 제공됩니다N 변조 사운드 강도. 소리의 공간 국산화는 사용자의 자기 중심적 제목과 일치하도록 업데이트됩니다. 기본적으로, 소프트웨어는 사용자의 위치와 제목 자기 중심의 기능으로 적절한 오디오 파일을 재생 할 수 있도록 설계가 환경을 통해 이동 사용자의 위치를​​ 추적하고 있습니다. 문 사람의 오른쪽에있는 경우 예를 들어, 두드리는 소리 (소프트웨어가 오른쪽 채널에 노크하는 소리의 오디오 파일을 재생 IE) 사용자의 오른쪽 귀에서 들었입니다. 사람이 지금 같은 문이 이제 자신의 왼쪽에 자리 잡고 있습니다 있도록 180도 뒤돌아 경우 동일한 두드리는 소리는 이제 왼쪽 채널 (즉, 소프트웨어가 왼쪽 채널에 노크하는 소리의 오디오 파일을 재생)에 들어 있습니다. 사용자가 문을 직면하는 경우 마지막으로, 같은 노크 소리가 둘 다 귀를 들었합니다. 사용자의 자기 중심적 제목을 추적함으로써, 소프트웨어를 식별 적절한 공간 지역화 된 사운드를 재생할 수 있습니다존재 및 위치 개체와 사용자가 이러한 변경 사항을 추적은 가상 환경을 통해 이동합니다. 그림 4를 참조하십시오.

3. 교육 및 AbES있는 게임 플레이 (3 세션 1.5 시간의 총에 대한 각각의 지속 30 분)

1. 무료 게임 어떤 어려움과 도전을 (키 스트로크의 예를 사용, 오디오 신호, 어려운 탐색 영역) 재생 및 메모 할 수 있습니다. 긍정적 인 강화 및 설명은 각 교육 세션의 끝 부분에 제공됩니다.
2. 기록 게임 성능 (예 : 참가자가 보석을 발견 번호, 시간 및 장소).

4. 가상 탐색 작업 성능을 평가

1. 참가자 테스트의 세부 사항을 설명하고 가상 탐색 작업을 완료하는 방법에 대한 지침을 제공합니다. 참가자는 순차적으로 partici되면 AbES 소프트웨어 (예를 사용하여 표시 10 미리 탐색 작업을 완료합니다바지는 첫 번째 작업을 성공적으로 완료, 컴퓨터가 자동으로) 다음 작업의 시작 지점에 다시 찾습니다.
2. 그들은 각 탐색 작업을 완료 할 6 분의 최대를 가질 것이라고 참가자를 알리십시오.
3. 비교 어려움 (예 : 거리 여행과 회전 수) 10 가상 탐색 경로는 10 시작의 미리 pairings에 따라 선택하고 (예 : 실) 위치를 중지합니다. 특히, 대상 경로를 탐색하는 데 필요한 단계의 범위는 25-35 단계 (가상 환경) 및 90도 3-4 회전 사이의 통합 사이에 나와 있습니다.
4. 자동 프리젠 테이션 및 성능 데이터 캡처에 대한 AbES으로 10 탐색 쌍을로드합니다.
5. 결과 조치가 자동으로 AbES '내부 소프트웨어를 사용하여 기록됩니다. 결과 조치는 다음과 같습니다 탐색 작업과 목표를 도달하기 이동 시간을 성공적으로 완료합니다. 그림 5A를 참조하십시오.
6. 지침 개발시작 위치와 목적지를 escribing하는 것은 각 작업의 시작 AbES 소프트웨어에 의해 자동으로 제공됩니다. 타이밍 한번 피사체가 시작 위치에서 처음으로 가상 단계를 소요되면 (시간이 실행​​이 불완전하고 다음 경로가 표시되기 때문에 점수는되는 6 분, 이상 소요하지 않는 한) 대상 위치에 도착 끝나는 즉시 시작됩니다. 캡처 된 데이터는 자동으로 텍스트 파일로 전송 및 데이터베이스 / 추가 분석을 위해 통계 소프트웨어의 이후 열립니다.

5. 물리적 탐색 작업 성능을 평가

1. 참가자 테스트의 세부 사항을 설명하고 실제 탐색 작업을 완료하는 방법에 대한 지침을 제공합니다. 참가자는 10 미리 탐색 작업 (이전 가상 성능 평가에서 스크램블 순서로 표시)과 경험이 풍부한 수사관의 감독하에를 완료합니다.
2. 그들은 맥시가 될 참가자에게 알리6 분의 엄마는 각 탐색 작업을 완료합니다. 실제 탐색 작업의 목적은 참가자가 이동성 지원을 위해 백색 지팡이를 사용할 수 있습니다.
3. 10 물리적 탐색 경로는 비교 어려움의 10 시작과 정지 ​​위치 (예 : 실) (즉, 거리 여행과 회전 수)의 미리 pairings에 따라 선택됩니다.
4. 탐정은 스톱워치와 성능의 수동 채점을위한 탐색 작업 목록 클립 보드를 준비합니다.
5. 결과 조치는 수동으로 탐정에 의해 기록됩니다. 결과 조치는 다음과 같습니다 탐색 작업과 목표를 도달하기 이동 시간을 성공적으로 완료합니다.
6. "광장 오프"참가자 (즉, 위치 그 뒤에 시작 위치의 문이있는 참가자). 시작 위치와 목적지를 설명하는 지침은 각 작업의 시작에서 수사관에 의해 제공됩니다. 타이밍 한번 즉시 대상 얘기가 시작참가자가 구두 (시간이 실행​​이 불완전하고 다음 경로가 표시되기 때문에 점수는되는 6 분, 이상 소요하지 않는 한) 목적지에 도착보고 때 에스 시작 위치에서 자신의 첫 번째 물리적 단계하고 끝납니다. 캡처 된 데이터를 수동으로 기록하고 이후 데이터베이스 / 추가 분석을 위해 통계 소프트웨어에 전송됩니다. 그림 5B를 참조하십시오.

6. 작업 성능에서 물리적 드롭을 평가

1. 참가자 테스트의 세부 사항을 설명 및 탐색 작업에서 물리적 드롭을 완료하는 방법에 대한 지침을 제공합니다. 참가자는 가능한 가장 짧은 경로를 사용하여 건물을 종료의 목표로하고 경험이 풍부한 수사관의 감독하에 다섯 탐색 작업을 완료합니다.
2. 그들은 각 탐색 작업을 완료 할 6 분의 최대를 가질 것이라고 참가자를 알리십시오. 탐색 작업에서 실제 드롭의 목적은 참가자가 허용됩니다이동성 지원을위한 자신의 백색 지팡이를 사용합니다.
3. 5 미리 물리적 시작 위치는 다른 길이 3 출구 경로가 가능합니다 있도록하는 데 사용됩니다.
4. 탐정은 스톱워치와 성능의 수동 채점을위한 탐색 작업 목록 클립 보드를 준비합니다.
5. 결과 조치는 수동으로 탐정에 의해 기록됩니다. 결과 조치는 다음과 같습니다 탐색 작업과 목표를 도달하기 이동 시간을 성공적으로 완료합니다. 또한, 경로는 촬영 최단 경로가 최대 포인트 (최단 경로 즉, 3 번째 2, 작업을 완료 할 수 없었던 가장 긴 1, 0)을 부여하는 등 득점 있습니다. 그림 5C를 참조하십시오.
6. 처음 시작 위치에서 "스퀘어 오프 '참가자. 시작 위치를 설명하는 지침은 각 작업의 시작에서 수사관에 의해 제공됩니다. 타이밍 한번 피사체가 시작 위치에서 자신의 첫 번째 물리적 단계를 소요 종료 즉시 시작참가자는 구두 (시간이 실행​​이 불완전으로 채점되며 다음 시작 위치가 제시하는 6 분, 이상 소요하지 않는 한) 건물의 출구 문에 도착보고합니다. 때 캡처 된 데이터를 수동으로 기록하고 이후 데이터베이스 / 추가 분석을 위해 통계 소프트웨어에 전송됩니다.

결과

세 이른 시각 장애인 참가자 (19, 22 세 사이)의 결과는 (참가자 특성을 표 1 참조) 표시됩니다. 요약하면, 세 참가자 AbES 소프트웨어와 게임 플레이에 따라 세 가지 탐색 작업에 성공의 높은 수준을 보여 주었다. 이것은 세 가지 행동 작업 (그림 6 참조) 성능 점수 (그룹 평균 및 개인)에 의해 확인되었다. 가상 (평균 : 90 %)에 대한 비율 올바른 성능을 다음 실제 (평균 : 88.7 %) 탐...

토론

우리는 맹인에서 일반 공간적 인식과 탐색 능력을 향상하기위한 대화 형 음성 기반 가상 환경 시뮬레이터를 설명합니다. 우리는 AbES과 상호 작용하는 개체와 대상 환경의 전반적인 레이아웃 사이의 공간 관계를 설명하는 정확한 신호를 제공하는 보여줍니다. 맹인 사용자는이 청각 정보와 몰입 가상 환경과 상호 작용에 의해 따라 정확한 공간인지지도를 생성 할 수 있습니다. 또한, 게임 은유의 ?...

자료

Name	Company	Catalog Number	Comments
장비의 이름	코멘트
노트북 컴퓨터	노트북은 교육 참가자와 데이터 수집 전용으로 사용
스테레오 헤드 폰 (완전 동봉 감싸는 디자인)	교육 기간 동안 모든 참가자가 착용
눈을 가리고	교육 및 시험 서비스 기간 동안 모든 참가자가 착용