Name: evaluating flight performance and eye movement patterns using virtual reality flight simulator
Uploaded: 2023-05-19T13:50:00
Description: Watch this Scientific Journal Video about Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator at JoVE.com

저자는 파일럿 참가자를 모집하는 데 도움을 준 Li Yan 씨에게 매우 감사하고 Bu Lingyun 씨의 그림 그리기 작업에 감사드립니다. 이 연구는 중국 국립자연과학재단(보조금 번호 T2192931, 72071185), 국가 뇌 프로젝트(보조금 번호 STI2030-주요 프로젝트2022ZD0208500), 인간 공학 국가 핵심 실험실 프로젝트(보조금 번호 SYFD062003), 인간 공학 국가 핵심 실험실 프로젝트(보조금 번호 6142222210201), 2022년 군사 병참 연구 보조금 및 공군 장비 종합 중점 프로젝트의 지원을 받았습니다. 연구(보조금 번호 KJ2022A000415).

여기에 설명된 모든 방법은 칭화대학교의 IRB(Institutional Review Board)의 승인을 받았으며 모든 참가자로부터 정보에 입각한 동의를 얻었습니다. 완료 후 모든 참가자에게는 $12(또는 동일한 가치의 선물)가 지급되었습니다.
1. 참가자 선정
<ol><li>G*Power 소프트웨어35 ( 재료 표 참조)를 사용한 전력 분석의 이전 연구에 따라 참가자를 모집?...

이번 연구는 VR 기반 비행 시뮬레이터에서 비행 경험이 있는 참가자가 비행 경험이 없는 참가자보다 비행 성능이 더 좋은지 평가했습니다. 더 중요한 것은 더 나은 비행 성능을 가진 참가자들에게서 더 최적화된 안구 운동 패턴을 찾을 수 있는지 여부를 평가했다는 것입니다. 그 결과 세 가지 주요 비행 QAR 지표인 착륙 전 피치 각도 1초, 기준선까지의 평균 거리, 기준선까지의 거리의 표준 편차에?...

유럽항공안전청(European Aviation Safety Agency, 2012)은 비행 시뮬레이터를 훈련 시설, 비행 및 항행 프로그램 트레이너, 비행 훈련 장비 및 완전한 비행 시뮬레이터로 분류합니다1. 현재까지 저수준 탁상 시스템부터 매우 복잡한 모션 기반 전체 비행 시뮬레이터에 이르기까지 다양한 비행 시뮬레이터를 교육에 사용할 수 있습니다2. 전통적인 시뮬레이터에는 비행 역학 모델, 시스템 시뮬레이션, 하드웨어 조종석, 외부 시각화 및 선택적 모션 시뮬레이션3이 포함됩니다.
이러한 전통적인 비행 시뮬레이터는 효과적인 비행 훈련 장비로서 몇 가지 장점이 있습니다. 그러나 각 시스템의 구동에는 상당한 전기 에너지가 필요하기 때문에 비용이 높고 환경 친화적이지 않으며, 특히 고온 및 고압의 유체 또는 기압이 필요한 전체 비행 시뮬레이터는 많은 전력을 소비하고 많은 소음을 발생시킵니다4.
그러나 간단한 데스크톱 시뮬레이터 시스템은 유연하고 저렴하며 전체 비행 시뮬레이터2보다 몰입감이 낮고 상호 작용이 적습니다. 따라서 데스크톱 시스템과 전체 비행 시뮬레이터의 장점(즉, 탁상용 시뮬레이션의 유연성과 전체 비행 시뮬레이터에 가까운 몰입 및 상호 작용 수준)을 결합한 새로운 비행 시뮬레이터를 개발하는 것이 필수적입니다.
컴퓨터 기술, 특히 가상 현실(VR) 기술의 발전으로 새로운 VR 기술을 기반으로 한 새로운 유형의 비행 시뮬레이터가 현실이 되고 있습니다. VR 기반 비행 시뮬레이터는 유연하고 휴대가 간편하며 비용이 저렴하며 기존 비행 시뮬레이터5보다 공간 요구 사항이 적습니다. 연구원들은 지난 20년 동안 VR 기술을 기반으로 비행 시뮬레이터를 만들었습니다 6,7,8,9,10,11; 그러나 이러한 VR 비행 시뮬레이터는 주로 비행 훈련을 위한 것이며 조종사 선택을 위한 것은 거의 없습니다. 그럼에도 불구하고 비용 절감과 기술 향상으로 VR 기반 시뮬레이터는 변화하고 있으며 개인 선택이 가능해지고 있습니다. 일부 연구에서는 다양한 영역에서 개인 선택을 위해 VR 기반 시뮬레이터를 사용했습니다: Schijven et al.12은 가상 현실 시뮬레이터를 사용하여 외과 수련의를 선발했습니다. Huang et al.13은 공군 조종사 모집을 위해 가상 현실 기술을 기반으로 한 심리학 선택 도구를 개발했습니다. 보이치에호프스키(Wojciechowski)와 보이토비츠(Wojtowicz, 14)는 VR 기술을 기반으로 무인항공기(UAV) 조종사로서 후보자의 능력을 평가했습니다. 조종사 선발이 항공 산업에 매우 중요하다는 점을 감안할 때, 대규모 조종사 선발은 시뮬레이터 비용과 휴대성 시뮬레이터 시스템의 수요에 취약하기 때문에 조종사 선발에 중점을 둔 새로운 VR 기반 비행 시뮬레이터 개발이 시급합니다.
눈의 움직임은 조종사의 수행에 대한 단서를 제공합니다. 다양한 연구에 따르면 눈 스캔 모드는 전문 조종사와 초보 조종사 간의 성능을 구별합니다. 전문가와 초보자의 스캐닝 패턴을 비교함으로써 전문가의 효율적이고 구조적인 안구 운동 행동과 초보자의 부적절한 스캐닝 방법을 구별할 수 있습니다. 여러 항공 연구에 따르면 조종사의 시력 스캔 전략은 전문 지식 수준과 밀접한 관련이 있습니다 15,16,17,18,19,20,21,22,23,24. Bellenkes et al.25에 따르면, 전문가들의 기구 고정 기간은 더 짧고, 기구에 대한 집착 빈도는 초보자보다 더 높다고 한다. Kasarskis et al.26은 전문 조종사가 초보자보다 더 많은 고정과 더 짧은 지속 시간을 결합한다는 것을 발견하고 전문 조종사가 초보자보다 더 나은 시각 모드를 가지고 있다고 제안했습니다. 또 다른 연구에서, Lorenz et al.27은 전문가들이 초보자보다 조종석 밖을 보는 데 더 많은 시간을 할애한다는 것을 발견했습니다. 이러한 결과는 신규 이민자를 선발하는 데 큰 실용적 가치가 있습니다.
비행 성능 평가는 조종사 선발에 대한 또 다른 중요한 요소입니다. 그러나 조종사 비행 성능 평가에는 상충되는 전문가 의견, 더 많은 선발 규범 및 통일된 선발 이론과 같은 문제가 존재합니다. 주행 분야에서, Horrey et al.28은 주행 성능을 평가하기 위해 다양한 실험 조건에 대해 중심선에서 차선 이탈의 절대 값을 비교했습니다. 항공 영역으로 돌아가서, QAR(Flight Quick Access Recorder)은비행 29 중 모든 종류의 조종사 조작 매개변수, 항공기 매개변수, 환경 및 경고 정보를 기록합니다. 보다 구체적으로, QAR 지시자로서, 피치 각도는 항공기(30)의 좌우 축 주위의 회전 각도이고, 기준선(또는 중심 기준선)은 적색 및 녹색 선(28)의 중앙에 위치하고; 이 두 가지 비행 매개변수는 현재 연구에 대한 경험이 있거나 없는 참가자의 비행 성능을 평가하는 데 사용됩니다. 이러한 QAR 데이터는 비행 성능을 평가하는 데 사용할 수 있지만, 우리가 아는 한 과학 연구에서 개인 훈련 및 선발에 거의 사용되지 않았습니다31,32.
안구 움직임 패턴의 측정은 비행 성능을 평가 및 예측하고 조종사 교육 및 선택을 안내하는 데 사용할 수 있습니다. Gerathewohl33 은 눈이 조종사의 가장 중요한 감각 기관이며 비행 정보의 80 %를 처리한다고 말했습니다. 조종사는 조종석의 계기에서 시각적 정보를 획득하고 이를 일관된 이미지로 통합하여 비행22를 관리해야 합니다. 또한, 최적의 스캐닝 동작은 더 나은 비행 성능을 달성하는 데 필수적이다15. 그러나 현재 안구 운동과 비행 성능 간의 관계에 대한 정량적 연구를 용이하게 하기 위해 시선 추적기를 통합한 저렴한 비행 시뮬레이터는 없습니다.
현재 연구는 비행 경험이 있는 참가자가 비행 경험이 없는 참가자보다 비행 성능이 더 좋은지 평가하기 위해 새로운 VR 비행 시뮬레이터를 개발했습니다. VR 비행 시뮬레이터는 시선 추적과 비행 역학 시스템을 통합하여 눈 움직임 패턴 분석 및 비행 성능 평가를 가능하게 합니다. 특히, VR 비행 시뮬레이터는 시간이 많이 걸리는 프레임 카운팅 없이 AOI(Area of Interest) 기반 안구 움직임을 분석하기 위해 유리형 또는 탁상용 아이트래커가 아닌 VR 아이트래커(34)를 사용한다는 점을 언급할 가치가 있다.
마지막으로, 현재의 연구는 시력 스캔 경로에서 객관적인 비행 성능 데이터에 이르기까지 미래의 조종사 선택을 위한 옴니버스 측정으로 이어질 수 있습니다. 가상 비행 시뮬레이터의 도움으로 비행 선택 비용이 크게 절감되고 광범위한 데이터 수집을 기반으로 조종사의 규범을 형성할 수 있습니다. 이 작업은 비행 선택 요구 사항을 위해 기존 시뮬레이터와 데스크톱 시뮬레이터 사이의 격차를 메웁니다.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>3D engine SDK</td>
			<td>Epic Games</td>
			<td>Unreal Engine 4 
			GameAnalytics Unreal SDK</td>
			<td>This SDK is a powerful yet flexible free analytics tool designed for games.</td>
		</tr>
		<tr>
			<td>CPU</td>
			<td>Intel</td>
			<td>IntelCore i9</td>
			<td>One of the most powerful CPU on the mainstream market.</td>
		</tr>
		<tr>
			<td>Eye tracking SDK</td>
			<td>Tobii</td>
			<td>Tobii XR SDK</td>
			<td>This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware.</td>
		</tr>
		<tr>
			<td>Eye tracking software</td>
			<td>Developed by the research team</td>
			<td></td>
			<td>A program that tracks the movement of a person&#39;s eyes while they are using a virtual reality HMD.</td>
		</tr>
		<tr>
			<td>FlySimulator program</td>
			<td>Developed by the research team</td>
			<td></td>
			<td>A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers.</td>
		</tr>
		<tr>
			<td>Graphics card</td>
			<td>NVIDIA</td>
			<td>GeForce RTX 3090 
			10496 NVIDIA CUDA Cores 
			1.70 GHz Boost Clock&#160;&#160; 
			24 GB Memory Size 
			GDDR6X Memory Type</td>
			<td>One of the most powerful graphics card on the mainstream market.</td>
		</tr>
		<tr>
			<td>Operating system (OS)</td>
			<td>Microsoft</td>
			<td>Windows XP</td>
			<td>An operating system (OS) developed and exclusively distributed by Microsoft Corporation</td>
		</tr>
		<tr>
			<td>Replica control panel</td>
			<td>THRUSTMASTER</td>
			<td>2960720 2971004 2962072 2960748 2960769</td>
			<td>U.S. Air Force A-10C attack aircraft HOTAS</td>
		</tr>
		<tr>
			<td>Replica joystick</td>
			<td>THRUSTMASTER</td>
			<td>2960720</td>
			<td>U.S. Air Force A-10C attack aircraft HOTAS</td>
		</tr>
		<tr>
			<td>Replica pedal</td>
			<td>THRUSTMASTER</td>
			<td></td>
			<td>TPR pendular rudder</td>
		</tr>
		<tr>
			<td>Replica throttle</td>
			<td>THRUSTMASTER</td>
			<td></td>
			<td>U.S. Air Force A-10C attack aircraft HOTAS</td>
		</tr>
		<tr>
			<td>Screen connected to PC</td>
			<td>Redmi</td>
			<td>RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio</td>
			<td>Screen allows the experimenter to simultaneously view what is happening in the VR HMD</td>
		</tr>
		<tr>
			<td>Screen recording software</td>
			<td>OBS Project</td>
			<td>OBS Studio Version 28.0</td>
			<td>A free and open source software for video recording and live streaming</td>
		</tr>
		<tr>
			<td>Statistical power analysis software</td>
			<td>Open-Source</td>
			<td>G*power Version 3.1.9.6</td>
			<td>A free and user-friendly tool for estimating statistical power and sample size.</td>
		</tr>
		<tr>
			<td>Statistical software</td>
			<td>IBM</td>
			<td>SPSS Version 24.0</td>
			<td>A powerful statistical software platform</td>
		</tr>
		<tr>
			<td>Versatile statistics tool</td>
			<td>GraphPad Software</td>
			<td>GraphPad Prism Version 9.4.0</td>
			<td>A versatile statistics tool purpose-built for scientists-not statisticians</td>
		</tr>
		<tr>
			<td>VR app store</td>
			<td>HTC Corporation</td>
			<td>VIVE Software 2.0.17.6 / 2.1.17.6</td>
			<td>An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need.</td>
		</tr>
		<tr>
			<td>VR head-mounted display (HMD)</td>
			<td>HTC Corporation</td>
			<td>VIVE Pro Eye</td>
			<td>A VR headset with precision eye tracking</td>
		</tr>
		<tr>
			<td>VR software</td>
			<td>Steam</td>
			<td>Steam VR Version 1.23</td>
			<td>A tool for experiencing VR content on the hardware</td>
		</tr>
	</tbody>
</table>

evaluating flight performance and eye movement patterns using virtual reality flight simulator

조종사의 효율적이고 경제적인 성과 평가는 항공 산업에서 매우 중요한 요소가 되었습니다. 가상 현실(VR)의 개발과 시선 추적 기술의 결합으로 이러한 요구를 충족하는 솔루션이 현실이 되고 있습니다. 이전 연구에서는 주로 기술 검증 및 비행 훈련에 중점을 두고 VR 기반 비행 시뮬레이터를 탐구했습니다. 이번 연구는 3D 몰입형 장면에서 눈의 움직임과 비행 지시등을 기반으로 조종사의 비행 성능을 평가하기 위해 새로운 VR 비행 시뮬레이터를 개발했습니다. 실험 기간 동안 전문 조종사 23명과 비행 경험이 없는 대학생 23명 등 총 46명의 참가자를 모집했습니다. 실험 결과, 비행 경험이 있는 참가자와 없는 참가자 간의 비행 성능에 유의미한 차이가 있었으며, 전자가 후자보다 높았습니다. 대조적으로, 비행 경험이 있는 사람들은 더 구조화되고 효율적인 안구 운동 패턴을 보였다. 이러한 비행 성능의 차별화 결과는 비행 성능 평가 방법으로서 현재의 VR 비행 시뮬레이터의 타당성을 입증합니다. 비행 경험에 따른 다양한 안구 운동 패턴은 향후 비행 선택의 기초를 제공합니다. 그러나 이 VR 기반 비행 시뮬레이터는 기존 비행 시뮬레이터에 비해 모션 피드백과 같은 단점이 있습니다. 이 비행 시뮬레이터 플랫폼은 명백한 저렴한 비용을 제외하고는 매우 유연합니다. 연구자의 다양한 요구 사항을 충족할 수 있습니다(예: 관련 척도를 추가하여 상황 인식, VR 멀미 및 작업량 측정).

이번 실험을 위해 비행 경험이 있는 전문가 23명과 비행 경험이 없는 초보자 23명을 선발했다. 참가자는 25세에서 58세 사이였습니다(전문가: M = 32.52세, SD = 7.28세, 초보자: M = 29.57세, SD = 5.74세). 모든 참가자의 성별은 남성이었다. 모든 초보자는 칭화대학교(학생 또는 교수진)에서 모집되었으며 모든 전문가는 중국동방항공에서 왔습니다.
눈동자...

Watch this Scientific Journal Video about Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator at JoVE.com

Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator

새로운 가상 현실 비행 시뮬레이터가 구축되어 비행 성능과 안구 운동 패턴을 효율적이고 저렴하게 평가할 수 있습니다. 또한 인체 공학 및 기타 연구를 위한 잠재력이 높은 연구 도구를 제공합니다.

Virtual Reality Flight Simulator를 사용한 비행 성능 및 안구 운동 패턴 평가

Efficient and economical performance evaluation of pilots has become critical to the aviation industry. With the development of virtual reality (VR) and ...

현재 연구는 3D 몰입형 시나리오에서 안구 움직임과 비행 수행자 지표를 기반으로 조종사를 평가하기 위해 새로운 VR 비행 시뮬레이터를 개발했습니다. 비행 시뮬레이터 플랫폼은 저렴한 비용 외에도 매우 유연합니다. 연구자의 다양한 요구를 충족시킬 수 있습니다.이 방법은 조종사 외에도 일부 우주 비행사에게도 적용될 수 있습니다. 비행 시뮬레이터를 설치하여 시작하십시오. 제한 제어판을 함께 조인하여 하나의 단위로 처리합니다.USB를 통해 스로틀, 조이스틱 및 페달을 비행 시뮬레이터 PC 모듈에 연결합니다. 그런 다음 링크 박스를 통해 헤드 마운트 디스플레이 또는 HMD를 비행 시뮬레이터 PC 모듈에 연결합니다. PC.To 에서 VR 소프트웨어를 통해 베이스 스테이션과 가상 현실 또는 VR 컨트롤러를 HMD에 연결합니다. VR을 위한 스탠딩 전용 플레이 영역을 설정하고 HMD가 켜져 있고 컴퓨터에 연결되어 있는지 확인합니다.HMD가 고정된 상태에서 항상 기지국 모니터링 범위 내에 있을 수 있도록 베이스 스테이션을 대각선으로 배치하여 안정적인 VR 환경을 유지합니다. 그런 다음 컴퓨터의 VR 소프트웨어가 제공하는 프롬프트에 따라 서서 사용할 수 있는 플레이 영역을 설정합니다. 튜닝된 비행 제어 모듈과 대형 화면 디스플레이를 VR HMD와 동일한 컴퓨터에 연결합니다.교통 패턴과 지도를 설명하고 VR 비행 시뮬레이터의 사용 방법을 지시하여 참가자에게 작업 및 시뮬레이터 작동을 소개합니다. 각 참가자에게 VR HMD를 장착하고, 눈의 움직임을 보정하고, 장치 높이, 동공 간 거리 및 시선 지점을 조정합니다. 그런 다음 화면 녹화 소프트웨어를 열고 비행 훈련을 위한 플라이 시뮬레이터를 시작합니다.비행 페달, 조이스틱 및 스로틀을 사용하여 비행 기준선에 최대한 가깝게 조종하는 방법을 참가자에게 지시합니다. 완료되면 비행 스로틀과 엔진 스위치 버튼을 재설정하십시오. 그런 다음 녹음을 중지합니다.공식적인 비행 실험을 진행하기 위해 참가자를 위해 VR HMD를 착용하고 OBS 스튜디오를 실행하여 화면 녹화를 시작합니다. 기기 AOI, 대기 속도, 수직 속도, 고도 및 엔진 속도 표시기의 안구 운동 데이터는 전문가들이 초보자에 비해 대기 속도 표시기, 고도 표시기, 수직 속도 표시기 및 자세 표시기의 평균값 주변에 안구 운동 데이터가 더 균일하게 분포되어 있음을 보여주었습니다. 전문가들의 비행 성능 데이터는 대부분 총 비행 시간, 기준선으로부터의 평균 거리, 착륙 1초 전의 피치 각도, 초보자와 비교한 기준선으로부터의 거리의 표준 편차 측면에서 평균값을 중심으로 이루어졌습니다.모든 참가자의 눈 순간을 보정하고 그에 따라 장치 높이, 동공 간 거리 및 시선 지점을 조정합니다.

Research

JoVE Journal

Behavior

Two-photon Calcium Imaging in Mice Navigating a Virtual Reality Environment

가상 현실 환경을 탐색 마우스의 두 광자 칼슘 이미징

In recent years, two-photon imaging has become an invaluable tool in neuroscience, as it allows for chronic measurement of the activity of genetically ...

연구

행동분석학

Early Metamorphic Insertion Technology for Insect Flight Behavior Monitoring

곤충 비행 동작 모니터링에 대한 초기 변성 삽입 기술

Early Metamorphosis Insertion Technology (EMIT) is a novel methodology for integrating microfabricated neuromuscular recording and actuation platforms on ...

Development of a Virtual Reality Assessment of Everyday Living Skills

일상 생활 기술의 가상 현실 평가 개발

Cognitive impairments affect the majority of patients with schizophrenia and these impairments predict poor long term psychosocial outcomes.&#160; ...

Multifunctional Setup for Studying Human Motor Control Using Transcranial Magnetic Stimulation, Electromyography, Motion Capture, and Virtual Reality

경 두개 자기 자극, 근전도, 모션 캡쳐, 가상 현실을 이용하여 인간의 모터 제어 유학을위한 다기능 설치

The study of neuromuscular control of movement in humans is accomplished with numerous technologies. Non-invasive methods for investigating neuromuscular ...

Using Virtual Reality to Transfer Motor Skill Knowledge from One Hand to Another

가상 현실을 사용 하 여 다른 한 손으로에서 모터 기술 지식을 전송 하

As far as acquiring motor skills is concerned, training by voluntary physical movement is superior to all other forms of training (e.g. training by ...

Mobile Game-based Virtual Reality Program for Upper Extremity Stroke Rehabilitation

상부 말단 뇌졸중 재활을 위한 모바일 게임 기반 가상 현실 프로그램

Stroke rehabilitation requires repetitive, intensive, goal-oriented therapy. Virtual reality (VR) has the potential to satisfy these requirements. ...

Virtual Reality Experiments with Physiological Measures

가상 현실 생리 측정 실험

Virtual reality (VR) experiments are increasingly employed because of their internal and external validity compared to real-world observation and ...

Using Flight Mills to Measure Flight Propensity and Performance of Western Corn Rootworm, Diabrotica virgifera virgifera (LeConte)

Using Flight Mills to Measure Flight Propensity and Performance of Western Corn Rootworm, Diabrotica virgifera virgifera LeConte

비행 밀스를 사용하여 서부 옥수수 뿌리 벌레의 비행 성향과 성능을 측정하기 위해, 디아브로티카 버기페라 버기페라 (LeConte)

The western corn rootworm, Diabrotica virgifera virgifera (LeConte) (Coleoptera: Chrysomelidae), is an economically important pest of corn in the northern ...

Online Explorative Study on the Learning Uses of Virtual Reality Among Early Adopters

얼리 어답터들 사이에서 가상 현실의 학습 사용에 대한 온라인 탐구 연구

Virtual reality (VR) has shown great educational potential because it makes it possible to simulate any desired situation or event, thus playing an ...

Using a Virtual Reality Walking Simulator to Investigate Pedestrian Behavior

가상 현실 걷기 시뮬레이터를 사용하여 보행자 행동을 조사합니다.

To cross a road successfully, individuals must coordinate their movements with moving vehicles. This paper describes use of a walking simulator in which ...