需要订阅 JoVE 才能查看此. 登录或开始免费试用。
Method Article
构建了一种新的虚拟现实飞行模拟器,可以高效、低成本地评估飞行性能和眼球运动模式。它还为人体工程学和其他研究提供了一个高潜力的研究工具。
对飞行员进行高效、经济的绩效评估已成为航空业的关键。随着虚拟现实(VR)的发展和眼动追踪技术的结合,满足这些需求的解决方案正在成为现实。以前的研究已经探索了基于VR的飞行模拟器,主要集中在技术验证和飞行训练上。目前的研究开发了一种新的VR飞行模拟器,根据3D沉浸式场景中的眼球运动和飞行指标来评估飞行员的飞行表现。在实验过程中,招募了46名参与者:23名专业飞行员和23名没有飞行经验的大学生。实验结果显示,有飞行经验和无飞行经验的参与者在飞行表现上存在显著差异,前者高于后者。相比之下,那些有飞行经验的人表现出更有条理和更有效的眼球运动模式。这些飞行性能差异化结果证明了当前VR飞行模拟器作为一种飞行性能评估方法的有效性。不同的眼球运动模式与飞行经验相结合,为未来的飞行选择提供了依据。然而,与传统的飞行模拟器相比,这种基于VR的飞行模拟器存在运动反馈等缺点。这种飞行模拟器平台除了明显的低成本外,还具有高度的灵活性。它可以满足研究人员的多样化需求(例如,通过添加相关量表来测量态势感知、VR 疾病和工作量)。
欧洲航空安全局(2012 年)将飞行模拟器分为培训设施、飞行和导航程序训练器、飞行训练设备和完整的飞行模拟器1.迄今为止,有一系列飞行模拟器可供训练,从低级桌面系统到高度复杂的基于运动的全飞行模拟器2。传统模拟器包括飞行动力学模型、系统仿真、硬件驾驶舱、外部可视化和可选的运动仿真3。
这些传统的飞行模拟器作为有效的飞行训练设备具有一些优点。然而,它们的成本高且对环境不友好,因为每个系统的驱动器都需要大量的电能,尤其是全飞行模拟器,它需要高温和高压流体或气压,消耗大量电力并产生大量噪音4.
然而,一个简单的桌面模拟器系统是灵活和低成本的,与完整的飞行模拟器相比,具有更低的浸入感和更少的交互2。因此,开发结合桌面系统和全飞行模拟器优点的新型飞行模拟器至关重要(换句话说,桌面模拟的灵活性以及接近全飞行模拟器的沉浸感和交互水平)。
随着计算机技术特别是虚拟现实(VR)技术的发展,一种基于新兴VR技术的新型飞行模拟器正在成为现实。基于 VR 的飞行模拟器灵活、便携、低成本,并且比传统飞行模拟器5 空间要求更小。在过去的 20 年里,研究人员基于 VR 技术创建了飞行模拟器 6,7,8,9,10,11;然而,这些VR飞行模拟器主要用于飞行训练,很少有用于飞行员选择的。尽管如此,随着成本的降低和技术的改进,基于VR的模拟器正在发生变化,并变得可用于个人选择。一些研究使用基于VR的模拟器进行不同领域的个人选择:Schijven等人12使用虚拟现实模拟器选择了外科实习生。Huang等13开发了一种基于虚拟现实技术的心理选择工具,用于空军飞行员招募。Wojciechowski 和 Wojtowicz14 评估了候选人作为基于 VR 技术的无人机 (UAV) 飞行员的能力。鉴于飞行员的选择对航空业至关重要,因此迫切需要开发一种新的基于VR的飞行模拟器,重点关注飞行员的选择,因为大规模的飞行员选择容易受到模拟器的成本和便携性模拟器系统的需求的影响。
眼球运动为飞行员的表现提供了线索。不同的研究发现,眼部扫描模式可以区分专家飞行员和新手飞行员的表现。通过比较专家和新手的扫描模式,可以区分出专家高效且结构化的眼动行为与初学者扫描方法的不足。几项航空研究发现,飞行员的眼球扫描策略与专业水平高度相关 15,16,17,18,19,20,21,22,23,24。根据Bellenkes等人25的研究,专家们注视乐器的持续时间更短,他们对乐器的注视频率高于新手。Kasarskis等人26得出了几乎相同的结论,他们发现专家飞行员比新手有更多的注视点和更短的持续时间,这表明专家飞行员比新手具有更好的视觉模式。在另一项研究中,Lorenz 等人。27 发现,与新手相比,专家花在驾驶舱外观察的时间更多。这些结果对新移民的选拔具有很大的实用价值。
飞行性能评估是飞行员选拔的另一个关键因素。然而,飞行员飞行性能评估存在以下问题:专家意见相互冲突、选拔规范较多、选拔理论统一。在驾驶领域,Horrey等28比较了不同实验条件下车道偏离中心线的绝对值,以评估驾驶性能。回到航空领域,飞行快速访问记录仪(QAR)记录了飞行29过程中的各种飞行员操纵参数、飞机参数、环境和警告信息。更具体地说,作为QAR指标,俯仰角是飞机30左右轴线的旋转角度,参考线(或中心参考线)正好位于红线和绿线28的中间;这两个飞行参数用于评估有或没有当前研究经验的参与者的飞行性能。这些QAR数据可用于评估飞行性能,但据我们所知,它们很少用于科学研究中的个人训练和选拔31,32。
眼球运动模式的测量可用于评估和预测飞行性能,并指导飞行员的培训和选择。Gerathewohl33 表示,眼睛是飞行员最重要的感觉器官,处理80%的飞行信息。飞行员必须从驾驶舱内的仪表获取视觉信息,并将其整合到一个连贯的图像中,以管理飞行22。此外,最佳的扫描行为对于实现更好的飞行性能至关重要15.然而,目前还没有一种经济实惠的飞行模拟器集成了眼动仪来促进眼球运动与飞行性能之间关系的定量研究。
目前的研究开发了一种新的VR飞行模拟器,以评估有飞行经验的参与者是否比没有飞行经验的参与者具有更好的飞行表现。VR飞行模拟器集成了眼动追踪和飞行动力学系统,可以进行眼动模式分析和飞行性能评估。特别值得一提的是,VR飞行模拟器使用VR眼动仪34,而不是类似眼镜或桌面的眼动仪,来分析基于感兴趣区域(AOI)的眼球运动,而无需耗时的帧计数。
最后,目前的工作可以为未来的飞行员选择提供综合测量,从眼部扫描路径到客观飞行性能数据。借助虚拟飞行模拟器,将大大降低航班选择成本,并且可以在广泛的数据收集的基础上形成飞行员的规范。这项工作填补了传统模拟器和桌面模拟器之间的空白,以满足航班选择需求。
本文所述的所有方法均已获得清华大学机构审查委员会(IRB)的批准,并获得了所有参与者的知情同意。完成后,所有参与者都获得了 12 美元(或等值的礼物)。
1. 参与者选择
2.飞行模拟器硬件
VR头戴式显示器(HMD)和眼动追踪模块 | 1. 基站 |
2. VR头戴式显示器 | |
飞行模拟器PC模块 | 3.飞行模拟器电脑 |
飞行控制模块 | 4.飞行油门 |
5. 飞行操纵杆 | |
6. 飞行踏板 |
表 1:飞行模拟器硬件的三个模块的组件。
主要成分 | 辅料 |
VR头戴式显示器 | 耳机线(已连接) |
面部靠垫(附) | |
抹布 | |
耳机孔盖 × 2 | |
串流盒 | 电源适配器 |
DisplayPort 电缆 | |
USB 3.0 数据线 | |
安装垫 | |
控制器 (2018) × 2 | 电源适配器 × 2 |
挂绳 × 2 | |
Micro-USB 线缆 × 2 | |
基站 2.0 × 2 | 电源适配器 × 2 |
安装套件(2 个支架、4 个螺钉和 4 个墙锚) |
表 2:VR 头戴式显示器和眼动追踪模块的组件列表。
装置 | 参数配置 |
飞行操纵杆 | 19个动作按钮 |
一顶 8 向"观点"帽子 | |
多个 3D 磁传感器 | |
一个 5 螺旋弹簧系统 | |
一个 16 位分辨率(65536 x 65536 值)。 | |
飞行控制面板 | 15 个操作按钮 |
一个 TRIM 轮 | |
5 个可编程 LED | |
飞行油门 | 17 个动作按钮 |
一顶带按钮的鼠标帽 | |
一顶 8 向"观点"帽子 | |
多个 3D 磁传感器 | |
两个 14 位分辨率 | |
飞行踏板 | 张力在 2.5 kg 和 5 kg 之间 |
角度介于 35° 和 75° 之间 |
表3:飞控模块设备参数配置。
图 1:VR 飞行模拟器硬件的布局。 请点击这里查看此图的较大版本.
图 2:飞行模拟器硬件的连接。 (A) 飞行控制模块。油门和控制面板以物理方式连接并作为一个单元处理。如果本研究中使用术语"油门",则它既指油门又指控制面板。(B) 飞行模拟器PC模块。满足步骤 2.2 中概述的要求的计算机。(C)头戴式显示器和眼动追踪模块。用于眼动追踪的软件开发套件 (SDK) 和 3D 引擎安装在同一台计算机上时保持同步。因此,眼动追踪功能和操作系统会相互作用并协同工作。 请点击这里查看此图的较大版本.
3.飞行模拟器软件
名字 | 描述 | |||
VR软件 | 一种广泛使用的工具,用于在硬件上体验 VR 内容。 | |||
VR应用商店 | 用于虚拟现实的应用商店,客户可以在其中探索、创建、连接和体验他们喜欢和需要的内容。 | |||
眼动追踪软件 | 研究团队通过眼动追踪和3D引擎SDK开发的眼动追踪软件。 | |||
飞行模拟器 | 飞行模拟器软件的主要程序,由研究团队开发。 | |||
屏幕录制软件 | 用于视频录制和直播的免费开源软件。 |
表 4:有关实验中使用的所有软件的信息。
4. 启动飞行模拟器前的准备工作
注意:如果这是第一次运行眼动追踪程序,请根据 图 3 执行其他步骤。眼动追踪程序将在初次运行后自动激活。
图 3:首次运行眼动追踪程序时的额外步骤。 请点击这里查看此图的较大版本.
5.实验步骤
注:实验分为四个步骤:"收集信息"、"介绍任务和操作"、"实验前练习"和"进行正式实验"。实验过程总结于 图4。
图 4:实验流程图。 请点击这里查看此图的较大版本.
图 5:VR 飞行模拟器的交通模式。 俯仰角是围绕飞行器左右轴线的旋转角度,参考线(或中心参考线)正好位于红线和绿线的中间。 请点击这里查看此图的较大版本.
6. 数据分析
图 6:AOI 预处理和计算流程。 第 1 至 4 部分描述了本研究如何处理飞行员的眼球运动数据,直至独立样本 t 检验。 请点击这里查看此图的较大版本.
图7:飞行仪表AOI分割示意图。 仪表的功能: (A) 空速指示器指示飞机相对于空气的速度。(B) 高度指示器显示飞机的俯仰和滚动高度。(C) 垂直速度指示器指示飞机的上升或下降速度。(D) 高度指示器指示飞机的气压高度。(E) 发动机转速指示器指示飞机发动机的速度。 请点击这里查看此图的较大版本.
本次实验选取了23名有飞行经验的专家和23名没有飞行经验的新手。受试者年龄在25至58岁之间(专家: M = 32.52岁, SD = 7.28岁;新手: M = 29.57岁, SD = 5.74岁)。所有受试者的性别均为男性。所有新人均从清华大学招聘(学生或教师),所有专家均来自中国东方航空公司。
眼球运动
根据 Shapiro-Wilk 检验(所有 p 值 <0.05),仪器 AOI、?...
目前的研究评估了在基于VR的飞行模拟器中,有飞行经验的参与者是否比没有飞行经验的参与者具有更好的飞行表现。更重要的是,它评估了是否可以在这些参与者中找到更优化的眼球运动模式,这些参与者的飞行表现更好。在三个关键飞行QAR指标上,有和没有飞行经验的参与者之间的结果存在显着差异:着陆前1秒的俯仰角,到参考线的平均距离,以及到参考线的距离的标准差(图...
提交人声明没有财务披露或利益冲突。
笔者非常感谢李燕先生在招募试点学员方面提供的帮助,并感谢卜玲云女士在绘画方面所做的工作。该研究得到了国家自然科学基金(批准号T2192931、72071185)、国家脑计划项目(批准号STI2030-重大专项2022ZD0208500)、人因工程国家重点实验室项目(批准号SYFD062003)、人因工程国家重点实验室项目(批准号6142222210201)和2022年度军事后勤研究补助金重大专项和空军装备综合重点项目的支持研究(授权号KJ2022A000415)。
Name | Company | Catalog Number | Comments |
3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK | This SDK is a powerful yet flexible free analytics tool designed for games. |
CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type | One of the most powerful graphics card on the mainstream market. |
Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica pedal | THRUSTMASTER | TPR pendular rudder | |
Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |
请求许可使用此 JoVE 文章的文本或图形
请求许可This article has been published
Video Coming Soon
版权所属 © 2025 MyJoVE 公司版权所有,本公司不涉及任何医疗业务和医疗服务。