Для просмотра этого контента требуется подписка на Jove Войдите в систему или начните бесплатную пробную версию.
Method Article
Был создан новый авиасимулятор виртуальной реальности, который позволяет эффективно и недорого оценивать летные характеристики и паттерны движений глаз. Он также предоставляет высокопотенциальный исследовательский инструмент для эргономики и других исследований.
Эффективная и экономичная оценка эффективности пилотов стала критически важной для авиационной отрасли. С развитием виртуальной реальности (VR) и сочетанием технологии отслеживания движения глаз решения для удовлетворения этих потребностей становятся реальностью. В предыдущих исследованиях изучались авиасимуляторы на основе виртуальной реальности, уделяя основное внимание проверке технологий и обучению полетам. В текущем исследовании был разработан новый VR-симулятор полета для оценки летных характеристик пилотов на основе движения глаз и показателей полета в 3D-иммерсивной сцене. В ходе эксперимента было набрано 46 участников: 23 профессиональных пилота и 23 студента колледжа без опыта полетов. Результаты эксперимента показали существенные различия в летных характеристиках между участниками с опытом полетов и без него, причем первые были выше, чем вторые. Напротив, те, у кого был опыт полетов, показали более структурированные и эффективные модели движений глаз. Данные результаты дифференциации летно-технических характеристик демонстрируют валидность современного VR-тренажера полета в качестве метода оценки летно-технических характеристик. Различные модели движения глаз в зависимости от опыта полета служат основой для выбора полета в будущем. Тем не менее, этот авиасимулятор на основе виртуальной реальности имеет такие недостатки, как обратная связь по движению по сравнению с традиционными авиасимуляторами. Эта платформа авиасимулятора отличается высокой гибкостью, за исключением очевидной низкой стоимости. Он может удовлетворить различные потребности исследователей (например, измерять осведомленность о ситуации, болезнь виртуальной реальности и рабочую нагрузку путем добавления соответствующих шкал).
Европейское агентство по авиационной безопасности (2012 г.) классифицирует авиационные тренажеры как учебные центры, тренажеры летных и навигационных программ, летное учебное оборудование и полные авиационные тренажеры1. На сегодняшний день для обучения доступен целый ряд авиационных тренажеров, от низкоуровневых настольных систем до очень сложных полнопилотажных тренажеровна основе движения2. Традиционный симулятор включает в себя модель динамики полета, симуляцию системы, аппаратную кабину, внешнюю визуализацию и опциональную симуляцию движения3.
Эти традиционные авиационные тренажеры имеют некоторые преимущества в качестве эффективного оборудования для летной подготовки. Однако их стоимость высока и экологически небезопасна, так как привод каждой системы требует существенной электрической энергии, особенно для полноценного тренажера, который требует высокой температуры и высокого давления жидкости или давления воздуха, потребляет много энергии и генерируетмного шума4.
Тем не менее, простая настольная система симулятора является гибкой и недорогой, с меньшим погружением и меньшим количеством взаимодействий, чем полнопилотажный симулятор2. Поэтому крайне важно разрабатывать новые авиасимуляторы, сочетающие в себе преимущества настольных систем и полнопилотажных тренажеров (иными словами, гибкость настольного симулятора и уровень погружения и взаимодействия, близкий к полнопилотажному симулятору).
С развитием компьютерных технологий, особенно технологии виртуальной реальности (VR), новый тип авиасимулятора, основанный на новой технологии VR, становится реальностью. Авиасимулятор на основе виртуальной реальности является гибким, портативным, недорогим и требует меньше места, чем обычные авиасимуляторы5. За последние 20 лет исследователи создали авиасимуляторы на основе технологии VR 6,7,8,9,10,11; однако эти VR-симуляторы полетов в основном предназначены для летной подготовки, и их мало для отбора пилотов. Тем не менее, со снижением стоимости и совершенствованием технологий, симуляторы на основе виртуальной реальности меняются и становятся возможными для индивидуального выбора. В некоторых исследованиях использовались симуляторы на основе виртуальной реальности для персонального отбора в различных областях: Schijven et al.12 отбирали хирургов-стажеров с помощью симулятора виртуальной реальности. Huang et al.13 разработали психологический инструмент отбора на основе технологии виртуальной реальности для набора пилотов ВВС. Войцеховский и Войтович14 оценивали возможности кандидата в качестве пилота беспилотного летательного аппарата (БПЛА) на основе технологии виртуальной реальности. Учитывая, что отбор пилотов имеет решающее значение для авиационной отрасли, необходимо разработать новый авиасимулятор на основе виртуальной реальности, ориентированный на выбор пилотов, поскольку широкомасштабный отбор пилотов зависит от стоимости тренажера и требований к портативной системе тренажера.
Движения глаз служат сигналами для пилота. Различные исследования показали, что режим сканирования глаз различает производительность между опытными и начинающими пилотами. Сравнивая схему сканирования у экспертов и новичков, можно дифференцировать эффективное и структурное поведение глаз экспертов и неадекватные методы сканирования у новичков. Несколько авиационных исследований показали, что стратегия сканирования глаз пилотов в значительной степени связана с уровнем квалификации 15,16,17,18,19,20,21,22,23,24. Согласно Bellenkes et al.25, продолжительность фиксаций специалистов короче, а частота их фиксации на инструментах выше, чем у новичков. Почти такой же вывод был сделан Касарскисом и соавторами, которые обнаружили, что опытные пилоты имеют больше фиксаций в сочетании с более короткой продолжительностью, чем новички, предположили, что опытные пилоты имеют лучший визуальный режим, чем новички. В другом исследовании, Lorenz et al.27 выяснил, что специалисты проводят больше времени, глядя за пределы кабины, чем новички. Эти результаты имеют большое практическое значение при отборе новичков.
Оценка летных характеристик является еще одним важным фактором при выборе пилота. Тем не менее, в оценке летных характеристик пилотов существуют следующие проблемы: противоречивые мнения экспертов, большее количество норм отбора и единая теория отбора. В области вождения Horrey et al.28 сравнили абсолютное значение отклонения полосы движения от центральной линии для различных экспериментальных условий для оценки эффективности вождения. Возвращаясь к авиационной сфере, регистратор быстрого доступа к полету (QAR) записывает все виды параметров управления пилотом, параметры самолета, окружающую среду и предупреждающую информацию во время полета29. Более конкретно, как показывают индикаторы QA, угол тангажа – это угол поворота вокруг левой и правой осей летательного аппарата30, а контрольная линия (или центральная контрольная линия) находится прямо посередине красной и зеленой линий28; Эти два параметра полета используются для оценки летных характеристик участников с опытом или без него в текущем исследовании. Эти данные QAR могут быть использованы для оценки летных характеристик, но, насколько нам известно, они редко используются для личных тренировок и отбора внаучных исследованиях.
Измерения движений глаз могут быть использованы для оценки и прогнозирования летных характеристик, а также для обучения и отбора пилотов. 33-летний Гератевол заявил, что глаз является важнейшим органом чувств пилота, обрабатывающим 80% полетной информации. Пилоты должны получать визуальную информацию от приборов в кабине и интегрировать ее в целостное изображение для управления полетом22. Кроме того, оптимальное поведение сканирования имеет важное значение для достижения лучших летных характеристик15. Тем не менее, ни один доступный авиасимулятор в настоящее время не включает в себя айтрекер для облегчения количественных исследований взаимосвязи между движениями глаз и летными характеристиками.
В текущем исследовании был разработан новый авиасимулятор виртуальной реальности, чтобы оценить, были ли участники с опытом полетов иметь лучшие летные характеристики, чем те, у кого не было опыта полетов. Авиасимулятор виртуальной реальности объединяет в себе отслеживание глаз и систему динамики полета, позволяющую анализировать характер движений глаз и оценивать летные характеристики. В частности, стоит упомянуть, что в авиасимуляторе VR используется VR-трекер34, а не стеклянный или настольный айтрекер, для анализа движения глаз на основе области интереса (AOI) без трудоемкого подсчета кадров.
Наконец, настоящая работа может привести к комплексным измерениям для выбора пилотов в будущем, начиная с траектории сканирования глаза и заканчивая объективными данными о летных характеристиках. С помощью виртуального авиасимулятора затраты на подбор рейса будут значительно снижены, а норма пилотов может быть сформирована на основе обширного сбора данных. Работа заполняет пробел между обычными и настольными тренажерами для нужд выбора полетов.
Все описанные здесь методы были одобрены Институциональным наблюдательным советом (IRB) Университета Цинхуа, и было получено информированное согласие всех участников. После завершения всем участникам было выплачено 12 долларов США (или подарок равной стоимости).
1. Отбор участников
2. Оборудование для авиасимулятора
Шлем виртуальной реальности (HMD) и модуль слежения за движением глаз | 1. Базовая станция |
2. VR HMD | |
Модуль для ПК авиасимулятора | 3. Авиасимулятор для ПК |
Модуль управления полетом | 4. Дроссельная заслонка |
5. Джойстик полета | |
6. Педаль полета |
Таблица 1: Компоненты трех модулей аппаратуры авиасимулятора.
Основной компонент | Принадлежности |
VR HMD | Кабель гарнитуры (прилагается) |
Лицевая подушка (прилагается) | |
Чистящая салфетка | |
Заглушка отверстия для наушников × 2 | |
Блок ссылок | Адаптер питания |
Кабель DisplayPort | |
Кабель USB 3.0 | |
Монтажная площадка | |
Контроллеры (2018) × 2 | Адаптеры питания × 2 |
Шнурки × 2 | |
Кабели Micro-USB × 2 | |
Базовая станция 2.0 × 2 | Адаптеры питания × 2 |
Монтажный комплект (2 крепления, 4 винта и 4 настенных анкера) |
Таблица 2: Список компонентов VR HMD и модуля слежения за движением глаз.
Устройство | Настройка параметров |
Джойстик полета | Девятнадцать кнопок действий |
Одна шляпа с 8-позиционной «точкой зрения» | |
Несколько 3D магнитных датчиков | |
Одна 5-витковая пружинная система | |
Одно 16-битное разрешение (значения 65536 x 65536). | |
Панель управления полетом | Пятнадцать кнопок действий |
Одно колесо TRIM | |
Пять программируемых светодиодов | |
Дроссельная заслонка | Семнадцать кнопок действий |
Одна шляпа для мыши с кнопкой | |
Одна шляпа с 8-позиционной «точкой зрения» | |
Несколько 3D магнитных датчиков | |
Два 14-битных разрешения | |
Педаль полета | Натяжение от 2,5 кг до 5 кг |
Угол от 35° до 75° |
Таблица 3: Конфигурация параметров приборов модуля управления полетом.
Рисунок 1: Схема расположения аппаратного обеспечения авиасимулятора виртуальной реальности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 2: Подключение аппаратного обеспечения авиасимулятора. (A) Модуль управления полетом. Дроссельная заслонка и панель управления физически соединены и рассматриваются как единое целое. Если термин «дроссельная заслонка» используется в данном исследовании, то он относится как к дроссельной заслонке, так и к панели управления. (В) Модуль ПК авиасимулятора. Компьютер, отвечающий требованиям, изложенным в шаге 2.2. (C) Шлем виртуальной реальности и модуль слежения за движением глаз. Комплекты средств разработки программного обеспечения (SDK) для отслеживания движения глаз и 3D-движок синхронизируются при установке на одном компьютере. Таким образом, функции отслеживания движения глаз и операционная система взаимодействуют и работают вместе. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
3. Программное обеспечение для авиасимулятора
Имя | Описание | |||
Программное обеспечение для виртуальной реальности | Широко используемый инструмент для просмотра VR-контента на оборудовании. | |||
Магазин приложений VR | Магазин приложений для виртуальной реальности, где клиенты могут изучать, создавать, подключаться и испытывать контент, который им нравится и в котором они нуждаются. | |||
Программное обеспечение для отслеживания движения глаз | Программное обеспечение для отслеживания взгляда, разработанное исследовательской группой с помощью SDK для отслеживания взгляда и 3D-движка. | |||
ФлайИмитатор | Основная программа программного обеспечения авиасимулятора, разработанная исследовательской группой. | |||
Программное обеспечение для записи экрана | Бесплатное программное обеспечение с открытым исходным кодом для записи видео и прямых трансляций. |
Таблица 4: Информация обо всем программном обеспечении, использованном в эксперименте.
4. Подготовка перед запуском авиасимулятора
ПРИМЕЧАНИЕ: Если вы впервые запускаете программу отслеживания взгляда, выполните дополнительные шаги, как показано на рисунке 3. Программа отслеживания движения глаз будет активирована автоматически после первого запуска.
Рисунок 3: Дополнительные шаги при первом запуске программы отслеживания взгляда. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
5. Методика проведения эксперимента
Примечание: Эксперимент разделен на четыре этапа: «сбор информации», «введение задачи и операции», «практика перед экспериментом» и «проведение формального эксперимента». Экспериментальный процесс кратко представлен на рисунке 4.
Рисунок 4: Блок-схема эксперимента. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 5: Схема движения для авиасимулятора VR. Угол тангажа — это угол поворота вокруг левой и правой осей самолета, а линия отсчета (или центральная линия отсчета) находится прямо посередине красной и зеленой линий. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
6. Анализ данных
Рисунок 6: Предварительная обработка AOI и расчет потока. В разделах с 1 по 4 описывается, как в настоящем исследовании обрабатывались данные о движении глаз пилотов вплоть до t-критерия независимой выборки. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Рисунок 7: Принципиальная схема деления АОК пилотажного прибора. Функции приборов: (A) Индикатор воздушной скорости показывает скорость самолета относительно воздуха. (B) Индикатор высоты показывает тангаж и высоту крена самолета. (C) Индикатор вертикальной скорости показывает скорость подъема или снижения воздушного судна. (D) Индикатор высоты показывает барометрическую высоту полета воздушного судна. (E) Индикатор частоты вращения двигателя показывает частоту вращения двигателя самолета. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.
Для текущего эксперимента были отобраны 23 специалиста с опытом полетов и 23 новичка без опыта полетов. Участники были в возрасте от 25 до 58 лет (эксперты: M = 32,52 года, SD = 7,28 года; новички: M = 29,57 года, SD = 5,74 года). Пол всех участников был мужским. Все новички были набраны из Ун?...
В текущем исследовании оценивалось, имели ли участники с опытом полетов лучшие летные характеристики, чем те, кто не имел опыта полетов на симуляторе полета на основе виртуальной реальности. Что еще более важно, было оценено, можно ли найти более оптимизированный паттерн движения глаз ?...
Авторы заявили о неразглашении финансовой информации или конфликте интересов.
Авторы выражают неимоверную благодарность господину Ли Яню за помощь в наборе участников пилотного проекта и выражают признательность госпоже Бу Линъюнь за ее работу по рисованию картинок. Исследование было поддержано Национальным фондом естественных наук Китая (грант No T2192931, 72071185), Национальным проектом «Мозг» (грант No STI2030-Major Projects 2022ZD0208500), Национальным ключевым лабораторным проектом инженерии человеческого фактора (грант No SYFD062003), Национальным ключевым лабораторным проектом инженерии человеческого фактора (грант No 6142222210201), а также грантом на крупные проекты военно-логистических исследований 2022 года и ключевым проектом комплексного оборудования ВВС Научно-исследовательская работа (грант No KJ2022A000415).
Name | Company | Catalog Number | Comments |
3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK | This SDK is a powerful yet flexible free analytics tool designed for games. |
CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type | One of the most powerful graphics card on the mainstream market. |
Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica pedal | THRUSTMASTER | TPR pendular rudder | |
Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |
Запросить разрешение на использование текста или рисунков этого JoVE статьи
Запросить разрешениеThis article has been published
Video Coming Soon
Авторские права © 2025 MyJoVE Corporation. Все права защищены