JoVE Logo

Войдите в систему

Для просмотра этого контента требуется подписка на Jove Войдите в систему или начните бесплатную пробную версию.

В этой статье

  • Резюме
  • Аннотация
  • Введение
  • протокол
  • Результаты
  • Обсуждение
  • Раскрытие информации
  • Благодарности
  • Материалы
  • Ссылки
  • Перепечатки и разрешения

Резюме

Был создан новый авиасимулятор виртуальной реальности, который позволяет эффективно и недорого оценивать летные характеристики и паттерны движений глаз. Он также предоставляет высокопотенциальный исследовательский инструмент для эргономики и других исследований.

Аннотация

Эффективная и экономичная оценка эффективности пилотов стала критически важной для авиационной отрасли. С развитием виртуальной реальности (VR) и сочетанием технологии отслеживания движения глаз решения для удовлетворения этих потребностей становятся реальностью. В предыдущих исследованиях изучались авиасимуляторы на основе виртуальной реальности, уделяя основное внимание проверке технологий и обучению полетам. В текущем исследовании был разработан новый VR-симулятор полета для оценки летных характеристик пилотов на основе движения глаз и показателей полета в 3D-иммерсивной сцене. В ходе эксперимента было набрано 46 участников: 23 профессиональных пилота и 23 студента колледжа без опыта полетов. Результаты эксперимента показали существенные различия в летных характеристиках между участниками с опытом полетов и без него, причем первые были выше, чем вторые. Напротив, те, у кого был опыт полетов, показали более структурированные и эффективные модели движений глаз. Данные результаты дифференциации летно-технических характеристик демонстрируют валидность современного VR-тренажера полета в качестве метода оценки летно-технических характеристик. Различные модели движения глаз в зависимости от опыта полета служат основой для выбора полета в будущем. Тем не менее, этот авиасимулятор на основе виртуальной реальности имеет такие недостатки, как обратная связь по движению по сравнению с традиционными авиасимуляторами. Эта платформа авиасимулятора отличается высокой гибкостью, за исключением очевидной низкой стоимости. Он может удовлетворить различные потребности исследователей (например, измерять осведомленность о ситуации, болезнь виртуальной реальности и рабочую нагрузку путем добавления соответствующих шкал).

Введение

Европейское агентство по авиационной безопасности (2012 г.) классифицирует авиационные тренажеры как учебные центры, тренажеры летных и навигационных программ, летное учебное оборудование и полные авиационные тренажеры1. На сегодняшний день для обучения доступен целый ряд авиационных тренажеров, от низкоуровневых настольных систем до очень сложных полнопилотажных тренажеровна основе движения2. Традиционный симулятор включает в себя модель динамики полета, симуляцию системы, аппаратную кабину, внешнюю визуализацию и опциональную симуляцию движения3.

Эти традиционные авиационные тренажеры имеют некоторые преимущества в качестве эффективного оборудования для летной подготовки. Однако их стоимость высока и экологически небезопасна, так как привод каждой системы требует существенной электрической энергии, особенно для полноценного тренажера, который требует высокой температуры и высокого давления жидкости или давления воздуха, потребляет много энергии и генерируетмного шума4.

Тем не менее, простая настольная система симулятора является гибкой и недорогой, с меньшим погружением и меньшим количеством взаимодействий, чем полнопилотажный симулятор2. Поэтому крайне важно разрабатывать новые авиасимуляторы, сочетающие в себе преимущества настольных систем и полнопилотажных тренажеров (иными словами, гибкость настольного симулятора и уровень погружения и взаимодействия, близкий к полнопилотажному симулятору).

С развитием компьютерных технологий, особенно технологии виртуальной реальности (VR), новый тип авиасимулятора, основанный на новой технологии VR, становится реальностью. Авиасимулятор на основе виртуальной реальности является гибким, портативным, недорогим и требует меньше места, чем обычные авиасимуляторы5. За последние 20 лет исследователи создали авиасимуляторы на основе технологии VR 6,7,8,9,10,11; однако эти VR-симуляторы полетов в основном предназначены для летной подготовки, и их мало для отбора пилотов. Тем не менее, со снижением стоимости и совершенствованием технологий, симуляторы на основе виртуальной реальности меняются и становятся возможными для индивидуального выбора. В некоторых исследованиях использовались симуляторы на основе виртуальной реальности для персонального отбора в различных областях: Schijven et al.12 отбирали хирургов-стажеров с помощью симулятора виртуальной реальности. Huang et al.13 разработали психологический инструмент отбора на основе технологии виртуальной реальности для набора пилотов ВВС. Войцеховский и Войтович14 оценивали возможности кандидата в качестве пилота беспилотного летательного аппарата (БПЛА) на основе технологии виртуальной реальности. Учитывая, что отбор пилотов имеет решающее значение для авиационной отрасли, необходимо разработать новый авиасимулятор на основе виртуальной реальности, ориентированный на выбор пилотов, поскольку широкомасштабный отбор пилотов зависит от стоимости тренажера и требований к портативной системе тренажера.

Движения глаз служат сигналами для пилота. Различные исследования показали, что режим сканирования глаз различает производительность между опытными и начинающими пилотами. Сравнивая схему сканирования у экспертов и новичков, можно дифференцировать эффективное и структурное поведение глаз экспертов и неадекватные методы сканирования у новичков. Несколько авиационных исследований показали, что стратегия сканирования глаз пилотов в значительной степени связана с уровнем квалификации 15,16,17,18,19,20,21,22,23,24. Согласно Bellenkes et al.25, продолжительность фиксаций специалистов короче, а частота их фиксации на инструментах выше, чем у новичков. Почти такой же вывод был сделан Касарскисом и соавторами, которые обнаружили, что опытные пилоты имеют больше фиксаций в сочетании с более короткой продолжительностью, чем новички, предположили, что опытные пилоты имеют лучший визуальный режим, чем новички. В другом исследовании, Lorenz et al.27 выяснил, что специалисты проводят больше времени, глядя за пределы кабины, чем новички. Эти результаты имеют большое практическое значение при отборе новичков.

Оценка летных характеристик является еще одним важным фактором при выборе пилота. Тем не менее, в оценке летных характеристик пилотов существуют следующие проблемы: противоречивые мнения экспертов, большее количество норм отбора и единая теория отбора. В области вождения Horrey et al.28 сравнили абсолютное значение отклонения полосы движения от центральной линии для различных экспериментальных условий для оценки эффективности вождения. Возвращаясь к авиационной сфере, регистратор быстрого доступа к полету (QAR) записывает все виды параметров управления пилотом, параметры самолета, окружающую среду и предупреждающую информацию во время полета29. Более конкретно, как показывают индикаторы QA, угол тангажа – это угол поворота вокруг левой и правой осей летательного аппарата30, а контрольная линия (или центральная контрольная линия) находится прямо посередине красной и зеленой линий28; Эти два параметра полета используются для оценки летных характеристик участников с опытом или без него в текущем исследовании. Эти данные QAR могут быть использованы для оценки летных характеристик, но, насколько нам известно, они редко используются для личных тренировок и отбора внаучных исследованиях.

Измерения движений глаз могут быть использованы для оценки и прогнозирования летных характеристик, а также для обучения и отбора пилотов. 33-летний Гератевол заявил, что глаз является важнейшим органом чувств пилота, обрабатывающим 80% полетной информации. Пилоты должны получать визуальную информацию от приборов в кабине и интегрировать ее в целостное изображение для управления полетом22. Кроме того, оптимальное поведение сканирования имеет важное значение для достижения лучших летных характеристик15. Тем не менее, ни один доступный авиасимулятор в настоящее время не включает в себя айтрекер для облегчения количественных исследований взаимосвязи между движениями глаз и летными характеристиками.

В текущем исследовании был разработан новый авиасимулятор виртуальной реальности, чтобы оценить, были ли участники с опытом полетов иметь лучшие летные характеристики, чем те, у кого не было опыта полетов. Авиасимулятор виртуальной реальности объединяет в себе отслеживание глаз и систему динамики полета, позволяющую анализировать характер движений глаз и оценивать летные характеристики. В частности, стоит упомянуть, что в авиасимуляторе VR используется VR-трекер34, а не стеклянный или настольный айтрекер, для анализа движения глаз на основе области интереса (AOI) без трудоемкого подсчета кадров.

Наконец, настоящая работа может привести к комплексным измерениям для выбора пилотов в будущем, начиная с траектории сканирования глаза и заканчивая объективными данными о летных характеристиках. С помощью виртуального авиасимулятора затраты на подбор рейса будут значительно снижены, а норма пилотов может быть сформирована на основе обширного сбора данных. Работа заполняет пробел между обычными и настольными тренажерами для нужд выбора полетов.

протокол

Все описанные здесь методы были одобрены Институциональным наблюдательным советом (IRB) Университета Цинхуа, и было получено информированное согласие всех участников. После завершения всем участникам было выплачено 12 долларов США (или подарок равной стоимости).

1. Отбор участников

  1. Наберите участников в соответствии с предварительным исследованием анализа мощности с использованием программного обеспечения G*Power35 (см. Таблицу материалов), чтобы убедиться, что количество участников соответствует ожидаемому размеру выборки, предоставленному G*Power, который равен 21.
    ПРИМЕЧАНИЕ: Ожидаемый размер выборки, указанный G*Power, относится к предполагаемому количеству участников, необходимому в исследовании для достижения желаемого уровня статистической мощности на основе указанного размера эффекта, уровня значимости и используемого статистического теста. Ожидаемый размер выборки является важным фактором при планировании исследований. Это помогает исследователям определить осуществимость и экономическую эффективность дизайна их исследования и гарантирует, что исследование обладает достаточной статистической мощностью для обнаружения значимых эффектов.
  2. Убедитесь, что ни у одного из участников в анамнезе нет эпилепсии, заболеваний сердца или мозга, недавних эндокринных или психиатрических препаратов или тяжелой кожной аллергии.
  3. Используйте таблицу Снеллена (используйте метрическую систему 6/6)36 , чтобы подтвердить, что зрение участников нормальное или скорректированное до нормы и что у них нет никаких нарушений зрения, таких как дальтонизм или слабость цвета.
  4. Убедитесь, что ни один из участников не употреблял алкоголь или наркотики в течение предыдущих 24 часов, которые могут повлиять на их способность летать.
  5. Убедитесь, что участники спали не менее 6 часов и находятся в хорошем психическом состоянии перед экспериментом.

2. Оборудование для авиасимулятора

  1. Убедитесь, что все аппаратное обеспечение авиасимулятора исправно. В соответствии со своей функцией, это оборудование организовано в три модуля (Таблица 1) (см. Таблицу материалов).
    ПРИМЕЧАНИЕ: Исследователям необходимо прикоснуться к металлическому стержню перед прикосновением к оборудованию, чтобы избежать риска, связанного с электростатической индукцией.
    1. Проверьте компоненты VR, шлема виртуальной реальности (шлем виртуальной реальности) и модуля отслеживания движения глаз с помощью таблицы 2.
    2. Убедитесь, что все компоненты модуля ПК авиасимулятора соответствуют следующим минимальным требованиям: процессор с частотой 3,6 ГЦ, встроенная память 4G, 64-разрядная операционная система и видеокарта. Система будет поддерживать все полетные контроллеры.
    3. Проверьте компоненты модуля управления полетом и убедитесь, что конфигурация параметров устройства соответствует таблице 3.
  2. Установите аппаратное обеспечение авиасимулятора в соответствии с схемой на рисунке 1. На рисунке 2 показано, как подключено оборудование.
    1. Физически присоедините дроссельную заслонку и панель управления и обращайтесь с ними как с единым целым.
    2. Подключите дроссельную заслонку, джойстик и педаль к модулю ПК авиасимулятора через USB.
    3. Подключите шлем к модулю ПК авиасимулятора через соединительную коробку.
    4. Подключите базовые станции и контроллеры VR к шлему виртуальной реальности с помощью программного обеспечения VR на ПК.
Шлем виртуальной реальности (HMD) и модуль слежения за движением глаз1. Базовая станция
2. VR HMD
Модуль для ПК авиасимулятора3. Авиасимулятор для ПК
Модуль управления полетом4. Дроссельная заслонка
5. Джойстик полета
6. Педаль полета

Таблица 1: Компоненты трех модулей аппаратуры авиасимулятора.

Основной компонентПринадлежности
VR HMDКабель гарнитуры (прилагается)
Лицевая подушка (прилагается)
Чистящая салфетка
Заглушка отверстия для наушников × 2
Блок ссылокАдаптер питания
Кабель DisplayPort
Кабель USB 3.0
Монтажная площадка
Контроллеры (2018) × 2Адаптеры питания × 2
Шнурки × 2
Кабели Micro-USB × 2
Базовая станция 2.0 × 2Адаптеры питания × 2
Монтажный комплект (2 крепления, 4 винта и 4 настенных анкера)

Таблица 2: Список компонентов VR HMD и модуля слежения за движением глаз.

УстройствоНастройка параметров
Джойстик полетаДевятнадцать кнопок действий
Одна шляпа с 8-позиционной «точкой зрения»
Несколько 3D магнитных датчиков
Одна 5-витковая пружинная система
Одно 16-битное разрешение (значения 65536 x 65536).
Панель управления полетомПятнадцать кнопок действий
Одно колесо TRIM
Пять программируемых светодиодов
Дроссельная заслонкаСемнадцать кнопок действий
Одна шляпа для мыши с кнопкой
Одна шляпа с 8-позиционной «точкой зрения»
Несколько 3D магнитных датчиков
Два 14-битных разрешения
Педаль полетаНатяжение от 2,5 кг до 5 кг
Угол от 35° до 75°

Таблица 3: Конфигурация параметров приборов модуля управления полетом.

figure-protocol-7009
Рисунок 1: Схема расположения аппаратного обеспечения авиасимулятора виртуальной реальности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

figure-protocol-7478
Рисунок 2: Подключение аппаратного обеспечения авиасимулятора. (A) Модуль управления полетом. Дроссельная заслонка и панель управления физически соединены и рассматриваются как единое целое. Если термин «дроссельная заслонка» используется в данном исследовании, то он относится как к дроссельной заслонке, так и к панели управления. (В) Модуль ПК авиасимулятора. Компьютер, отвечающий требованиям, изложенным в шаге 2.2. (C) Шлем виртуальной реальности и модуль слежения за движением глаз. Комплекты средств разработки программного обеспечения (SDK) для отслеживания движения глаз и 3D-движок синхронизируются при установке на одном компьютере. Таким образом, функции отслеживания движения глаз и операционная система взаимодействуют и работают вместе. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

3. Программное обеспечение для авиасимулятора

  1. Перед началом эксперимента убедитесь, что все программное обеспечение (см. Таблицу материалов) установлено. Информация обо всем программном обеспечении, использованном в эксперименте, приведена в таблице 4.
ИмяОписание
Программное обеспечение для виртуальной реальностиШироко используемый инструмент для просмотра VR-контента на оборудовании.
Магазин приложений VRМагазин приложений для виртуальной реальности, где клиенты могут изучать, создавать, подключаться и испытывать контент, который им нравится и в котором они нуждаются.
Программное обеспечение для отслеживания движения глазПрограммное обеспечение для отслеживания взгляда, разработанное исследовательской группой с помощью SDK для отслеживания взгляда и 3D-движка.
ФлайИмитаторОсновная программа программного обеспечения авиасимулятора, разработанная исследовательской группой.
Программное обеспечение для записи экранаБесплатное программное обеспечение с открытым исходным кодом для записи видео и прямых трансляций.

Таблица 4: Информация обо всем программном обеспечении, использованном в эксперименте.

4. Подготовка перед запуском авиасимулятора

ПРИМЕЧАНИЕ: Если вы впервые запускаете программу отслеживания взгляда, выполните дополнительные шаги, как показано на рисунке 3. Программа отслеживания движения глаз будет активирована автоматически после первого запуска.

figure-protocol-10725
Рисунок 3: Дополнительные шаги при первом запуске программы отслеживания взгляда. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

  1. Убедитесь, что шлем виртуальной реальности включен и подключен к компьютеру.
  2. Расположите базовую станцию по диагонали, чтобы шлем всегда мог находиться в зоне действия базовой станции. Держите базовую станцию неподвижной, чтобы поддерживать стабильную среду виртуальной реальности.
  3. Настройте игровую зону только для стоя в соответствии с подсказками, предоставленными программным обеспечением виртуальной реальности на компьютере.
    ПРИМЕЧАНИЕ: Подсказка позволяет создать зону в масштабе комнаты или создать игровую зону только для стоя. Режим «только стоя» обычно используется для просмотра сцен виртуальной реальности, которые не требуют ходьбы и могут быть выбраны, когда у пользователя ограниченное пространство для передвижения. Поэтому в этом эксперименте создайте игровую площадку только для стоя.
  4. Настройте калибровку отслеживания взгляда. Система отслеживания движения глаз должна быть повторно настроена каждый раз, когда участник переключается.
    1. Убедитесь, что участники не используют контактные линзы, что приводит к сбоям в отслеживании взгляда.
    2. Откройте программу калибровки отслеживания движения глаз с помощью контроллеров VR (см. Таблицу материалов).
    3. Отрегулируйте высоту устройства, межзрачковое расстояние (IDP) и точку взгляда в соответствии с указаниями системы.
    4. Попросите глаза участника подсвечивать каждую точку в течение 2 секунд по часовой стрелке, чтобы проверить эффективность калибровки с отслеживанием взгляда.
  5. Подключите настроенный модуль управления полетом и большой экран (т.е. монитор не менее 27 дюймов) к тому же компьютеру, что и VR HMD. Экран позволяет экспериментатору одновременно наблюдать за тем, что происходит в VR HMD.

5. Методика проведения эксперимента

Примечание: Эксперимент разделен на четыре этапа: «сбор информации», «введение задачи и операции», «практика перед экспериментом» и «проведение формального эксперимента». Экспериментальный процесс кратко представлен на рисунке 4.

figure-protocol-13343
Рисунок 4: Блок-схема эксперимента. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

  1. Соберите информацию от участников (15 минут).
    1. Заполните форму с платежными реквизитами с платежными данными участников.
    2. Сообщите участникам, чтобы они прочитали документ об информированном согласии и подписали его.
  2. Познакомьте участников с задачей и работой симулятора (5 мин).
    1. Объясните участникам схему движения и карту движения (рисунок 5).
    2. Проинструктируйте участников о том, как пользоваться авиасимулятором VR.
    3. Сообщите участникам, что они могут покинуть эксперимент, если испытывают дискомфорт во время моделирования полета.
  3. Попросите участников попрактиковаться в использовании авиасимулятора VR (15 минут).
    1. Подогните VR HMD к участникам и откалибруйте движения глаз. Отрегулируйте высоту устройства, межзрачковое расстояние (IDP) и точку взгляда в соответствии с инструкциями системы.
    2. Откройте программу для записи экрана.
    3. Запустите программу FlySimulator , чтобы помочь участникам в летной подготовке.
    4. Проинструктируйте участников использовать педаль полета, джойстик и дроссельную заслонку согласованно, чтобы направлять самолет как можно ближе к исходной линии полета (рисунок 5).
    5. Сбросьте кнопки переключения дроссельной заслонки и двигателя после выхода из программы FlySimulator и остановите запись экрана после того, как испытуемый завершит тренировку.
  4. Проведите формальные летные эксперименты (20 минут).
    1. Наденьте VR HMD для участников и запустите OBS Studio , чтобы начать запись экрана.
    2. Запустите программу FlySimulator, выберите подходящую перспективу, запустите двигатель, отпустите стояночный тормоз и выведите дроссельную заслонку на полную мощность.
    3. Выйдите из программы FlySimulator, затем сбросьте кнопки переключения дроссельной заслонки и двигателя . Остановите запись экрана.

figure-protocol-16015
Рисунок 5: Схема движения для авиасимулятора VR. Угол тангажа — это угол поворота вокруг левой и правой осей самолета, а линия отсчета (или центральная линия отсчета) находится прямо посередине красной и зеленой линий. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

6. Анализ данных

  1. Анализируйте данные о движениях глаз.
    1. Разделите пять зон интереса (AOI) в этом исследовании; для получения дополнительной информации о расчете АОИ см. Рисунок 6, основанный на фактической панели кабины пилота, соответствующей прибору кабины пилота (Рисунок 7).
    2. Рассчитайте тест на разницу АОК, используя процент времени пребывания в зонеАОК 37, учитывая особенности оборудования окуломотора VR, используемого в этом исследовании.
      ПРИМЕЧАНИЕ: Средний процент времени задержки — это совокупный процент, затраченный на просмотр в пределах АОИ, разделенный на общее время фиксации и усредненный по участникам.
  2. Анализируйте данные о летно-технических характеристиках с помощью специально разработанных скриптов программирования с использованием Python 3.10. Основной алгоритм для измерения показателей производительности был адаптирован на основе метода анализа качества данных, полученных на основе данных QAR 35 самолетов BAE-146, предоставленных Национальным управлением по аэронавтике и исследованию космического пространства (NASA)38.
    ПРИМЕЧАНИЕ: Показатели летно-технических характеристик для данного исследования: общее время полета (общая продолжительность времени от взлета до посадки для каждого участника, в секундах), угол тангажа за 1 с до посадки (угол тангажа самолета за 1 с до посадки, полученный по исходным данным, в градусах), среднее расстояние до исходной линии (средняя ошибка пространственного расстояния между воздушным судном и исходной линией во время полета, в метрах) и стандартное отклонение расстояния до опорной линии (стандартное отклонение пространственного расстояния между самолетом и опорной линией во время полета, в метрах).
  3. Проведение статистического анализа.
    1. Используйте тест Шапиро-Уилка39 для подтверждения нормальности данных.
    2. Используйте статистическое программное обеспечение (см. Таблицу материалов) для описательной статистики, U-критерия Манна-Уитни и t-критерия Стьюдента.
    3. Изобразите графики скрипки, чтобы лучше обозначить форму распределения данных40.
      Примечание: Объяснение величины эффекта, измеренной с помощью уравнения Коэна, заключается в следующем: 0,1 — очень мало, 0,2 — мало, 0,5 — средне, 0,8 — много, 1,2 — очень много, а 2,0 — это41,42. Уровень значимости был установлен на уровне p < 0,05.

figure-protocol-19296
Рисунок 6: Предварительная обработка AOI и расчет потока. В разделах с 1 по 4 описывается, как в настоящем исследовании обрабатывались данные о движении глаз пилотов вплоть до t-критерия независимой выборки. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-19886
Рисунок 7: Принципиальная схема деления АОК пилотажного прибора. Функции приборов: (A) Индикатор воздушной скорости показывает скорость самолета относительно воздуха. (B) Индикатор высоты показывает тангаж и высоту крена самолета. (C) Индикатор вертикальной скорости показывает скорость подъема или снижения воздушного судна. (D) Индикатор высоты показывает барометрическую высоту полета воздушного судна. (E) Индикатор частоты вращения двигателя показывает частоту вращения двигателя самолета. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Результаты

Для текущего эксперимента были отобраны 23 специалиста с опытом полетов и 23 новичка без опыта полетов. Участники были в возрасте от 25 до 58 лет (эксперты: M = 32,52 года, SD = 7,28 года; новички: M = 29,57 года, SD = 5,74 года). Пол всех участников был мужским. Все новички были набраны из Ун?...

Обсуждение

В текущем исследовании оценивалось, имели ли участники с опытом полетов лучшие летные характеристики, чем те, кто не имел опыта полетов на симуляторе полета на основе виртуальной реальности. Что еще более важно, было оценено, можно ли найти более оптимизированный паттерн движения глаз ?...

Раскрытие информации

Авторы заявили о неразглашении финансовой информации или конфликте интересов.

Благодарности

Авторы выражают неимоверную благодарность господину Ли Яню за помощь в наборе участников пилотного проекта и выражают признательность госпоже Бу Линъюнь за ее работу по рисованию картинок. Исследование было поддержано Национальным фондом естественных наук Китая (грант No T2192931, 72071185), Национальным проектом «Мозг» (грант No STI2030-Major Projects 2022ZD0208500), Национальным ключевым лабораторным проектом инженерии человеческого фактора (грант No SYFD062003), Национальным ключевым лабораторным проектом инженерии человеческого фактора (грант No 6142222210201), а также грантом на крупные проекты военно-логистических исследований 2022 года и ключевым проектом комплексного оборудования ВВС Научно-исследовательская работа (грант No KJ2022A000415).

Материалы

NameCompanyCatalog NumberComments
3D engine SDKEpic GamesUnreal Engine 4
GameAnalytics Unreal SDK
This SDK is a powerful yet flexible free analytics tool designed for games.
CPUIntelIntelCore i9One of the most powerful CPU on the mainstream market.
Eye tracking SDKTobiiTobii XR SDKThis SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware.
Eye tracking softwareDeveloped by the research teamA program that tracks the movement of a person's eyes while they are using a virtual reality HMD.
FlySimulator programDeveloped by the research teamA software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers.
Graphics cardNVIDIAGeForce RTX 3090
10496 NVIDIA CUDA Cores
1.70 GHz Boost Clock  
24 GB Memory Size
GDDR6X Memory Type
One of the most powerful graphics card on the mainstream market.
Operating system (OS)MicrosoftWindows XPAn operating system (OS) developed and exclusively distributed by Microsoft Corporation
Replica control panelTHRUSTMASTER2960720 2971004 2962072 2960748 2960769U.S. Air Force A-10C attack aircraft HOTAS
Replica joystickTHRUSTMASTER2960720U.S. Air Force A-10C attack aircraft HOTAS
Replica pedalTHRUSTMASTERTPR pendular rudder
Replica throttleTHRUSTMASTERU.S. Air Force A-10C attack aircraft HOTAS
Screen connected to PCRedmiRMMNT27NF, 27-inch, 1920 X 1080 resolution ratioScreen allows the experimenter to simultaneously view what is happening in the VR HMD
Screen recording softwareOBS ProjectOBS Studio Version 28.0A free and open source software for video recording and live streaming
Statistical power analysis softwareOpen-SourceG*power Version 3.1.9.6A free and user-friendly tool for estimating statistical power and sample size.
Statistical softwareIBMSPSS Version 24.0A powerful statistical software platform
Versatile statistics toolGraphPad SoftwareGraphPad Prism Version 9.4.0A versatile statistics tool purpose-built for scientists-not statisticians
VR app storeHTC CorporationVIVE Software 2.0.17.6 / 2.1.17.6An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need.
VR head-mounted display (HMD)HTC CorporationVIVE Pro EyeA VR headset with precision eye tracking
VR softwareSteamSteam VR Version 1.23A tool for experiencing VR content on the hardware

Ссылки

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What's real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. . Flight Simulation. , (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. . Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots' visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots' gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439 (2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots' expertise: A flight simulator study. PLoS One. 16 (2), e0247061 (2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192 (2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, &. #. 2. 6. 8. ;., Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027 (2022).
  35. Faul, F., Erdfelder, E., Lang, A. -. G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. . Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -. C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, . GitHub - tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. . Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26 (2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. . NASA Task Load Index (TLX). , (1986).

Перепечатки и разрешения

Запросить разрешение на использование текста или рисунков этого JoVE статьи

Запросить разрешение

Смотреть дополнительные статьи

VR

This article has been published

Video Coming Soon

JoVE Logo

Исследования

Образование

О JoVE

Авторские права © 2025 MyJoVE Corporation. Все права защищены