Оценка аспектов юзабилити решения смешанной реальности для иммерсивной аналитики в сценариях Индустрии 4.0

Резюме

Этот протокол очерчивает технические настройки разработанного приложения смешанной реальности, которое используется для иммерсивной аналитики. На основе этого представлены показатели, которые были использованы в исследовании для получения представления об юзабилити-аспектах разработанного технического решения.

Аннотация

В медицине или промышленности все чаще требуется анализ многомерных наборов данных. Однако имеющиеся технические решения часто сложны в использовании. Поэтому приветствуются новые подходы, такие как иммерсивная аналитика. Иммерсивная аналитика обещает испытать многомерные наборы данных удобным способом для различных групп пользователей и наборов данных. Технически устройства виртуальной реальности используются для обеспечения иммерсивной аналитики. Например, в Индустрии 4.0 такие сценарии, как идентификация выбросов или аномалий в наборах многомерных данных, преследуются целями иммерсивной аналитики. В этом контексте для любого разработанного технического решения по иммерсивной аналитике следует ответить на два важных вопроса: во-первых, полезны ли технические решения или нет? Во-вторых, является ли телесный опыт технического решения положительным или отрицательным? Первый вопрос направлен на общую целесообразность технического решения, в то время как второй направлен на комфорт ношения. Существующие исследования и протоколы, которые систематически затрагивают эти вопросы, все еще редки. В этой работе представлен протокол исследования, который в основном исследует удобство использования для иммерсивной аналитики в сценариях Индустрии 4.0. В частности, протокол основан на четырех столпах. Во-первых, он классифицирует пользователей на основе предыдущего опыта. Во-вторых, представлены задания, которые могут быть использованы для оценки осуществимости технического решения. В-третьих, представлены меры, которые количественно оценивают обучающий эффект пользователя. В-четвертых, анкета оценивает уровень стресса при выполнении заданий. На основе этих столпов была реализована техническая настройка, которая использует умные очки смешанной реальности для применения протокола исследования. Результаты проведенного исследования показывают применимость протокола с одной стороны и целесообразность иммерсивной аналитики в сценариях Индустрии 4.0 с другой. Представленный протокол включает в себя обсуждение обнаруженных ограничений.

Введение

Решения виртуальной реальности (VR-решения) приобретают все большее значение в различных областях. Часто с решениями VR (включая виртуальную реальность, смешанную реальность и дополненную реальность) выполнение многих повседневных задач и процедур должно быть облегчено. Например, в автомобильной области процедура настройки автомобиля может поддерживаться использованием виртуальной реальности¹ (VR). Исследователи и практики исследовали и разработали множество подходов и решений в этом контексте. Тем не менее, исследования, которые исследуют аспекты юзабилити, все еще редки. В целом эти аспекты следует рассматривать в свете двух основных вопросов. Во-первых, необходимо оценить, действительно ли решение VR превосходит подход, который не использует методы VR. Во-вторых, поскольку решения VR в основном полагаются на тяжелые и сложные аппаратные устройства, такие параметры, как комфорт ношения и умственные усилия, должны быть изучены более глубоко. Кроме того, упомянутые аспекты всегда должны быть исследованы в отношении рассматриваемой области применения. Хотя многие существующие подходы видят необходимость в изучении этих вопросов², существует меньше исследований, которые представили результаты.

Тема исследования в области VR, которая в настоящее время важна, обозначается иммерсивной аналитикой. Он происходит от исследовательской области визуальной аналитики, которая пытается включить человеческое восприятие в аналитические задачи. Этот процесс также хорошо известен как визуальный интеллектуальный анализ данных⁴. Иммерсивная аналитика включает в себя темы из областей визуализации данных, визуальной аналитики, виртуальной реальности, компьютерной графики и человеко-компьютерного взаимодействия⁵. Последние преимущества в головных дисплеях (HMD) привели к улучшению возможностей для изучения данных иммерсивным способом. Наряду с этими тенденциями возникают новые проблемы и исследовательские вопросы, такие как разработка новых систем взаимодействия, необходимость исследования усталости пользователей или разработка сложных 3D-визуализаций⁶. В предыдущей публикации⁶ обсуждаются важные принципы иммерсивной аналитики. В свете больших данных такие методы, как иммерсивная аналитика, все более и более необходимы для лучшего анализа сложных пулов данных. Существует лишь несколько исследований, которые исследуют аспекты юзабилити иммерсивных аналитических решений. Кроме того, в таких исследованиях следует также учитывать рассматриваемую область или область. В этой работе был разработан прототип иммерсивной аналитики, и на его основе был разработан протокол, который исследует разработанное решение для сценариев Индустрии 4.0. Таким образом, протокол использует метод опыта², который основан на субъективных, эксплуатационных и физиологических аспектах. В рассматриваемом протоколе субъективные аспекты измеряются через воспринимаемый стресс пользователей исследования. Производительность, в свою очередь, измеряется через требуемое время и ошибки, которые допускаются для выполнения задач анализа. Наконец, датчик проводимости кожи измерял физиологические параметры. Первые две меры будут представлены в этой работе, в то время как измеренная проводимость кожи требует дальнейших усилий для оценки.

Представленное исследование включает в себя несколько областей исследований, в частности, включая аспекты нейробиологии и информационные системы. Интересно, что соображения по нейробиологическим аспектам информационных систем недавно привлекли внимание нескольких исследовательских групп ^7,8, показывая потребность в изучении использования ИТ-систем также с когнитивной точки зрения. Еще одним направлением, актуальным для данной работы, является исследование человеческого фактора информационных систем ^9,10,11. В области человеко-компьютерного взаимодействия существуют инструменты для исследования удобства использования решения. Обратите внимание, что шкала юзабилити системы в основном используется в этом контексте¹². Протоколы^{13 Thinking} Aloud являются еще одним широко используемым методом исследования, чтобы узнать больше об использовании информационных систем. Хотя существует множество подходов к измерению юзабилити-аспектов информационных систем, и некоторые из них были представлены давно¹⁴, все же возникают вопросы, требующие изучения новых мер или методов изучения. Поэтому исследования в этой области очень активны 12,15,16.

Ниже будут рассмотрены причины, по которым в настоящей работе не были рассмотрены два широко используемых метода. Во-первых, не использовалась шкала юзабилити системы. Шкала основана на десяти вопросах¹⁷, и ее использование можно найти в нескольких других исследованиях VR¹⁸. Поскольку это исследование в основном направлено на измерение стресса¹⁹, более подходящим был вопросник, связанный со стрессом. Во-вторых, протокол²⁰ «Думай вслух» не использовался. Хотя этот тип протокола показал свою полезность в целом¹³, он не использовался здесь, так как уровень стресса пользователей исследования может увеличиться только из-за того, что сеанс мысли вслух должен выполняться параллельно с использованием тяжелого и сложного устройства VR. Хотя эти два метода не использовались, результаты других недавних исследований были включены в рассматриваемое исследование. Например, в предыдущих работах^21,22 авторы различают новичков и специалистов в своих исследованиях. Основываясь на успешном результате этих исследований, рассматриваемый протокол использует это представленное разделение пользователей исследования. Измерение напряжений, в свою очередь, основано на идеях следующих работ 15,19,21,22.

Во-первых, для проведения исследования необходимо найти подходящий сценарий Индустрии 4.0 для выполнения аналитических задач. Вдохновленные другой работой авторов²³, были определены два сценария (т.е. задачи анализа): (1) Обнаружение выбросов и (2) Распознавание кластеров. Оба сценария являются сложными и очень актуальны в контексте обслуживания высокопроизводительных производственных машин. Исходя из этого решения, протокол исследования, представленный в этой работе, определил шесть основных соображений:

1. Решение, разработанное для исследования, будет технически основано на смарт-очках смешанной реальности (см. Таблицу материалов) и будет разработано как приложение смешанной реальности.
2. Должен быть разработан подходящий тест, который способен отличить новичков от продвинутых пользователей.
3. Показатели эффективности должны учитывать время и ошибки.
4. Необходимо разработать настольное приложение, которое можно сравнить с иммерсивным аналитическим решением.
5. Должна быть применена мера для оценки воспринимаемого уровня стресса.
6. В дополнение к последнему пункту должны быть разработаны функции для снижения уровня стресса, пока пользователь выполняет процедуру двух упомянутых задач анализа (например, (1) Обнаружение выбросов и (2) Распознавание кластеров).

Основываясь на шести упомянутых пунктах, протокол исследования включает в себя следующую процедуру. Задачи outlier Detection и Cluster Recognition Analysis должны выполняться с помощью интеллектуальных очков смешанной реальности (см. Таблицу материалов). Поэтому было разработано новое приложение. Пространственные звуки облегчают выполнение задач анализа без увеличения умственных усилий. Голосовая функция должна облегчить навигацию, используемую для разработанного применения смарт-очков смешанной реальности (см. Таблицу материалов). Тест мысленного вращения должен быть основой для отличия новичков от продвинутых пользователей. Уровень стресса измеряется на основе анкеты. Производительность, в свою очередь, оценивается на основе (1) времени, необходимого пользователю для задач анализа, и на основе (2) ошибок, которые были сделаны пользователем для задач анализа. Производительность в смарт-стекле смешанной реальности сравнивается с выполнением тех же задач в недавно разработанном и сопоставимом 2D-настольном приложении. Кроме того, устройство для измерения уровня проводимости кожи используется для измерения уровня проводимости кожи в качестве возможного индикатора стресса. Результаты этого измерения подлежат дальнейшему анализу и не будут обсуждаться в данной работе. Авторы выявили в другом исследовании с тем же устройством, что требуются дополнительные соображения²⁴.

На основе этого протокола рассматриваются следующие пять исследовательских вопросов (RQ):

RQ1: Влияют ли способности пространственного воображения участников на выполнение заданий?
RQ2: Происходит ли значительное изменение производительности задач с течением времени?
RQ3: Происходит ли существенное изменение производительности задач при использовании пространственных звуков в решении иммерсивной аналитики?
RQ4: Является ли разработанная иммерсивная аналитика стрессовой для пользователей?
RQ5: Работают ли пользователи лучше при использовании иммерсивного аналитического решения по сравнению с 2D-подходом?

На рисунке 1 обобщен представленный протокол в отношении двух шкал. Показаны разработанные и применяемые меры и их новизна по отношению к уровню взаимодействия. Поскольку уровень взаимодействия представляет собой важный аспект при разработке функций для настройки VR, рисунок 1 должен лучше показать новизну всего протокола, разработанного в этой работе. Хотя оценка аспектов в рамках двух используемых шкал является субъективной, их общая оценка основана на текущей соответствующей работе и следующих основных соображениях: Одним из важных принципов является использование абстракций среды для естественного взаимодействия, на которое пользователь настроился. Что касается рассматриваемого протокола, визуализация облаков точек кажется интуитивно понятной для пользователей, и распознавание шаблонов в таких облаках было признано управляемой задачей в целом. Еще один важный принцип заключается в наложении возможностей. Таким образом, использование пространственных звуков, используемых в рассматриваемом протоколе, является примером, поскольку они коррелируют с близостью искомого объекта. Авторы рекомендуют настраивать представления таким образом, чтобы большая часть информации располагалась в промежуточной зоне, которая наиболее важна для восприятия человека. Причина, по которой авторы не включили этот принцип, заключалась в том, чтобы побудить пользователя самостоятельно найти лучшее место, а также попытаться сориентироваться в пространстве визуализации данных, которое слишком велико, чтобы быть показанным сразу. В представленном подходе не было сделано никаких дальнейших соображений о характеристиках 3D-данных, которые будут показаны. Например, если измерение предполагается временным, можно было бы показать точечные диаграммы. Авторы считают этот вид визуализации в целом интересным в контексте Индустрии 4.0. Тем не менее, он должен быть сосредоточен на достаточно небольшом наборе визуализаций. Более того, предыдущая публикация уже была посвящена совместному анализу данных. В данной работе этот исследовательский вопрос был исключен из-за сложности других рассмотренных вопросов в данном исследовании. В представленной здесь настройке пользователь может исследовать иммерсивное пространство, гуляя вокруг. Другие подходы предлагают контроллеры для исследования виртуального пространства. В этом исследовании основное внимание уделяется удобству использования с помощью шкалы юзабилити системы (SUS). Другая предыдущая публикация провела исследование для экономических экспертов, но с VR-гарнитурами. В целом, и самое главное, это исследование жалуется на ограниченное поле зрения для других устройств, таких как используемые умные очки смешанной реальности в этой работе (см. Таблицу материалов). Их результаты показывают, что новички в области VR смогли эффективно использовать аналитический инструмент. Это согласуется с опытом этого исследования, хотя в этой работе новички не были классифицированы как имеющие VR или игровой опыт. В отличие от большинства VR-решений, смешанная реальность не закреплена на позиции, так как позволяет отслеживать реальную среду. Подходы VR, такие как упоминание об использовании специальных стульев для 360°, чтобы освободить пользователя от его рабочего стола. Авторы указывают, что проблемы восприятия влияют на производительность иммерсивной аналитики; например, с помощью теней. Для рассматриваемого исследования это неосуществимо, так как используемые умные очки смешанной реальности (см. таблицу материалов) не способны отображать тени. Обходным путем может быть виртуальный этаж, но такая установка выходит за рамки этого исследования. Обзорное исследование в области иммерсивной аналитики определило 3D-точечные диаграммы как одно из наиболее распространенных представлений многомерных данных. В целом, аспекты, показанные на рисунке 1 , не могут быть найдены в настоящее время скомпилированными в протокол, который исследует аспекты юзабилити иммерсивной аналитики для сценариев Индустрии 4.0.

протокол

Все материалы и методы были одобрены Комитетом по этике Ульмского университета, и были выполнены в соответствии с утвержденными руководящими принципами. Все участники дали свое письменное информированное согласие.

1. Создание соответствующей учебной среды

ПРИМЕЧАНИЕ: Исследование проводилось в контролируемой среде, чтобы справиться со сложными аппаратными настройками. Использованные смарт-очки смешанной реальности (см. Таблицу материалов) и ноутбук для 2D-приложения были объяснены участникам исследования.

1. Проверять техническое решение перед каждым участником; установлен в режиме по умолчанию. Подготовьте анкеты и разместите рядом с участником.
2. Пусть участники решают задачи из вариантов использования обнаружения выбросов и распознавания кластеров за один сеанс (т.е. среднее время составило 43 мин).
3. Начните исследование, приветствуя участников и представляя цель исследования, а также общую процедуру.
4. Участники, использующие прибор для измерения проводимости кожи (см. Таблицу материалов), должны придерживаться короткой фазы покоя, чтобы получить базовое измерение. Только половина участников использовала это устройство.
5. Все участники должны заполнить анкету³¹ State-Trait Anxiety Inventory (STAI) до начала эксперимента.
   1. Затем участники должны выполнить тест умственного вращения (см. Рисунок 4, этот тест оценивал способности пространственного воображения), который послужил основой для различения высоких и низких исполнителей (высокие исполнители являются продвинутыми пользователями, в то время как низкие исполнители являются новичками), за которым следует пространственный звуковой тест для измерения пространственных слуховых способностей участника.
      ПРИМЕЧАНИЕ: Медианное разделение результатов теста в тесте^{умственной ротации 32} использовалось для различения низких и высоких показателей.
6. Случайным образом разделить участников на две группы; либо начните с задачи по обнаружению выбросов, либо с распознавания кластеров, а затем продолжите работу с другим вариантом использования. Для задачи кластерного распознавания половина участников сначала начала с используемых смарт-очков смешанной реальности (см. Таблицу материалов), а затем использовала 2D-приложение, в то время как другая половина сначала начала с 2D-приложения, а затем использовала смарт-очки смешанной реальности (см. Таблицу материалов). Для задачи обнаружения выбросов случайным образом выберите одну группу, которая получает звуковую поддержку, в то время как другая часть группы не получает звуковой поддержки.
7. Завершая сессию, участники должны снова ответить на вопросник³¹ State-Trait Anxiety Inventory (STAI), а также на самостоятельно разработанный и демографический вопросник.
8. Сохраните сгенерированные данные, которые были автоматически записаны каждым разработанным приложением, в хранилище ноутбука после завершения сеанса.

2. Протокол исследования для участников

1. Подготовьте эксперимент (см. рисунок 2 для комнаты эксперимента) для каждого участника. Представьте настольный ПК, использованные смарт-очки смешанной реальности и раздайте анкеты.
2. Сообщите участникам, что эксперимент займет от 40 до 50 минут, и что половина из них начнется после предварительных тестов (см. Пункты 3-6 Протокола исследования), сначала с теста на обнаружение выбросов (см. Пункт 7 Протокола исследования), а затем теста на распознавание кластеров (см. Пункт 8 Протокола исследования), в то время как другие выполняют эти два теста наоборот (т.е. Пункт 8 Протокола исследования перед пунктом 7).
3. Случайным образом решите, проводится ли измерение проводимости кожи. В случае утвердительного состояния подготовьте прибор³³ для измерения проводимости кожи и сообщите участнику о необходимости надеть устройство. Запросите короткую фазу покоя у участников, чтобы получить базовое измерение их уровня стресса.
4. Попросите участников заполнить анкету³¹ «Инвентаризация тревожности состояния» (STAI) и сообщить им, что она измеряет текущий воспринимаемый стресс до начала эксперимента.
5. Проведите тест на мысленную ротацию.
   1. Сообщите участникам, что их умственные способности вращения оцениваются, и проведите их перед настольным компьютером. Сообщите участникам о процедуре тестирования. Обратите внимание, что они должны были идентифицировать похожие объекты, которые имели разные положения в смоделированном 3D-пространстве.
   2. Сообщите участникам, что только два из пяти показанных объектов похожи и что у них будет 2 минуты на весь тест. Сообщите участникам, что семь задач могут быть выполнены в течение заданных 2 минут, и сообщите им, что показатели производительности записываются для каждой выполненной задачи.
6. Оцените пространственные звуковые способности.
   1. Сообщите участникам, что их пространственные звуковые способности оцениваются, и проведите их перед настольным компьютером. Сообщите участникам о процедуре тестирования. Объясните участникам, что необходимо обнаружить шесть звуковых сэмплов, которые будут воспроизводиться в течение 13 секунд каждый.
   2. Сообщите участникам, что они должны определить направление (аналогично четырем направлениям компаса), из которого исходит звук.
7. Оцените навыки обнаружения выбросов.
   1. Попросите участников надеть умные очки смешанной реальности. Объясните им, что выбросы должны быть найдены в мире, созданном для умных очков смешанной реальности.
   2. Далее сообщите им, что выброс - это точка с красной маркировкой, все остальные точки обозначены белым цветом. Объясните им, что они должны направить свой взгляд на точку красного цвета, чтобы обнаружить ее.
   3. Далее информируйте участников о том, что предоставляется не только визуальная помощь, но и звуки окружающей среды помогают им находить выбросы. Предоставьте участникам информацию о том, что они должны выполнить 8 задач, а это означает, что 8 раз в виртуальном мире должна быть найдена точка красного цвета. Для каждого участника 4 задания поддерживаются звуком, в то время как 4 задачи не поддерживаются. Для каждого участника случайным образом выбирается, начинают ли они задачу со звуковой поддержкой или нет. Затем, в зависимости от первой задачи, он меняется от задачи к задаче, независимо от того, предоставляется ли звуковая поддержка или нет.
   4. Расскажите участникам, какая информация будет записана: необходимое время для каждого задания, продолжительность ходьбы и то, как их окончательное положение движения связано с их начальным положением. Наконец, сообщите участникам, что отмеченная красным цветом точка изменится на зеленую, если она была обнаружена (см. рисунок 3).
8. Оцените навыки распознавания кластеров.
   1. Случайным образом решите для участника, использовать ли сначала умные очки смешанной реальности или привести участника к настольному компьютеру. Ниже описана только процедура для настройки смешанной реальности. Если участник сначала начинает с настольного компьютера, процедура одинакова в измененном порядке и, кроме голосовых команд, они предоставляются только при использовании решения смешанной реальности.
   2. Для участников, использующих смешанную реальность: попросите участников надеть смарт-очки смешанной реальности. Сообщите участникам, как найти кластеры в мире, созданные с помощью используемых умных очков смешанной реальности. Подчеркните участникам, что они должны различать перекрывающиеся кластеры, перемещаясь вокруг них.
   3. Для участников, использующих смешанную реальность: объясните участникам, что они могут перемещаться в виртуальном мире и вокруг кластеров с помощью голосовых команд. Наконец, скажите участникам, что они должны были обнаружить шесть кластеров.
   4. Для участников, использующих смешанную реальность: попросите участников удалить использованные смарт-очки смешанной реальности. Подведите участников к настольному компьютеру и попросите их использовать программное обеспечение, показанное на экране настольного компьютера. Сообщите им, что тот же тип кластеров, как показано в используемых смарт-очках смешанной реальности, должен быть обнаружен с помощью программного обеспечения на настольном компьютере (см. Рисунок 7 и Рисунок 8).
9. Попросите участников заполнить три анкеты, а именно анкету³¹ «Инвентаризация тревожности государственных черт» (STAI), самостоятельно разработанную анкету для сбора субъективной обратной связи и демографическую анкету для сбора информации о них.
10. Попросите участников удалить устройство³³ измерения проводимости кожи, если их попросили в начале надеть его.
11. Избавьте участников от эксперимента, сказав спасибо за участие.

Результаты

Настройка мер для эксперимента
Для задачи обнаружения выбросов были определены следующие показатели производительности: время, путь и угол. Измерения см. на рисунке 6 .

Время регистрировалось до тех пор, пока не была найдена отмеченная красным ?...

Обсуждение

Что касается применения разработанных умных очков смешанной реальности (см. Таблицу материалов), то особенно полезными были два аспекта. Использование пространственных звуков для задачи обнаружения выброса было положительно воспринято с одной стороны (см. результаты RQ3). С др?...

Материалы

Name	Company	Catalog Number	Comments
edaMove	movisens
HoloLens	Microsoft
Matlab R2017a	MathWorks
RPY2	GNU General Public License v2 or later (GPLv2+) (GPLv2+)		https://pypi.org/project/rpy2/
SPSS 25.0	IBM