评估工业 4.0 方案中沉浸式分析的混合现实解决方案的可用性方面

摘要

此协议描述了用于沉浸式分析的已开发混合现实应用程序的技术设置。在此基础上，提出了一些措施，这些措施在研究中用于深入了解所开发技术解决方案的可用性方面。

摘要

在医学或工业中，越来越需要分析高维数据集。然而，可用的技术解决方案通常使用起来很复杂。因此，欢迎沉浸式分析等新方法。沉浸式分析有望以方便的方式为各种用户组和数据集体验高维数据集。从技术上讲，虚拟现实设备用于实现沉浸式分析。例如，在工业4.0中，识别高维数据集中的异常值或异常等场景是沉浸式分析的目标。在这种情况下，对于任何已开发的沉浸式分析技术解决方案，都应该解决两个重要问题:首先，技术解决方案是否有帮助？第二，技术方案的身体体验是积极的还是消极的？第一个问题旨在技术解决方案的总体可行性，而第二个问题旨在确保佩戴舒适性。系统地解决这些问题的现有研究和协议仍然很少。在这项工作中，提出了一个研究协议，主要研究工业4.0场景中沉浸式分析的可用性。具体而言，该协议基于四大支柱。首先，它根据以前的体验对用户进行分类。其次，提出任务，可用于评估技术方案的可行性。第三，提出了量化用户学习效果的度量。第四，问卷评估执行任务时的压力水平。基于这些支柱，实施了一个使用混合现实智能眼镜来应用研究方案的技术设置。研究结果表明，一方面该协议的适用性，另一方面表明沉浸式分析在工业4.0场景中的可行性。所提出的协议包括对发现的限制的讨论。

引言

虚拟现实解决方案（VR解决方案）在不同领域越来越重要。通常，使用VR解决方案（包括虚拟现实，混合现实和增强现实），许多日常任务和程序的完成应该变得容易。例如，在汽车领域，可以通过使用虚拟现实¹ （VR）来支持汽车的配置过程。研究人员和从业人员在这方面调查并开发了多种方法和解决方案。然而，调查可用性方面的研究仍然很少。一般而言，应根据两个主要问题来考虑这两个方面。首先，必须评估VR解决方案是否真的优于不使用VR技术的方法。其次，由于VR解决方案主要依赖于繁重复杂的硬件设备，因此应更深入地研究佩戴舒适度和精神努力等参数。此外，应始终针对所讨论的应用领域调查上述方面。尽管许多现存的方法认为有必要调查这些问题²，但提出结果的研究较少。

VR领域的一个研究课题，目前很重要，用沉浸式分析来表示。它源自可视化分析的研究领域，该领域试图将人类感知纳入分析任务。这个过程也被称为可视化数据挖掘⁴。沉浸式分析包括数据可视化、可视化分析、虚拟现实、计算机图形学和人机交互等领域的主题⁵.头戴式显示器（HMD）的最新优势提高了以身临其境的方式探索数据的可能性。沿着这些趋势，新的挑战和研究问题出现了，例如新交互系统的开发，调查用户疲劳的需求或复杂的3D可视化^{的开发6。}在之前的出版物⁶中，讨论了沉浸式分析的重要原则。鉴于大数据，越来越需要像沉浸式分析这样的方法来更好地分析复杂的数据池。只有少数研究调查沉浸式分析解决方案的可用性方面。此外，在此类研究中也应考虑有关领域或领域。在这项工作中，开发了一个沉浸式分析原型，并在此基础上开发了一个协议，该协议研究了为工业4.0场景开发的解决方案。因此，该协议利用了基于主观，性能和生理方面的体验方法²。在手头的协议中， 主观方面 是通过研究用户的感知压力来衡量的。反过来，性能是通过完成分析任务所需的时间和错误来衡量的。最后，用皮肤电导传感器测量生理参数。前两项措施将在这项工作中介绍，而测量的皮肤电导率需要进一步努力进行评估。

所提出的研究涉及多个研究领域，特别是包括神经科学方面和信息系统。有趣的是，对信息系统神经科学方面的考虑最近引起了几个研究小组⁷，⁸的关注^，这表明从认知的角度探索IT系统的使用的需求。与这项工作相关的另一个领域是信息系统^的人因调查9，^10，11。在人机交互领域，存在用于研究解决方案可用性的工具。请注意，系统可用性量表主要用于此上下文¹².大声思考协议¹³ 是另一种广泛使用的研究技术，用于了解有关信息系统使用的更多信息。尽管存在许多方法来衡量信息系统的可用性方面，并且其中一些方法很久以前就已经提出¹⁴，但仍会出现需要研究新措施或研究方法的问题。因此，该领域的研究非常活跃¹²，^15，16。

在下文中，将讨论为什么在当前工作中没有考虑两种普遍使用的方法的原因。首先，未使用系统可用性量表。该量表基于十个问题¹⁷，其使用也可以在其他几个VR研究¹⁸中找到。由于本研究主要针对压力的测量¹⁹，因此与压力相关的问卷更为合适。其次，没有使用大声思考协议²⁰。尽管这种协议类型在一般情况下已经显示出它的有用性¹³，但这里没有使用它，因为研究用户的压力水平可能会增加，因为大声思考会议必须与使用繁重而复杂的VR设备并行完成。虽然这两种技术尚未使用，但最近其他研究的结果已被纳入手头的研究中。例如，在之前的作品²¹，²²中^，作者在研究中区分了新手和专家。基于这些研究的成功结果，手头的方案利用了这种研究用户的分离。反过来，应力测量基于以下作品¹⁵，^19，21，22的思想。

首先，为了进行研究，必须找到合适的工业4.0场景来完成分析任务。受作者²³的另一部工作的启发，已经确定了两种场景（即分析任务），（1）异常值的检测和（2）集群的识别。这两种情况都具有挑战性，并且在维护高吞吐量生产机器的上下文中高度相关。基于这一决定，六个主要考虑因素推动了这项工作中提出的研究方案:

1. 为该研究开发的解决方案将在技术上基于混合现实智能眼镜（见 材料表），并将作为混合现实应用进行开发。
2. 必须开发合适的测试，以便能够区分新手和高级用户。
3. 绩效指标应考虑时间和错误。
4. 必须开发桌面应用程序，该应用程序可以与沉浸式分析解决方案进行比较。
5. 必须应用一种措施来评估感知的压力水平。
6. 除了后一点之外，还应开发特征以减轻用户完成上述两个分析任务（即（1）异常值检测和（2）集群识别）的过程时的压力水平。

基于上述六点，研究方案包含以下程序。异常值检测和聚类识别分析任务必须使用混合现实智能眼镜以沉浸式方式完成（请参阅 材料表）。因此，开发了一个新的应用程序。空间声音应简化分析任务的执行，而不会增加脑力劳动。语音功能应简化用于混合现实智能眼镜开发应用的导航（请参阅 材料表）。心理旋转测试应作为区分新手和高级用户的基础。压力水平是根据问卷测量的。反过来，性能根据用户执行分析任务所需的 （1） 时间和用户为分析任务所犯的 （2） 错误进行评估。将混合现实智能玻璃的性能与新开发和可比较的 2D 桌面应用程序中相同任务的完成情况进行比较。此外，皮肤电导装置用于测量皮肤电导水平，作为压力的可能指标。该测量的结果有待进一步分析，本文将不讨论。作者在另一项使用相同设备的研究中透露，需要额外的考虑²⁴。

基于该协议，解决了以下五个研究问题（RQ）:

RQ1:参与者的空间想象能力是否显着影响任务的表现？
RQ2:随着时间的推移，任务性能是否有显著变化？
RQ3:在沉浸式分析解决方案中使用空间声音时，任务性能是否有重大变化？
RQ4:开发的沉浸式分析是否被用户感知到压力？
RQ5:与 2D 方法相比，用户在使用沉浸式分析解决方案时的表现是否更好？

图1 总结了关于两个尺度的所提出的协议。它显示了开发和使用的措施及其在互动水平方面的新颖性。由于交互级别构成了为VR设置开发功能的一个重要方面，因此图1应更好地显示本工作中开发的整个协议的新颖性。虽然对两个使用的量表内的方面的评估是主观的，但它们的总体评估是基于当前的相关工作和以下主要考虑因素: 一个重要的原则是使用环境的抽象进行自然交互，用户已经适应其中。关于手头的协议，点云的可视化对用户来说似乎是直观的，并且识别此类云中的模式通常被认为是一项可管理的任务。另一个重要原则是叠加提供。因此，使用手头协议中使用的空间声音就是一个例子，因为它们与搜索对象的接近度相关。作者建议调整表示的方式是大多数信息位于中间区域，这对人类感知是最重要的。作者没有包括这一原则的原因是鼓励用户自己找到最佳位置，并尝试在数据可视化空间中定位自己，该空间太大而无法立即显示。在所提出的方法中，没有进一步考虑要显示的3D数据的特征。例如，如果假定维度是时态维度，则可以显示散点图。作者认为这种可视化在工业4.0的背景下通常很有趣。但是，它必须专注于一组相当小的可视化效果。此外，之前的出版物已经专注于数据的协作分析。在这项工作中，由于本研究中其他解决的问题的复杂性，该研究问题被排除在外。在这里呈现的设置中，用户可以通过四处走动来探索沉浸式空间。其他方法提供了控制器来探索虚拟空间。在这项研究中，重点是通过使用系统可用性量表（SUS）来确定可用性。之前的另一份出版物为经济专家进行了一项研究，但使用的是VR头显。总的来说，最重要的是，这项研究抱怨其他设备的视野有限，比如这项工作中使用的混合现实智能眼镜（见 材料表）。他们的发现表明，VR领域的初学者能够有效地使用分析工具。这与本研究的经验相匹配，尽管在这项工作中，初学者没有被归类为拥有VR或游戏体验。与大多数VR解决方案相比，混合现实不是固定在一个位置，因为它允许跟踪真实环境。VR方法，例如提到使用特殊的椅子进行360°体验，将用户从桌面上解放出来。的作者指出，感知问题会影响沉浸式分析的性能;例如，通过使用阴影。对于手头的研究，这是不可行的，因为使用的混合现实智能眼镜（见材料表）无法显示阴影。解决方法可以是虚拟楼层，但这样的设置超出了本研究的范围。沉浸式分析领域的一项调查研究发现，3D 散点图是多维数据最常见的表示形式之一。总而言之，目前无法找到图 1 中显示的方面，该协议调查了工业 4.0 场景沉浸式分析的可用性方面。

研究方案

所有材料和方法均经乌尔姆大学伦理委员会批准，并按照批准的指南进行。所有参与者都给予了书面知情同意。

1. 建立适当的学习环境

注意:该研究是在受控环境中进行的，以应对复杂的硬件设置。向研究参与者解释了使用的混合现实智能眼镜（见 材料表）和用于2D应用程序的笔记本电脑。

1. 在每位参与者之前检查技术方案;在默认模式下设置。准备问卷并放在参与者旁边。
2. 让参与者在一个会话中解决用例异常值检测和集群识别中的任务（即平均时间为 43 分钟）。
3. 通过欢迎参与者并介绍研究的目标以及整个过程来开始研究。
4. 使用皮肤电导测量设备（见 材料表）的参与者必须坚持短暂的休息阶段，以接受基线测量。只有一半的参与者使用这种设备。
5. 在实验开始之前，所有参与者都必须填写状态特征焦虑量表（STAI）问卷³¹。
   1. 接下来，参与者必须进行心理旋转测试（见 图4，该测试评估了空间想象能力），这是区分高绩效和低绩效者的基础（高绩效者是高级用户，而低绩效者是新手），然后是空间声音测试以测量参与者的空间听力能力。
      注意:心理旋转测试³² 中测试分数的中位数用于区分低绩效和高绩效者。
6. 将参与者随机分为两组;从异常值检测或集群识别任务开始，然后继续执行其他用例。对于集群识别任务，一半的参与者首先从使用的混合现实智能眼镜开始（见材料表），然后使用2D应用程序，而另一半首先从2D应用程序开始，然后使用混合现实智能眼镜（见材料表）。对于异常值检测任务，随机选择一组获得声音支持的组，而该组的另一部分没有声音支持。
7. 会议结束时，参与者必须再次回答状态特征焦虑量表（STAI）问卷³¹ ，以及自行开发和人口统计学问卷。
8. 会话完成后，将生成的数据存储在笔记本电脑的存储中，这些数据由每个开发的应用程序自动记录。

2. 参与者学习方案

1. 为每个参与者准备实验（参见实验房间的 图2 ）。展示台式电脑、二手混合现实智能眼镜，并分发调查问卷。
2. 告知参与者实验将需要 40 到 50 分钟，其中一半在预测试后开始（见研究方案第 3-6 点），首先进行异常值检测测试（见研究方案第 7 点），然后是聚类识别测试（见研究方案第 8 点），而其他人则完成这两项测试，反之亦然（即， 研究协议第8点第7点之前）。
3. 随机决定是否进行皮肤电导测量。如果是，则准备皮肤电导测量装置³³ 并通知参与者戴上装置。要求参与者进行短暂的休息，以接受其压力水平的基线测量。
4. 要求参与者填写状态特征焦虑量表（STAI）问卷³¹ ，并告知他们在实验前测量当前感知的压力。
5. 进行心理旋转测试。
   1. 告知参与者他们的心理旋转能力已被评估，并将他们带到台式电脑前。告知参与者有关测试程序的信息。请注意，他们必须识别在模拟3D空间中具有不同位置的相似对象。
   2. 告知参与者，显示的五个对象中只有两个是相似的，他们将有 2 分钟的时间来完成整个测试。通知参与者可以在给定的 2 分钟内完成七项任务，并告诉他们为每个完成的任务记录绩效度量。
6. 评估空间声音能力。
   1. 告知参与者他们的空间声音能力已得到评估，并将他们带到台式计算机前。告知参与者有关测试程序的信息。向参与者解释必须检测六个声音样本，每个样本将播放 13 秒。
   2. 告知参与者，他们必须检测声音来自的方向（类似于四个指南针方向）。
7. 评估异常值检测技能。
   1. 要求参与者戴上混合现实智能眼镜。向他们解释，必须在为混合现实智能眼镜创建的世界中找到异常值。
   2. 进一步告知他们异常值是红色标记的点，所有其他点都是白色标记的。然后向他们解释，他们必须将目光引导到红色点上才能检测到它。
   3. 进一步告知参与者，不仅提供视觉帮助，还提供环境声音支持他们找到异常值。向参与者提供他们必须完成 8 个异常值任务的信息，这意味着在虚拟世界中必须找到 8 次红色点。对于每个参与者，有 4 个任务支持声音，而 4 个任务不受声音支持。对于每个参与者，随机选择他们是否启动声音支持的任务。然后，从第一个任务开始，无论是否提供声音支持，它都会因任务而异。
   4. 告诉参与者将记录哪些信息:每项任务所需的时间，步行的长度以及他们的最终移动位置与他们的起始位置的关系。最后告诉参与者，如果检测到红色标记的点，它将变为绿色（见 图3）。
8. 评估群集识别技能。
   1. 为参与者随机决定是首先使用混合现实智能眼镜还是将参与者引导到台式计算机。下面仅介绍混合现实设置的过程。如果参与者首先从台式计算机开始，则过程在更改顺序上是相同的，除了语音命令外，仅在使用混合现实解决方案时提供语音命令。
   2. 对于使用混合现实的参与者:要求参与者戴上混合现实智能眼镜。告知参与者如何在使用过的混合现实智能眼镜创建的世界中查找群集。向参与者强调，他们必须通过围绕它们移动来区分重叠的集群。
   3. 对于使用混合现实的参与者:向参与者解释他们可以使用语音命令在虚拟世界和群集中导航。最后告诉参与者，他们必须检测六个集群。
   4. 对于使用混合现实的参与者:请求参与者取下用过的混合现实智能眼镜。将参与者引导至台式计算机，并告诉他们使用台式计算机屏幕上显示的软件。通知他们，必须使用台式计算机上的软件检测与使用的混合现实智能眼镜中显示的相同类型的群集（请参阅图 7 和 图 8）。
9. 要求参与者填写三份问卷，即状态特征焦虑量表（STAI）问卷³¹，一份自行开发的问卷以收集主观反馈，以及一份人口统计学问卷以收集有关他们的信息。
10. 如果参与者在开始时被要求戴上皮肤电导测量装置³³ ，请要求他们将其取下。
11. 通过感谢参与者的参与来减轻参与者的负担。

结果

设置试验的度量值
对于异常值检测任务，定义了以下性能度量:时间、路径和角度。测量结果见 图6 。

记录时间，直到找到红色标记的点（即异常值）。此性能度量指示参与者需要多长时间才能找到红色标记的点。时间在结果中表示为变量"时间"（以毫秒为单位）。

当参与者试图找到红色标记点时，他们的步行路径长...

讨论

关于开发的混合现实智能眼镜（见 材料表）应用，有两个方面特别有益。一方面，将空间声音用于异常值的检测任务是积极的（参见RQ3的结果）。另一方面，语音命令的使用也被积极看待（见 图10）。

关于研究参与者，尽管实证研究招募的参与者数量相当少，但与许多其他工作相比，这个数字具有竞争力。尽管如此，计划根据所示方案进?...

材料

Name	Company	Catalog Number	Comments
edaMove	movisens
HoloLens	Microsoft
Matlab R2017a	MathWorks
RPY2	GNU General Public License v2 or later (GPLv2+) (GPLv2+)		https://pypi.org/project/rpy2/
SPSS 25.0	IBM