Name: usability evaluation of augmented reality: a neuro-information-systems study
Uploaded: 2022-11-30T14:40:00
Description: Watch this Scientific Journal Video about Usability Evaluation of Augmented Reality: A Neuro-Information-Systems Study at JoVE.com

本研究得到了江苏省教育厅哲学社会科学研究项目（2018SJA1089）、江苏省政府海外研究奖学金（JS-2018-262）、浙江省自然科学基金（LY19G020018）和国家自然科学基金（72001096）的支持。

这项研究是根据《赫尔辛基宣言》的原则进行的。所有参与者都被告知实验的目的和安全性，并在参与前签署了知情同意书。本研究获得江苏科技大学院校评审委员会的批准。
1. 实验程序
<ol><li>实验准备<ol><li>向参与者解释知情同意书，并要求他们签署同意书。</li>
		<li>对参与者进行色觉测试，以确认他们的颜色辨别力正常。</li>
		<li>向参与者展示30个矿泉水品...

协议中的关键步骤 在实验过程中，考虑了几个步骤以确保结果的可靠性。首先，熟悉实验中使用的矿泉水品牌的参与者被排除在外，因为这些参与者会根据他们对品牌的了解来执行任务。其次，参与者使用其他品牌的矿泉水完成了预实验，以确保参与者熟悉AR和网站操作。第三，佩戴fNIRS探头时，使用黑色头巾覆盖探头，以保护探头免受环境光照射并提高信号质量。第四，佩戴隐形...

以增强现实、虚拟现实、人工智能、可穿戴技术、机器人和大数据为代表的六种与消费者互动的前沿技术正在重塑消费者行为的许多理论模型1。增强现实（AR）是一项新技术，可以增强消费者体验并提高消费者满意度。它将文本信息、图像、视频等虚拟物品叠加到真实场景中，融合虚拟与现实，从而通过解释、引导、评估和预测来增强现实世界中的信息2.AR提供了一种新型的人机交互，为消费者创造了身临其境的购物体验，并导致了许多应用的发展3,4。然而，消费者对AR服务的接受度仍然很低，因此许多公司对采用AR技术持谨慎态度5,6。技术接受模型（TAM）已被广泛用于解释和预测新信息技术的采用行为7,8。根据TAM的说法，新技术的采用意图在很大程度上取决于其可用性9。因此，从TAM的角度来看，消费者对AR服务的接受速度缓慢的可能解释可能与新技术的可用性有关，这突出了在购物时评估AR可用性的必要性10,11。
可用性被定义为指定用户在指定上下文中实现指定目标的有效性、效率和满意度12.目前，评估可用性有两种主要方法：主观评估和客观评估13.主观评价主要依靠使用问卷和量表的自我报告方法。根据这一研究思路，本研究中使用的问卷包括与信息搜索模式相关的五个特征，以实现目标：（1）效率，（2）易用性，（3）记忆力（易于记忆），（4）满意度（信息搜索模式舒适愉快），以及（5）对其他对象的普遍性14,15,16.此外，认知负荷，表示在学习者17的认知系统上执行特定任务时的负荷，是可用性的另一个核心指标18,19。因此，这项研究还使用了NASA任务负荷指数（NASA-TLX）13,20作为主观指标来衡量使用AR购物与使用网站服务购物时的认知负荷。值得注意的是，自我报告方法依赖于个人准确报告其态度和/或先前行为的能力和意愿21，从而留下了错误报告，少报或偏见的可能性。因此，客观措施可以作为传统主观方法的宝贵补充22.
神经信息系统（NeuroIS）方法用于客观评估AR的可用性。NeuroIS由Dimoka等人在2007年ICIS会议上创造，在信息系统（IS）领域引起了越来越多的关注23。NeuroIS使用认知神经科学的理论和工具来更好地了解IS技术的发展，采用和影响24,25。迄今为止，认知神经科学工具，如功能磁共振成像（fMRI），脑电图（EEG），正电子发射计算机断层扫描，脑磁图（MEG）和功能近红外光谱（fNIRS），通常用于NeuroIS研究26,27。例如，Dimoka和Davis使用fMRI来测量受试者与网站互动时的激活，并揭示了感知易用性会影响前额叶皮层（PFC）的激活28。同样，使用脑电图，Moridis等人发现额叶不对称与有用性密切相关29。这些结果表明，PFC可能在可用性中起关键作用。
尽管在以前的NeuroIS研究中已经取得了成就，但这些研究中使用的范式限制了生态有效性低的受试者的身体运动，限制了他们的理论和实践贡献。在购物时与AR等技术互动需要自由的身体运动，而主题限制在很大程度上损害了消费者体验，如He等人22所讨论的那样。因此，需要具有高生态有效性的脑成像工具进行信息系统的可用性测试。在这方面，fNIRS具有独特的技术优势：在fNIRS实验中，受试者可以在一定程度上自由移动30 。例如，以前的研究已经测量了受试者在几种户外活动中的大脑激活，例如使用便携式fNIRS31骑自行车。此外，fNIRS成本低廉，能够长时间测量大脑激活32。在这项研究中，fNIRS用于客观地测量受试者在使用AR与网站的购物服务时的认知负荷水平。
近年来，眼动追踪已成为一种有价值的心理生理学技术，用于在可用性测试中检测用户的视觉注意力33，并且还广泛用于NeuroIS研究34。该技术依赖于眼睛 - 心灵假设，该假设观察者的焦点到达注意力所指向的地方，视觉注意力代表心理过程，视觉注意力模式反映人类认知策略35,36,37。在AR研究领域，Yang等人使用眼动追踪发现AR广告通过增加消费者的好奇心和注意力来改善消费者对广告的态度38。在目前的研究中，眼动追踪用于测量受试者的注意力，包括总注视持续时间、平均注视持续时间、注视频率、扫视频率、平均扫视持续时间和平均扫描路径长度等参数。
综上所述，本研究提出了一种以AR应用相结合的主观客观评价的可用性测试方法。使用可用性问卷和NASA-TLX量表进行主观评估，并使用fNIRS和眼动追踪相结合的多模态测量进行客观评估39,40。
试验设计 实验材料：为了模拟现实生活中的购物环境，在实验室中搭建了一个产品架，并在货架上放置了两种不同品牌的矿泉水作为实验材料。选择矿泉水作为必需品，是因为参与者不会因职业背景、性别和购买能力而在主观评估中产生偏见。控制品牌的价格、产能和熟悉度（见 材料表），以消除不相关变量的干扰。
可用性测试包括两个条件：基于智能手机的AR应用程序（补充图1）和网站（补充图2）。AR应用程序是基于AR引擎编程的。该网站是使用Python开发的，前端基于Bootstrap，后端基于Flask。AR应用程序和网站在智能手机上运行和浏览。在两种不同品牌的矿泉水中，一种在AR条件下用作实验材料，另一种在网站条件下使用。
实验任务：参与者被要求执行来自物联网应用环境的四个信息搜索任务：水质、储存温度、匹配饮食和每升价格。这四个信息项是消费者在购买矿泉水时通常会注意的。参与者完成任务没有时间限制。
水质：矿泉水的质量通常包括两个指标：总溶解固体（TDS）和pH值。TDS反映矿物质含量，pH值描述水的酸度/碱度。这两个指标与矿泉水中含有的微量元素有关，影响口感。例如，Bruvold和Ongerth根据其TDS含量41将水的感官质量分为五个等级。Marcussen等人发现，水具有良好的感官品质，范围为100-400毫克/升TDS42。本研究中使用的两个品牌矿泉水的TDS和pH值分别使用TDS和pH计测量，然后在AR应用程序和网站上标记。在执行任务时，参与者需要报告矿泉水的TDS和pH值，并确认这些值是否在标称范围内。在AR条件下，参与者可以通过扫描瓶装水来获取此信息。在网站条件下，参与者需要执行四个步骤：（1）在矿泉水瓶背面找到数字代码，（2）在查询框中输入数字代码以获取矿泉水的TDS和pH值，（3）在网站上搜索矿泉水的标称范围，以及（4）口头报告TDS和pH值是否在产品的标称范围内。
储存温度：由于温度的变化，矿泉水的质量在运输和储存过程中可能会下降。实验表明，矿泉水在运输和储存过程中的适宜温度在5°C至25°C之间。在这个温度范围内，水没有难闻的气味43。在本实验中，在AR应用程序和网站上标记了两种矿泉水在不同地方的储存温度。在执行任务时，参与者需要报告水的储存位置和相应的温度。在AR条件下，参与者可以通过扫描瓶装水来获取此信息。在网站条件下，参与者可以通过在查询框中输入数字代码来获取此信息。
搭配饮食：不同品牌的矿泉水因其独特的矿物质成分和气泡含量而适合不同的菜单44.在本实验中，两种矿泉水的饮食建议在AR应用程序和网站上进行了标记。在执行任务时，参与者被要求报告矿泉水如何与菜单中的食物相匹配。在AR条件下，参与者可以通过扫描水瓶来获取此信息。在网站条件下，参与者可以在网站上搜索此信息。
每升价格：目前，中国矿泉水瓶上的标签不显示每升价格信息。这使得消费者难以区分不同类型矿泉水的单价差异。因此，本实验要求参与者报告每升价格。在AR应用程序中，参与者可以通过扫描瓶装水直接获得每升的价格。在网站条件下，可以根据标签上的单价和数量计算信息。
本研究采用受试者内设计，受试者纳入和排除标准如 表1所述。共有40名参与者完成了实验（20名男性和20名女性，平均年龄= 21.31±1.16岁）。所有参与者均为江苏科技大学本科生，随机分为两组（A组和B组）。为了避免顺序效应，实验顺序在两组之间进行了平衡（A / B）。具体来说，一组先执行AR条件，然后执行网站条件，而另一组先执行网站，然后执行AR条件。参与者被要求完成实验准备，佩戴仪器，并执行实验任务。实验间隔设置为10 s，以允许皮质激活恢复到基线水平，避免后续任务中的交叉影响。在AR/网站实验结束时，参与者被要求完成可用性问卷和NASA-TLX量表。实验流程图如图 1所示。实验设置的照片如图 2所示。
表1：研究的纳入和排除标准。<a href="https://www.jove.com/files/ftp_upload/64667/Table%201%20Inclusion%20and%20exclusion%20criteria.xlsx" target="_blank">请按此下载此表格。</a>
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/64667/64667fig1v2.jpg"> 图 1：实验流程图。每个实验持续~45分钟，任务之间的休息时间为10秒。<a href="https://www.jove.com/files/ftp_upload/64667/64667fig1v2large.jpg" target="_blank">请点击此处查看此图的大图。</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64667/64667fig02.jpg"> 图 2：实验场景的示例设置。 展示了实验材料、参与者和设备。 <a href="https://www.jove.com/files/ftp_upload/64667/64667fig02large.jpg" target="_blank">请点击此处查看此图的大图。</a>

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>AR Engine</td>
			<td>Unity Technologies</td>
			<td>2020.3.1</td>
			<td>AR development platform</td>
		</tr>
		<tr>
			<td>AR SDK</td>
			<td>PTC</td>
			<td>Vuforia Engine 9.8.5</td>
			<td>AR development kit</td>
		</tr>
		<tr>
			<td>Eye Tracker (eye tracking glasses)</td>
			<td>SMI, Germany</td>
			<td>SMI ETG</td>
			<td>Head-mounted eye tracking 
			system</td>
		</tr>
		<tr>
			<td>Eye Tracker Recording software</td>
			<td>SMI, Germany</td>
			<td>iViewETG Software</td>
			<td>Eye Tracker Recording software</td>
		</tr>
		<tr>
			<td>fNIRS probes</td>
			<td>Artinis Medical Systems BV, Netherlands</td>
			<td>Artinis PortaLite</td>
			<td>Light source: Light emitting diodes 
			Wavelengths: Standard nominal 760 and 850 nm</td>
		</tr>
		<tr>
			<td>fNIRS software</td>
			<td>Artinis Medical Systems BV, Netherlands</td>
			<td>OxySoft 3.2.70</td>
			<td>fNIRS data recording and analysis software</td>
		</tr>
		<tr>
			<td>Mineral Water</td>
			<td>Groupe Danone</td>
			<td>Badoit&#160;</td>
			<td>Experimental material in the AR condition&#160;&#160; Capacity: 330ml 
			Price: <img alt="Equation 1" src="/files/ftp_upload/64667/64667eq01.jpg" style="margin: auto;" />6</td>
		</tr>
		<tr>
			<td>Mineral Water</td>
			<td>Nestl&#233;</td>
			<td>Acqua Panna</td>
			<td>Experimental material in the website condition Capacity: 250ml 
			Price: <img alt="Equation 1" src="/files/ftp_upload/64667/64667eq01.jpg" style="margin: auto;" />5.4</td>
		</tr>
		<tr>
			<td>Skin Preparation Gel</td>
			<td>Weaver and Company</td>
			<td>Nuprep</td>
			<td>Clean the forehead skin of the participants</td>
		</tr>
		<tr>
			<td>Smartphone</td>
			<td>Xiaomi</td>
			<td>Redmi K30 Ultra</td>
			<td>Smartphone-based AR application and website</td>
		</tr>
	</tbody>
</table>

usability evaluation of augmented reality: a neuro-information-systems study

本研究介绍了管理信息系统（MIS）中新兴技术可用性测试的实验范式。可用性测试包括主观和客观评估。对于主观评估，采用了可用性问卷和NASA-TLX量表。为了进行客观评估，使用了神经信息系统（NeuroIS）的方法。从NeuroIS的角度来看，本研究使用移动fNIRS和眼动追踪眼镜进行多模态测量，解决了真实世界行为实验中使用的认知神经科学工具的生态有效性问题。这项研究使用集成到物联网（IoT）中的增强现实（AR）作为实验对象。比较两种信息搜索模式（AR与网站）在神经影像数据、生理数据、可用性问卷和NASA-TLX量表数据方面的差异，AR信息搜索在消费决策过程中与网站信息搜索相比，效率更高，认知负荷更低。可用性实验结果表明，AR作为零售业的新兴技术，可以有效提升消费者体验，增加消费者购买意愿。本研究中结合主观和客观评估的实验范式可以应用于新兴技术的可用性测试，例如增强现实、虚拟现实、人工智能、可穿戴技术、机器人和大数据。它为采用新兴技术的人机交互中的用户体验提供了实用的实验解决方案。

本研究的代表性结果包括可用性问卷结果、眼动追踪数据分析、NASA-TLX量表数据、fNIRS数据分析、动态认知负荷变化等。对于可用性问卷结果，进行了眼动追踪数据分析、NASA-TLX量表数据和fNIRS数据分析、正态性检验和差异检验。对于动态认知负荷变化，本研究选择了来自单个参与者的fNIRS和眼动追踪数据，以证明多模态测量的有效性。
可用性问卷结果 可用性问?...

Watch this Scientific Journal Video about Usability Evaluation of Augmented Reality: A Neuro-Information-Systems Study at JoVE.com

Usability Evaluation of Augmented Reality: A Neuro-Information-Systems Study

本研究提出了一种结合主观和客观评估的可用性测试的实验范式。客观评估采用神经信息系统（NeuroIS）方法，主观评估采用可用性问卷和NASA任务负荷指数（NASA-TLX）量表。

增强现实的可用性评估：神经信息系统研究

This study introduces an experimental paradigm for a usability test of emerging technologies in a management information system (MIS). The usability test ...

本研究介绍了管理信息系统中新兴技术的可用性测试的实验范式。可用性测试包括主观和客观评估。移动fNIRS和眼动追踪眼镜用于多模态测量，解决了现实世界行为实验中使用的认知神经科学工具的生态有效性问题。演示该程序的将是我实验室的硕士生张迪。硕士生王毅将担任学员。首先向参与者解释知情同意书，并要求他们签署同意书。接下来，对参与者进行色觉测试，以确认他们有正常的辨色能力。然后向参与者展示30个矿泉水品牌，并指导他们选择自己熟悉的品牌，以确保他们不熟悉实验中使用的矿泉水品牌。接下来，向参与者介绍实验程序。使用研究中未使用的矿泉水品牌对参与者进行预实验，以使他们熟悉增强现实或AR和网站操作。要佩戴fNIRS探头，请用皮肤制备凝胶清洁参与者的前额皮肤。用保鲜膜包裹探头，避免出汗情况，并按国际10至20系统用黑色头带固定在FP一号和FP二号位置。然后用黑色头巾盖住探头。使用眼动追踪眼镜捕捉真实环境中的眼球运动。如果需要，在眼动追踪眼镜的头部单元上安装磁性镜片，并确保参与者可以在矫正视力的情况下自由走动。一旦所有参与者都熟悉实验，指导A组的每个参与者首先进行AR实验，然后进行网站实验。同样，要求B组的参与者先进行网站实验，然后再进行AR实验。确保参与者舒适地坐在椅子上休息两分钟，以便在实验前收集基线数据。要测量fNIRS数据，请打开记录软件并通过蓝牙适配器将探头连接到笔记本电脑。然后以10赫兹的采样频率记录参与者前额叶皮层中氧合血红蛋白的浓度变化。检查接收到的光强度和组织饱和指数质量以控制数据质量。确保接收到的信号位于 1 到 95% 之间要测量眼动追踪，请设置眼动追踪眼镜的硬件。将眼动追踪眼镜的插头连接到笔记本电脑上的 USB 端口。然后打开录音软件，将采样频率设置为120赫兹。通过要求参与者将焦点集中在其视野中的可识别物体上来执行单点校准 在 0.6 米处。将十字准线光标移动到场景视频中的焦点对象，然后单击该对象。然后点击软件界面上的录制按钮开始录制。在参与者完成AR和网站的任务后，向他们展示可用性问卷和NASA TLX量表。完成实验后，使用70%异丙醇垫清洁探针的发射器和接收器。可用性问卷的中位数差异得分显示，参与者在AR条件下的用户体验比在网站条件下更好。眼动追踪数据显示，参与者在使用AR时的信息搜索效率高于网站。NASA TLX量表的中位数差异分数表明，AR技术导致认知负荷低于网站技术。fNIRS数据分析了平均氧合、血红蛋白和网站条件的差异，显示出动态认知负荷的变化。熟悉实验中使用的矿泉水品牌的参与者被排除在外，因为他们会根据他们对品牌的了解来执行任务。本研究提出了一种结合主观和客观评价的实验范式，可以有效地评估新兴技术的可用性。

Research

JoVE Journal

Behavior

Assessment and Evaluation of the High Risk Neonate: The NICU Network Neurobehavioral Scale

评估和高危新生儿的评价：新生儿重症监护病房的网络神经行为量表

There has been a long-standing interest in the assessment of the neurobehavioral integrity of the newborn infant.  The NICU Network Neurobehavioral Scale ...

科研

行为学

Two-photon Calcium Imaging in Mice Navigating a Virtual Reality Environment

在小鼠导航虚拟现实环境的双光子钙成像

In recent years, two-photon imaging has become an invaluable tool in neuroscience, as it allows for chronic measurement of the activity of genetically ...

Development of a Virtual Reality Assessment of Everyday Living Skills

每天生活技能的虚拟现实评估的发展

Cognitive impairments affect the majority of patients with schizophrenia and these impairments predict poor long term psychosocial outcomes.&#160; ...

Evaluation of a Smartphone-based Human Activity Recognition System in a Daily Living Environment

在日常生活环境评价一个智能手机为基础的人类活动识别系统

An evaluation method that includes continuous activities in a daily-living environment was developed for Wearable Mobility Monitoring Systems (WMMS) that ...

Force and Position Control in Humans - The Role of Augmented Feedback

力和位置控制人类 - 增强反馈的作用

During motor behaviour, humans interact with the environment by for example manipulating objects and this is only possible because sensory feedback is ...

Mobile Game-based Virtual Reality Program for Upper Extremity Stroke Rehabilitation

基于移动游戏的上肢卒中康复虚拟现实程序

Stroke rehabilitation requires repetitive, intensive, goal-oriented therapy. Virtual reality (VR) has the potential to satisfy these requirements. ...

Tickling, a Technique for Inducing Positive Affect When Handling Rats

痒, 一种诱发大鼠正向影响的技术

Handling small animals such as rats can lead to several adverse effects. These include the fear of humans, resistance to handling, increased injury risk ...

Measuring the Kinematics of Daily Living Movements with Motion Capture Systems in Virtual Reality

虚拟现实中运动捕捉系统的日常生活运动运动学测量

The inability to complete instrumental activities of daily living (IADL) is a precursor to various neuropsychological diseases. Questionnaire-based ...

A Networked Desktop Virtual Reality Setup for Decision Science and Navigation Experiments with Multiple Participants

面向多参与者的决策科学与导航实验的网络化桌面虚拟现实设置

Investigating the interactions among multiple participants is a challenge for researchers from various disciplines, including the decision sciences and ...