一种评估智能手机键盘设计的评估方法和工具包

摘要

所提出的协议集成了各种评估方法，并演示了一种评估智能手机键盘设计的方法。建议将英文字符匹配的对作为输入材料，并将两个键之间的过渡时间用作因变量。

摘要

键盘输入在与广大用户群的人机交互中发挥了至关重要的作用，键盘设计一直是智能设备研究的基本对象之一。随着屏幕技术的发展，智能手机可以收集更精确的数据和指示器，以深入评估键盘设计。手机屏幕的放大导致了不尽如人意的输入体验和手指疼痛，特别是对于单手输入。输入效率和舒适性引起了研究人员和设计师的注意，并提出了带有尺寸可调按钮的曲面键盘，大致符合拇指的生理结构，以优化大屏幕智能手机上的单手使用。然而，它的实际影响仍然模糊不清。因此，该协议展示了一种通用的总结方法，通过自主开发的软件评估曲面QWERTY键盘设计在5英寸智能手机上的效果，该软件具有详细的变量，包括客观行为数据，主观反馈以及每个接触点的坐标数据。关于评估虚拟键盘的现有文献足够多;然而，其中只有少数几个系统地总结了评估方法和过程并进行了反思。因此，该协议填补了这一空白，并提出了一种系统评估键盘设计的过程和方法，以及用于分析和可视化的可用代码。它不需要额外或昂贵的设备，并且易于进行和操作。此外，该协议还有助于获得设计缺点的潜在原因，并启发设计的优化。总之，这种具有开源资源的协议不仅可以成为一种课堂演示实验，以激励新手开始学习，而且还有助于改善用户体验和输入法编辑器公司的收入。

引言

键盘输入是人机交互的主流方式^1，2，随着智能手机的普及，键盘输入获得了数十亿用户。2019年，全球智能手机普及率已达41.5%3，而美国是普及率最高的国家，则高达79.1%4 。截至2020年第一季度，搜狗手机键盘日活跃用户约4.8亿^5.截至2020年5月6日，谷歌Gboard的下载量已超过10亿次^6。

不令人满意的键盘输入体验随着手机屏幕的放大而增加。虽然放大后的屏幕旨在改善观看体验，但它改变了智能手机的重力、尺寸和重量，导致用户反复改变握持姿势以到达偏远地区（例如，右撇子用户的按钮A和Q），从而导致输入效率低下。肌肉拉伸可能导致使用者患有肌肉骨骼疾病，手部疼痛和不同类型的疾病（例如，腕管综合征，拇指骨关节炎和拇指腱鞘炎^{7，8，9，10）。}喜欢单手使用的用户条件更差^11，12.

因此，键盘设计的评估和优化已成为心理学、技术和人体工程学研究的热点。输入法编辑器（IME）公司和研究人员不断提出可变键盘设计和概念，以优化输入体验和效率，包括布局更改和字符重新排序的键盘:Microsoft WordFlow Keyboard^13，Gloryof Kings¹⁴中的功能按钮区域，IJQWERTY¹⁵和Quasi-QWERTY^16。

现有的键盘设计评估方法因研究者而异，除了几个高度接受的指标外，提出了更准确的指标。然而，对于各种指标，没有提供一个总结和系统的协议来演示评估和分析键盘设计的过程。菲茨定律¹⁷及其扩展版FFitts定律¹⁸描述了人机交互，被广泛采用来评估键盘性能19，20，21，22。此外，提出了拇指的功能区域以改善键盘设计，并且它描述了一个弯曲的运动区域，以便拇指舒适地完成输入任务^23。基于这些理论，包括每分钟单词数，单词错误率和主观反馈（感知可用性，感知性能，感知速度，主观工作量，感知的劳累和疼痛以及使用意图等）在内的指标被高度采用，在以前的研究中部分使用24，25，26，27，28，29 除了建模和模拟方法。此外，近年来还使用了每个按钮上接触点的拟合椭圆及其偏移量^30，31来研究输入事件的准确性能。此外，还采用皮肤电反应、心率、肌电活动、手势和身体运动32、33、34、35等方式直接或间接评价用户的肌肉疲劳、舒适度和满意度。然而，这些不同的方法缺乏对所用指标的适当性的反思，新手研究人员可能会混淆为他或她的研究选择适当的指标。

关于键盘设计的研究也很容易进行，操作和分析。随着屏幕技术的蓬勃发展，可以很容易地收集更多的行为数据来深入评估键盘设计（例如，两个键之间的转换时间和每个接触点的坐标数据）。基于上述数据，研究人员可以精确地探索键盘设计的细节，并分析其缺点和优点。与其他人机交互研究相比，便携式智能手机键盘设计的研究也具有很高的应用价值，因为其庞大的用户群不需要昂贵的设备，复杂的材料或巨大的实验室空间。关于研究的问卷，量表和Python脚本是开源的，易于访问。

本研究的目的是总结以前的方法，以展示一种系统，精确和通用的协议来评估和分析智能手机上的键盘设计。示例实验和结果旨在展示与传统QWERTY键盘相比，带有大小可调按钮的曲面QWERTY键盘是否可以优化5英寸智能手机上单手输入的输入体验，并分享数据分析的可视化方法和Python脚本。

Access restricted. Please log in or start a trial to view this content.

研究方案

该研究是按照伦理原则进行的，并得到了清华大学伦理委员会的批准。 图1 显示了评估智能手机键盘设计的过程。

图 1:进行键盘实验和评估键盘设计的一般过程。请点击此处查看此图的放大版本。

1. 准备工作

1. 实验设计
   1. 定义研究问题并提出假设。
   2. 根据假设设计实验并定义自变量（例如，键盘布局，打字姿势）。使用受试者内部设计，以减少参与者之间差异引起的混杂因素和方差。
2. 因变量
   1. 使用物理数据，包括手的长度，输入手指的长度和输入手指的周长，这些都是用卷尺测量的，如图 2所示。
   2. 使用生理数据，包括皮肤电反应（由便携式无线生理检测仪测量）、心率（由便携式无线生理检测仪测量）、肌电活动（通过表面肌电图测量）等。
   3. 使用输入性能:每分钟字数、字错误率和两个键之间的转换时间。
      1. 每分钟字数是指参与者的输入速度（即每分钟正确输入的字数）。
      2. 单词错误率是指参与者的输入准确性（即，输入错误的单词数除以一个条件下的总单词数）。纠正的错误率，未纠正的错误率和总错误率也在以前的研究中使用^过36。
      3. 两个键之间的转换时间是指参与者在正确输入的单词²² 的两个接触点之间的反应时间（即，第二个接触点的开始时间减去第一个字符的离开时间）。
   4. 使用身体运动数据，如手势和身体（手指）运动。它们可以通过动作捕捉系统³⁵收集。
   5. 使用主观数据，例如感知的可用性，使用意图，感知的准确性和速度，感知的劳累和疼痛以及主观工作量等。主观数据可以通过现有的量表和问卷获得，这些量表和问卷高度可靠，可以更好地评估参与者对键盘设计的主观反馈。
      1. 使用 NASA-TLX，这是一个 21 分量表，用于通过心理、身体、时间、绩效、努力和挫折维度来衡量主观工作量。高分表示主观工作量高²⁶。
      2. 使用系统可用性量表，这是一个包含10个项目的5分问卷，一个参与者的回答将计算为从0到100的单个分数。高分表示感知可用性高²⁴。
      3. 使用Borg CR10量表，范围从0到10来测量感知到的疼痛和劳累。高分表示感觉到疼痛和劳累水平高²⁵。
      4. 使用意向使用量表:一个 10 点调查问卷，用于衡量参与者使用技术或产品的可能性。高分表示高水平可能性²⁸。
      5. 感知速度和感知精度都是通过50分制来衡量的，高分表示良好的感知性能²⁸。
   6. 收集每个接触点的坐标数据，并将其更改为每个按钮^30，31上接触点的拟合椭圆（95%CI）。采用每个拟合椭圆的面积以及从拟合椭圆的中心到每个按钮的目标中心的偏移量作为因变量。
      注:坐标数据可通过智能手机上自主开发的应用程序精确采集。如果很难获得坐标数据，客观和主观数据就足以粗略地评估键盘设计。

图2:手的测量值。请点击此处查看此图的放大版本。

3. 材料
   1. 选择实验智能手机。考虑重量、分辨率和屏幕尺寸。
   2. 在智能手机上设计和开发实验软件（可选步骤）。
      注:两个按键之间的转换时间可通过此软件或运动捕捉传感器（即加速度计传感器）自动记录。手动收集它可能很困难（例如，时钟或秒表）。
   3. 根据假设从以下建议中选择输入任务，并对其进行修改以匹配研究目的。
      1. 对于字符对输入任务，将 26 个英文字母随机配对为 676 对，并根据实验设计将它们平均分成几组。
      2. 对于短语（句子）输入任务，请使用长度适中、易于记忆且代表目标语言的短语。如果目标语言是英语，请从500个短语集³⁷中提取15-20个（或基于研究目的）短语或单词。
4. 参与者招募
   1. 使用 G*Power 软件计算样本数量。
   2. 发布调查问卷以招募潜在参与者。
   3. 过滤具有所需特征的潜在参与者，例如年龄，健康，视力，利手性和输入经验。确保参与者的输入体验是平衡的。

2. 程序

1. 向参与者宣读实验的知情同意书，包括实验程序，任务以及他们是否会遇到任何精神或身体伤害。如果参与者同意参加，他们需要签署知情同意书。如果没有，他们可以立即退出。根据知情同意书，参与者也可以在实验的任何阶段退出。
2. 收集物理和人口统计数据。使用卷尺测量每个参与者的手（图2），以消除手的大小差异的影响，并为未来的研究提供可重复的数据。收集人口统计数据，如年龄、性别、精确的输入经验和职业。
3. 对所有设备进行消毒，并清洁将接触设备的参与者的身体部位。
   1. 要求参与者洗手并清洁智能手机的屏幕，以便智能手机的传感器更加敏感。
   2. 要求参与者佩戴便携式无线生理探测器或动作捕捉系统。要求参与者在非惯用手上佩戴便携式无线生理检测腕带，以记录皮肤电反应和心率，避免噪音干扰。
      1. 将动作捕捉系统的被动标记放在指甲、手指近端指骨、颈椎（C3-C5）和手臂上，以收集精确的身体和手指运动。将无线电极贴在两只手臂和两只前臂的皮肤上，以检测肌电图活动（可选步骤）。
   3. 校准实验中使用的所有设备。
4. 练习部分
   1. 让参与者完成训练任务。训练任务用于提高参与者对输入任务和键盘的熟悉程度，以减少练习或不熟悉对实验结果的影响。它由从676个英语对集或500个短语集中随机选择的50对或20个单词组成。只有当他们的输入准确率在150秒内达到80%或更高时，他们才能进入正式试验。示例研究采用输入50对作为训练任务。
5. 主要任务
   1. 让参与者在所有实验条件下完成正式试验。在输入任务期间，它们需要尽快确保其准确性。正式试验是真正的投入任务，将在研究中进行评估和分析。每个对、单词或句子代表一个试验，不同的实验设计产生不同的实验条件。
   2. 让参与者按随机顺序或平衡顺序完成输入任务。输入材料的划分方法如下。首先，676对可以随机分为每个实验条件（即，参与者在完成所有实验条件时都进入了所有对）。其次，在每个实验条件下，676对可以随机分成几个块，参与者需要随机完成这些块。第三，为了输入单词，参与者需要在每个条件下完成大约20项试验。第四，对于输入句子，参与者需要在每个条件下完成大约10-15次试验。研究人员应确保在每个条件下，参与者输入的字符数和单词数之间没有显着差异。示例性研究采用第一种方法，并具有四个实验条件。
   3. 在每个条件之后，要求参与者随机完成所有问卷（评估其主观体验的量表），并给他们1分钟或更长时间的休息时间。
6. 在实验结束时，让每个参与者完成综合问卷（Q&A），以获得主观反馈。
7. 向参与者表示感谢，并提供金钱或物质奖励。

3. 数据分析

1. 通过适当的参数化或非参数化检验进行假设检验
   1. 分析身体，生理和身体运动数据，以测试参与者之间的差异是否会显着影响用户的结果和不表达的输入体验（可选步骤）。
   2. 分析参与者的输入性能，以测试键盘上的输入效率。
   3. 分析主观数据以测试键盘的感知可用性和主观反馈。
   4. 弄清楚练习效果和疲劳效果是否对结果有显著影响。对于每个条件，试验根据时间戳分为两部分（即前半部分和后半部分）。具体来说，在每个条件下，检查前半部分和后半部分之间的输入性能差异，以测试是否存在练习效应或疲劳效应。
   5. 分析每个按钮上接触点的拟合椭圆的面积以及从其中心到每个按钮的目标中心的偏移量（可选步骤）。
      1. 使用软件收集每个按钮的所有接触点，它们大致符合二元高斯分布。每个按钮在 x 和 y 方向上的 95% 置信区间是通过每个接触点的坐标数据（以像素为单位）得出的，每个键盘按钮的 1:1 轮廓上的 95% 置信度椭圆是通过像素坐标上的 Python 脚本拟合的（请参见编码文件 2）。
      2. 使用拟合椭圆 （95% CI） 及其面积来演示每个按钮上接触点的分散性。在每个按钮中，由 Python 脚本计算的拟合椭圆的偏移量定义为拟合椭圆到按钮目标点的中心点，并且可以从 x 和 y 方向表示（即，在 X 轴和 Y 轴中，请参见编码文件 3）。
2. 建模和仿真
   1. 使用数据驱动模型作为键盘位置和方向的函数来预测 Python 脚本的手指移动。手指的所有运动分为八个方向^38（ 从上到下，从底部到顶部，从左到右，从右到左，从左到上到右-下，从右到下到左-上，从左到下到右-上，右-上到左-底）。对于每个方向，计算两个键之间的平均过渡时间以表示手指移动的有效性，用于评估键盘设计（可选步骤）。
   2. 使用线性回归分析构建增强的 Fitts 定律（或其扩展版本 FFitts 定律）模型，以使用 Python 脚本的集成认知架构³⁹ 预测两个关键键之间的转换时间。增强的Fitts定律模型可以基于其对按键位置和有效宽度以及两个键的距离（可选步骤）的分析，对键盘设计提供更好的预测和评估。

Access restricted. Please log in or start a trial to view this content.

结果

代表性研究主要遵循上述方案。该研究采用2（键盘布局:弯曲QWERTY与传统QWERTY）×2（按钮尺寸:大，6.3 mm×9 mm与小，4.9 mm×7 mm）受试者内部设计，通过我们自主开发的软件，通过字符对输入任务，评估与传统QWERTY相比，弯曲的QWERTY是否可以提高输入效率和舒适度（图3).本研究没有采用昂贵的生理检测设备或动作捕捉系统，数据分析也不包含建模或模拟。

Access restricted. Please log in or start a trial to view this content.

讨论

在这项研究中，基于屏幕技术的发展，我们提出了一个总结和通用的键盘设计评估方案，以系统，准确地评估键盘设计。先前研究中的现有指标和方法，由英文字符匹配的对以及两个键之间的过渡时间被集成和修改以生成有效的协议。

在此协议中需要注意几个关键点。变量和指标的选择至关重要，因为它们决定了分析的视角，并且可以在键盘设计评估实验的后期阶段使用它?...

Access restricted. Please log in or start a trial to view this content.

材料

Name	Company	Catalog Number	Comments
Changxiang 6S smartphone	Huawei		Smartphone used in the examplar study
Curved QWERTY keyboard software	Tsinghua University		Developed by authors
SPSS software	IBM		Data analysis software
G*Power software	Heinrich-Heine-Universität Düsseldorf		Sample size calculation
E4 portable wireless wristband	Empatica		Recording galvanic skin response and heart rate
Arqus	Qualysis		Motion capture camera platform
Passive marker	Qualysis		Appropriate sizes: 2.5 mm, 4 mm, and 6.5 mm
Trigno sEMG	Delsys		Recording electromyographic activity
Visual Studio Code	Microsoft		Python editor