스마트폰에서 키보드 디자인을 평가하는 평가 방법 및 툴킷

요약

제시된 프로토콜은 다양한 평가 방법을 통합하고 스마트폰에서 키보드 디자인을 평가하는 방법을 보여줍니다. 영어 문자와 일치하는 쌍은 입력 재질로 제안되며 두 키 간의 전환 시간은 종속 변수로 사용됩니다.

초록

키보드 입력은 방대한 사용자 기반과의 인간-컴퓨터 상호 작용에 필수적인 역할을 해왔으며 키보드 디자인은 항상 스마트 장치에서 연구의 기본 대상 중 하나였습니다. 화면 기술의 개발과 함께, 더 정확한 데이터와 지표는 심층 키보드 디자인을 평가하기 위해 스마트 폰에 의해 수집 될 수있다. 전화 화면의 확대는 특히 한 손으로 입력하는 데 만족스럽지 못한 입력 경험과 손가락 통증을 초래했습니다. 입력 효율성과 편안함은 연구자와 디자이너의 관심을 끌었으며, 엄지 손가락의 생리적 구조와 대략 부여된 크기 조절 식 버튼이있는 곡선 키보드는 대형 스크린 스마트 폰에서 한 손으로 사용을 최적화할 것을 제안했습니다. 그러나, 그것의 실제 효과 모호한 남아. 따라서 이 프로토콜은 객관적인 행동 데이터, 주관적인 피드백 및 각 터치포인트의 좌표 데이터를 포함한 상세한 변수가 있는 자체 개발 소프트웨어를 통해 5인치 스마트폰에서 곡선QWERTY 키보드 디자인의 효과를 평가하는 일반적이고 요약된 방법을 시연하였다. 가상 키보드 평가에 대한 기존 문헌이 충분합니다. 그러나, 그들 중 몇 가지 체계적으로 요약 하 고 평가 방법 및 프로세스에 반영 했다. 따라서, 이 프로토콜은 간격을 채우고 분석 및 시각화를 위해 사용 가능한 코드와 키보드 디자인의 체계적인 평가의 프로세스 및 방법을 제시한다. 추가 또는 고가의 장비가 필요하지 않으며 수행 및 작동이 쉽습니다. 또한, 이 프로토콜은 설계의 단점에 대한 잠재적 인 이유를 얻을 수 있도록하고 디자인의 최적화를 계몽. 결론적으로, 오픈 소스 리소스가 있는 이 프로토콜은 초보자가 학업을 시작하도록 영감을 주는 동급 적인 데모 실험일 뿐만 아니라 사용자 경험과 입력 방법 편집기 회사의 수익 향상에 기여할 수 있습니다.

서문

키보드 입력은 인간-스마트폰 상호 작용^1,2의주류 방법이며, 스마트폰의 침투와 함께 키보드 입력은 수십억 명의 사용자를 가져옵니다. 2019년 전 세계 스마트폰 보급률은 41.5%로^3위를기록했으며, 보급률이 가장 높은 미국은 79.1%로^4위를기록했다. 2020년 1분기까지 소구 모바일 키보드는 일일 활성 사용자 약 4억 8천만^명(5명)을기록했습니다. 2020년 5월 6일까지 Google Gboard는^6배이상 10억 번 이상 다운로드되었습니다.

불만족스러운 키보드 입력 환경은 전화 화면의 확대와 함께 증가합니다. 확대된 화면은 시청 경험을 향상시키는 것을 목표로 했지만, 스마트폰의 중력, 크기 및 무게를 변경하여 사용자가 유지 자세를 반복적으로 변경하여 원격 영역(예: 오른손잡이 사용자의 버튼 A 및 Q)에 도달하도록 하여 입력 비효율성으로 이어졌습니다. 근육의 스트레칭은 근골격계 장애, 손 통증 및 다양한 유형의 질병 (예를 들어, 손목 터널 증후군, 엄지 골관절염 및 엄지 손가락 테노시노염^7,8,9,10)로고통받는 사용자를 유발할 수 있습니다. 한 손으로 사용을 선호하는 사용자는 더 나쁜 조건^11,12에서.

따라서 키보드 디자인의 평가 및 최적화는 심리적, 기술적, 인체 공학적 연구의 화제가 되고 있습니다. 가변 키보드 디자인 및 개념은 지속적으로 입력 방법 편집기 (IME) 회사와 연구원에 의해 제안되어, 레이아웃 변경 및 문자 재정렬 키보드를 포함하여 입력 경험과 효율성을 최적화하기 위해 : 마이크로 소프트 워드 플로우 키보드^13,킹스의 영광의 기능 버튼 영역^14,IJQWERTY^15,그리고 준 QWERTY^16.

키보드 디자인의 기존 평가 방법은 몇 가지 고도로 허용된 지표를 제외하고 연구원마다 다르며 보다 정확한 지표가 제안됩니다. 그러나 다양한 지표를 통해 키보드 디자인을 평가하고 분석하는 과정을 입증하기 위해 요약되고 체계적인 프로토콜이 제공되지 않습니다. Fitts의 법칙^17및 인간-컴퓨터 상호 작용을 설명한 확장 버전 FFitts Law^18은키보드 성능^{19,20,21,22를}평가하기 위해 널리 채택되었습니다. 더욱이, 엄지손가락의 기능영역은 키보드 설계를 개선하기 위해 제안되었고, 엄지손가락이 입력^{태스크(23)를}편안하게 완료하기 위한 곡면 동작 영역을 설명했다. 이러한 이론에 기초하여, 분당 단어, 단어 오류 율 및 주관적인 피드백(인식된 유용성, 인식된 성능, 인식된 속도, 주관적인 작업 부하, 인식된 노력과 고통, 사용 의도 등)을 포함한 지표는 이전 연구^{24,25,26,27,28, 28,29에서} 부분적으로 사용되었습니다. 모델링 및 시뮬레이션 메서드를 제외하고. 또한, 각 버튼에 접점이 장착된 타원과^{오프셋(30),31은} 최근 몇 년 동안 입력 이벤트의 정확한 성능을 조사하기 위해 사용되었다. 또한, 갈바닉 피부 반응, 심박수, 전극 활동, 손 제스처 및 신체^{운동(32,33,34, 35)} 직간접적으로 근육 피로, 편안함 및 사용자의 만족도를 평가하기 위해 채택되었다. 그러나, 이러한 다양한 방법은 사용되는 지표의 적합성에 대한 반사가 부족하고, 초보자 연구원은 자신의 연구에 대한 적절한 지표를 선택하는 혼란 스러울 수 있습니다.

키보드 디자인에 대한 연구는 또한 수행, 작동 및 분석하기 쉽습니다. 화면 기술의 붐으로 키보드 설계를 심층(예: 두 키 간의 전환 시간과 각 터치포인트의 좌표 데이터 사이의 전환 시간)을 평가하기 위해 더 많은 동작 데이터를 쉽게 수집할 수 있습니다. 언급된 데이터를 바탕으로 연구자들은 키보드 디자인의 세부 사항을 정확하게 살펴보고 단점과 장점을 분석할 수 있습니다. 다른 인간-컴퓨터 상호 작용 연구와 비교할 때 휴대용 스마트폰의 키보드 디자인 연구는 고가의 장비, 복잡한 재료 또는 거대한 실험실 공간이 없는 방대한 사용자 기반에 대한 높은 응용 프로그램 가치를 가지고 있습니다. 연구에 대한 설문지, 비늘 및 파이썬 스크립트는 오픈 소스이며 쉽게 액세스 할 수 있습니다.

이 연구의 목적은 스마트 폰에서 키보드 디자인을 평가하고 분석하기 위해 체계적이고 정확하며 일반적인 프로토콜을 보여주기 위해 이전 방법을 요약하는 것입니다. 모범 실험 및 결과는 크기 조정 가능한 버튼이 있는 곡선 QWERTY 키보드가 기존 QWERTY 키보드와 비교할 때 5인치 스마트폰의 한 손 입력 환경을 최적화하고 데이터 분석의 시각화 방법과 파이썬 스크립트를 공유할 수 있는지 를 보여주는 것을 목표로 합니다.

Access restricted. Please log in or start a trial to view this content.

프로토콜

이 연구는 윤리 원칙에 따라 수행되었으며 칭화대학교 윤리위원회의 승인을 받았습니다. 도 1은 스마트폰의 키보드 디자인을 평가하는 과정을 나타낸다.

그림 1: 키보드 실험을 수행하고 키보드 디자인을 평가하는 일반적인 프로세스입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

1. 준비

1. 실험 설계
   1. 연구 문제를 정의하고 가설을 제안합니다.
   2. 가설에 따라 실험을 설계하고 독립적인 변수(예: 키보드 레이아웃, 타이핑 자세)를 정의합니다. 참가자 간의 차이로 인한 혼동 요인과 차이를 줄이기 위해 피사체 내 디자인을 사용합니다.
2. 종속 변수
   1. 도 2에도시된 바와 같이, 손 길이, 입력 손가락의 길이 및 입력 손가락의 둘레를 포함하는 물리적 데이터를 사용하여 테이프 측정에 의해 측정되었다.
   2. 갈바닉 피부 반응(휴대용 무선 생리검출기로 측정), 심박수(휴대용 무선 생리검출기로 측정), 전기촬영 활동(표면 전조에 의해 측정) 등 생리학적 데이터를 사용합니다.
   3. 입력 성능 사용: 분당 단어, 단어 오류 율 및 두 키 간의 전환 시간.
      1. 분당 단어는 참가자의 입력 속도(즉, 분당 올바른 입력 된 단어 의 수)를 나타냅니다.
      2. 단어 오류 율은 참가자의 입력 정확도(즉, 잘못된 입력된 단어의 수가 한 조건 하에서 총 단어 수로 나눈 값)를 나타냅니다. 수정된 오류율, 수정되지 않은 오류율 및 총 오차율도 이전 연구^36에서사용되었습니다.
      3. 두 키 간의 전환 시간은 올바른 입력 된^{단어(22)의} 두 접점 사이의 참가자의 반응 시간을 나타냅니다(즉, 두 번째 터치포인트의 시작 시간은 첫 번째 문자의 출발 시간을 뺀 값).
   4. 손 제스처 및 몸 (손가락) 움직임과 같은 신체 운동 데이터를 사용합니다. 모션 캡처^{시스템(35)에}의해 수집될 수 있다.
   5. 인식된 유용성, 사용 의도, 인식된 정확성 및 속도, 인식된 노력과 고통, 주관적인 워크로드 등과 같은 주관적인 데이터를 사용합니다. 주관적인 데이터는 키보드 디자인에 대한 참가자의 주관적인 피드백을 더 잘 평가하기 위해 매우 신뢰할 수 있을 뿐만 아니라 유효한 기존 스케일 및 설문지를 통해 얻을 수 있습니다.
      1. 정신적, 신체적, 시간, 성능, 노력 및 좌절 치수를 통해 주관적인 워크로드를 측정하는 데 사용되는 21점 척도인 NASA-TLX를 사용합니다. 높은 점수는 높은 주관적인^{워크로드(26)를}나타냅니다.
      2. 10개의 항목이 있는 5점 설문조사인 System 유용성 척도를 사용하며, 한 참가자의 응답은 0에서 100까지의 단일 점수로 계산됩니다. 높은 점수는 높은 인식 된 유용성^(24)를나타냅니다.
      3. 0에서 10까지 의 범위의 보그 CR10 스케일을 사용하여 인식된 통증과 노력을 측정합니다. 높은 점수는 높은 수준의 인식 된 통증과 노력^(25)을나타냅니다.
      4. 사용 의도 척도: 참가자가 기술 또는 제품을 사용할 가능성을 측정하는 데 사용되는 10점 설문조사를 사용합니다. 높은 점수는 높은 수준의^{가능성(28)을}나타냅니다.
      5. 인식된 속도와 인식된 정확도는 모두 50포인트 척도로 측정되며, 높은 점수는 좋은 인식 성능을^{나타냅니다(28).}
   6. 각 터치포인트의 좌표 데이터를 수집하고 각^{버튼(30) 30,31에}접점의 접점의 장착된 타원(95% CI)으로 변경한다. 장착된 타원의 각 영역과 장착된 타원의 중심에서 각 버튼의 대상 중앙에 종속 변수로 오프셋을 채택합니다.
      참고: 좌표 데이터는 스마트폰에서 자체 개발한 애플리케이션에 의해 정확하게 수집될 수 있습니다. 좌표 데이터를 얻기 어려운 경우 객관적이고 주관적인 데이터는 키보드 디자인을 대략적으로 평가하기에 충분합니다.

그림 2: 손의 측정. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

3. 자료
   1. 실험 스마트 폰을 선택합니다. 무게, 해상도 및 화면 크기를 고려하십시오.
   2. 스마트 폰에서 실험 소프트웨어를 설계하고 개발하십시오 (선택적 단계).
      참고: 이 소프트웨어 또는 모션 캡처 센서(예: 가속도계 센서)에서 두 키 간의 전환 시간을 자동으로 기록할 수 있습니다. 수동으로 수집하는 것이 어려울 수 있습니다(예: 시계 또는 스톱워치).
   3. 가설에 따라 다음 제안에서 입력 작업을 선택하고 연구 목적에 맞게 수정합니다.
      1. 캐릭터 쌍 입력 작업의 경우 26개의 영어 문자를 무작위로 676쌍으로 페어링하고 실험 설계에 따라 여러 그룹으로 나눕니다.
      2. 구 (문장) 입력 작업의 경우 길이가 적고 기억하기 쉽고 대상 언어를 대표하는 구를 사용합니다. 대상 언어가 영어인 경우,^37로설정된 500구에서 15-20(또는 연구 목적기준)의 구 또는 단어를 추출한다.
4. 참가자 모집
   1. G*Power 소프트웨어를 사용하여 샘플 크기를 계산합니다.
   2. 잠재적인 참가자를 모집하기 위해 설문지를 게시합니다.
   3. 나이, 건강, 시력, 손수 및 입력 경험과 같은 원하는 특성을 가진 잠재적 참가자를 필터링합니다. 참가자의 입력 환경이 균형을 이루고 있는지 확인합니다.

2. 절차

1. 실험 절차, 작업 및 정신적 또는 신체적 상해가 발생할지 여부를 포함하여 참가자에게 실험의 정보에 입각한 동의 양식을 읽어보십시오. 참가자가 참여에 동의할 경우 정보에 입각한 동의서에 서명해야 합니다. 그렇지 않은 경우 즉시 철회 할 수 있습니다. 정보에 입각한 동의서에 따르면, 참가자는 실험의 모든 단계에서 철회할 수도 있습니다.
2. 인구 통계 학적 데이터뿐만 아니라 물리적 인 데이터를 수집합니다. 테이프 측정값을 사용하여 모든 단일 참가자의 손을측정(그림 2)을사용하여 손 크기 차이의 효과를 제거하고 향후 연구를 위한 반복 가능한 데이터를 제공합니다. 연령, 성별, 정확한 입력 경험 및 직업과 같은 인구 통계 학적 데이터를 수집합니다.
3. 모든 장치를 소독하고 장치를 만질 참가자의 신체 부위를 청소합니다.
   1. 참가자들에게 손을 씻고 스마트폰 의 센서가 더 민감할 수 있도록 스마트폰 화면을 청소하도록 요청하십시오.
   2. 참가자들에게 휴대용 무선 생리 감지기 또는 모션 캡처 시스템을 착용하도록 요청합니다. 참가자들에게 휴대용 무선 생리적 검출 팔찌를 비우세 손에 착용하여 소음 간섭을 피한 아연 도금 피부 반응과 심박수를 기록하도록 요청하십시오.
      1. 손가락 손톱에 모션 캡처 시스템의 수동 마커를 배치, 손가락의 근위 지골, 자궁 경부 척추 (C3-C5), 팔, 정확한 몸과 손가락 움직임을 수집합니다. 두 팔과 두 팔의 피부에 무선 전극을 붙이면 전동 활성(선택적 단계)을 감지합니다.
   3. 실험에 사용된 모든 장치를 교정합니다.
4. 연습 부품
   1. 참가자들이 교육 작업을 완료하도록 합니다. 교육 작업은 참가자가 입력 작업 및 키보드에 대한 친숙함을 향상하여 연습의 효과또는 실험 결과에 익숙하지 않은 부분을 줄이는 데 사용됩니다. 676개의 영어 쌍 세트 또는 500개의 문구 세트에서 무작위로 선택된 50쌍 또는 20단어로 구성됩니다. 입력 정확도가 150초 만에 80% 이상에 도달하면 공식 시험에 들어갈 수 있습니다. 모범 연구는 50 쌍을 훈련 작업으로 입력하는 것을 채택했습니다.
5. 주요 작업
   1. 참가자가 모든 실험 조건하에서 공식적인 시험을 완료하도록 하십시오. 입력 작업 시간 동안 가능한 한 빨리 정확도를 확인해야 합니다. 공식적인 시험은 연구에서 평가되고 분석될 실제 입력 작업입니다. 각 쌍, 단어 또는 문장은 재판을 나타내며 다양한 실험 설계는 서로 다른 실험 조건을 생성합니다.
   2. 참가자가 임의의 순서 또는 균형 잡힌 순서로 입력 작업을 완료해야 합니다. 입력 재질의 분할 방법은 다음과 같습니다. 첫째, 676쌍은 각 실험 조건으로 무작위로 나눌 수 있다(즉, 참가자는 모든 실험 조건을 완료할 때 모든 쌍을 입력했습니다). 둘째, 각 실험 조건하에서 676쌍은 무작위로 여러 블록으로 나눌 수 있으며 참가자는 이러한 블록을 무작위로 완료해야 합니다. 셋째, 입력 단어를 위해, 참가자는 각 조건하에서 약 20의 시험을 완료해야 합니다. 넷째, 문장을 입력하기 위해, 참가자는 각 조건하에서 대략 10-15 의 시험을 완료할 필요가 있습니다. 연구원은 각 조건하에서 참가자가 입력한 문자 수와 단어 수 사이에 큰 차이를 보장해야 합니다. 모범 연구는 첫번째 방법을 채택하고 4개의 실험 조건이 있었습니다.
   3. 각 조건 후에, 참가자에게 무작위로 모든 설문지 (주관적인 경험을 평가하는 척도)를 작성하고 1 분 이상을 쉬도록 요청하십시오.
6. 실험이 끝나면 각 참가자가 포괄적인 설문지(Q & A)를 완료하여 주관적인 피드백을 얻도록 합니다.
7. 금전적 또는 물질적 보상으로 참가자들에게 감사를 표합니다.

3. 데이터 분석

1. 적절한 파라메트릭 또는 비 파라메트릭 테스트에 의한 가설 테스트
   1. 물리적, 생리학적 및 신체 이동 데이터를 분석하여 참가자 간의 차이가 사용자의 결과 및 표현형 입력 경험에 크게 영향을 미칠지 여부를 테스트합니다(선택적 단계).
   2. 참가자의 입력 성능을 분석하여 키보드의 입력 효율성을 테스트합니다.
   3. 주관적인 데이터를 분석하여 키보드의 인식된 유용성과 주관적인 피드백을 테스트합니다.
   4. 연습 효과 와 피로 효과 결과 크게 영향을 미치는지 여부를 알아낸다. 각 조건에 대해, 시험은 타임스탬프에 따라 두 부분으로 나뉩니다(즉, 상반기 및 하반기 부분). 구체적으로, 각 조건하에서, 연습 효과 또는 피로 효과가 존재하는지 여부를 테스트하기 위해 상반기 파트와 하반기 파트 사이의 입력 성능의 차이를 검사한다.
   5. 각 버튼의 접점 타원의 면적과 중앙에서 각 버튼의 대상 중심까지의 오프셋(선택적 단계)을 분석합니다.
      1. 소프트웨어와 각 버튼의 모든 접점을 수집하고, 그들은 대략 바이바리에이트 가우시안 분포와 일치합니다. X-및 y-directions 양쪽의 각 버튼의 95% 신뢰 구간은 픽셀의 각 터치포인트의 좌표 데이터를 통해 파생되며, 각 키보드의 버튼의 1:1 윤곽선을 통해 95% 신뢰도타원이 픽셀 좌표의 Python 스크립트를 통해 장착됩니다(코딩 파일 2참조).
      2. 장착된 타원(95% CI)과 해당 영역을 사용하여 각 버튼의 접점 분산을 보여 줍니다. 각 단추에서 Python 스크립트로 계산된 장착된 타원의 오프셋은 버튼의 대상 점에 장착된 타원의 중심점으로 정의되며 x 및 y-directions(예: X축 및 Y축에서 코딩 파일 3참조)에서 나타낼 수 있습니다.
2. 모델링 및 시뮬레이션
   1. 데이터 기반 모델을 키보드 위치 및 방향의 함수로 사용하여 Python 스크립트의 손가락 움직임을 예측합니다. 손가락의 모든 움직임은 8 방향 (아래쪽, 아래쪽에서 오른쪽으로, 왼쪽에서 오른쪽으로, 오른쪽 아래, 오른쪽 아래까지, 오른쪽 아래에서 왼쪽 상단에, 오른쪽 아래에서 왼쪽 상단에, 왼쪽 아래쪽- 오른쪽-위, 왼쪽-위까지, 오른쪽-위-왼쪽-위)로 나뉩니다. 각 방향에 대해 두 키 간의 평균 전환 시간은 키보드 설계(선택적 단계)를 평가하는 데 사용되는 손가락 이동의 효과를 나타내기 위해 계산됩니다.
   2. 선형 회귀 분석을 사용하여 향상된 Fitts 법(또는 확장 버전, FFitts Law) 모델을 구축하여 파이썬 스크립트에 의해 통합 된 인지 아키텍처^39를 사용하여 두 키 사이의 전환 시간을 예측합니다. 향상된 Fitts의 법률 모델은 키의 위치와 효과적인 폭에 대한 분석과 두 키의 거리(선택적 단계)에 대한 분석을 기반으로 키보드 디자인에 대한 더 나은 예측 및 평가를 제공할 수 있습니다.

Access restricted. Please log in or start a trial to view this content.

결과

대표적인 연구는 주로 언급된 프로토콜을 따르고 있다. 이 연구는 2(키보드 레이아웃: 곡선 QWERTY 대 전통적인 QWERTY) × 2(버튼 크기: 대형, 6.3mm × 9mm 대 작은, 4.9mm × 7mm) 내 설계를 채택하여 곡선 QWERTY가 기존 QWERTY와 비교하여 각기 용량의 다른 크기의 버튼에 비해 입력 효율과 편안함을 향상시킬 수 있는지 여부를 평가합니다(3). ). 본 연구는 고가의 생리검출기 장비 또는 모션 ...

Access restricted. Please log in or start a trial to view this content.

토론

이 연구에서는 화면 기술의 개발을 기반으로 키보드 설계 평가의 요약 및 일반 프로토콜을 제시하여 키보드 디자인을 체계적이고 정확하게 평가했습니다. 이전 연구의 기존 지표 및 방법, 영어 문자와 일치하는 쌍 및 두 키 간의 전환 시간이 통합되고 수정되어 효과적인 프로토콜을 생성합니다.

이 프로토콜에서 몇 가지 중요한 점을 고려해야 합니다. 변수와 지표의 선택은 ?...

Access restricted. Please log in or start a trial to view this content.

자료

Name	Company	Catalog Number	Comments
Changxiang 6S smartphone	Huawei		Smartphone used in the examplar study
Curved QWERTY keyboard software	Tsinghua University		Developed by authors
SPSS software	IBM		Data analysis software
G*Power software	Heinrich-Heine-Universität Düsseldorf		Sample size calculation
E4 portable wireless wristband	Empatica		Recording galvanic skin response and heart rate
Arqus	Qualysis		Motion capture camera platform
Passive marker	Qualysis		Appropriate sizes: 2.5 mm, 4 mm, and 6.5 mm
Trigno sEMG	Delsys		Recording electromyographic activity
Visual Studio Code	Microsoft		Python editor