의사소통 문제가 있는 경우의 제스처 생성 검사

요약

여기에서는 대인 커뮤니케이션에서 제스처 생성에 미치는 영향을 조사하기 위해 대화 상대 가시성을 조작하는 프로토콜을 제시합니다. 이 프로토콜은 구현된 작업, 검사된 제스처 및 통신 방식에 유연합니다. 제 2 언어 학습자 및 자폐 스펙트럼 장애가 있는 개인과 같이 의사 소통에 문제가 있는 인구에게 이상적입니다.

초록

화자가 대화 상대에게 말할 때 공동 연설 손 제스처를 수정하는 이유를 이해하면 이러한 제스처가 대면 및 가상 상황에서 대인 커뮤니케이션에 어떻게 기여하는지에 대한 귀중한 통찰력을 얻을 수 있습니다. 현재 프로토콜은 의사 소통이 어려울 때 가시성이 제스처 생성에 미치는 영향을 조사하기 위해 대면 컨텍스트에서 화자와 대화 상대의 가시성을 동시에 조작합니다. 이 프로토콜에서 화자는 익숙하지 않은 제 2 언어로 단어를 가르치거나 다른 참가자 또는 연합 인 대화 상대에게 만화 삽화의 이벤트를 이야기하는 것과 같은 작업을 완료합니다. 이러한 작업을 수행할 때 화자는 대화 상대에게 보이거나 보이지 않으며 화자는 참가자에게 보이거나 보이지 않습니다. 단어 학습 과제에서 화자와 대화 상대는 서로 보이지 않는 화자와 대화 상대보다 손 모양과 움직임을 통해 의미를 전달하는 더 많은 표현 적 제스처를 생성합니다. 내러티브 재구성 프로토콜에서 자폐 스펙트럼 장애(ASD)를 가진 청소년은 보이지 않는 대화 상대보다 눈에 보이는 대화 상대에게 말할 때 더 많은 제스처를 생성했습니다. 현재 프로토콜의 주요 강점은 조사되는 작업, 인구 및 제스처 측면에서 유연성이며, 현재 프로토콜은 대면 컨텍스트뿐만 아니라 화상 회의에서도 구현할 수 있습니다. 따라서 현재 프로토콜은 의사 소통에 문제가 있는 인구의 대인 의사 소통에서 그 역할을 명확히 함으로써 제스처 생성에 대한 이해를 발전시킬 수 있는 잠재력을 가지고 있습니다.

서문

말과 동시에 생성되는 의미 있는 손 움직임인 공동 말하기 제스처(이하 제스처)는 언어적 내용을 보완하는 정보를 전달함으로써 대인 커뮤니케이션에 기여합니다¹. 가장 널리 사용되는 분류법 ^2,3에 따르면, 제스처는 세 가지 범주로 나눌 수 있습니다 : 형태와 움직임을 통해 지시 대상을 전달하는 표현 제스처 (예 : 비행을 전달하기 위해 손을 앞뒤로 펄럭임); 간단한 튕김 동작을 통해 강조를 전달하는 비트 제스처(예: "right now"라는 구문의 각 단어와 함께 주로 사용하는 손을 약간 아래로 이동); 그리고 가리키기를 통해 개체의 존재 또는 부재에 주의를 기울이는 deictic 제스처(예: 엄지손가락을 뒤로 흔들어 자신 뒤에 있는 무언가를 표시함). 표상적 제스처는 두 가지 추가 범주로 더 나눌 수 있습니다 : 구체적인 지시 대상(예: 새)을 전달하는 상징적 제스처와 은유적 지시 대상(예: 엑스터시)을 전달하는 은유적 제스처. 몸짓과 말은 동일한 개념적 내용에서 발생하기 때문에 의미 ^4,5에서 밀접하게 관련되어 있습니다. 몸짓은 의사소통을 위한 상징적인 시각 매체 역할을 함으로써 구어이해에 어려움이 있을 때 이를 보완하는 데 도움이 될 수 있다.⁶ 이는 구어에 대한 제한된 숙련도와 같은 개인적 요인으로 인한 것^이든7,8 또는 말을 듣는 데 어려움이 있는 환경적 요인으로 인한 것이든 ^9,10. 따라서 제스처는 대면 및 가상 상황에서 대인 커뮤니케이션을 이해하는 데 필수적이며, 화자와 청취자가 정보를 다중 방식으로 전달하고 이해하는 방법에 대한 통찰력을 제공합니다.

제스처가 대인 커뮤니케이션에 어떤 영향을 미치는지 측정하기 위해 몇 가지 구조화된 대화형 작업이 개발되었습니다. 이러한 과제에는 참가자가 자신의 개인적인 경험을 설명함으로써 질문에 응답하는 인터뷰가 포함됩니다^11,12; ^13,14를 설명하기 위해 참가자에게 정적 이미지를 제공하는 이미지 설명; 퍼즐 풀기, 참가자가 구성 요소를 공간적으로 올바르게 배치하여 퍼즐을 푸는 방법을 설명하는 것^15,16; 참가자가 청취자에게 익숙하지 않은 위치로 지시를 내리는 방향 제공(17,18,19); 그리고 내러티브 텔링(narrative retelling)은 참가자들이 일련의 사건을 묘사한 만화를 보고 그 사건을 다시 이야기하는 것이다 20,21,22. 위에서 인용한 연구에서 사용된 많은 과제는 공간적 내용과 행동을 포함하며, 제스처는 특히 효과적으로 전달한다 15,23,24,25. 위에서 인용한 연구의 과제에서 참가자들은 일반적으로 언어와 함께 제스처를 생성하며, 제스처를 통해 전달되는 정보와 동시에 생성된 언어와의 관계를 평가합니다. 또는, 참가자는 이러한 과제 중 하나를 완료할 때 누군가가 몸짓을 하고(또는 몸짓을 하지 않고) 언어를 생성하는 녹음을 볼 수 있으며, 그 후 참가자의 이해력을 평가합니다. 이러한 모든 작업은 대면뿐만 아니라 가상으로 수행될 수 있으므로 다양한 참가자로부터 데이터를 수집하고 여러 양식을 비교할 수 있습니다.

대인 커뮤니케이션에 대한 제스처의 영향은 다양한 참가자와 함께 구현되었습니다. 특히 관심을 끈 것은 의사소통에 문제가 있는 인구집단으로, 소아 26,27,28,29,30, 제2언어(L2) 사용자 ^8,31,32,33, 자폐 스펙트럼 장애(ASD)^20,21,22,34, 특정 언어 장애 35,36,37, 실어증 환자 ^12,38, 뇌 손상 환자³⁹, 말을 더듬는 개인^40,41. 이 연구는 이러한 인구 집단 중 다수가 의사 소통을 촉진하기 위해 제스처를 활용할 수 있지만 자폐 스펙트럼 장애가 있는 개인과 같은 일부는 효과적인 의사 소통을 위해 제스처를 활용하는 데 어려움을 겪을 수 있음을 밝혔습니다. 이 연구 결과는 이러한 인구 집단이 청중 디자인과 환경적 단서를 고려하는 정도에 기인할 수 있음을 시사하며, 이러한 설명이 의사 소통에 미치는 제스처의 영향에 대한 실질적인 의미를 강조합니다.

제스처가 대인 커뮤니케이션에 미치는 영향에 대한 통찰력을 제공하는 핵심 기능은 대화 상대 가시성입니다. 제스처 연구 분야에서 매우 중요한 질문은 참가자가 자신의 이익을 위해 제스처를 취하는 정도이며, 이는 신체에 대한 인지 기능의 부담을 나타내는 정도와 대화 상대의 이익을 나타내며 의사 소통을 위해 제스처를 사용하는 정도입니다. 이 질문은 불투명 칸막이(^26,42)의 사용을 통한 대면 상황에서의 제스처 생성에 대한 대담자의 (비)가시성의 영향을 조사함으로써 조사되었으며, 전화 맥락⁽¹³) 및 가상 맥락⁽⁴³)에서도 조사되었다. 전반적으로, 이 연구의 결과는 화자가 자신의 이익을 위해 제스처를 취하지만 보이지 않는 대화 상대보다 눈에 보이는 대화 상대와 의사 소통 할 때 더 많은 표상적 제스처를 생성하는 반면, 비트 제스처 생성은 대화 상대의 가시성에 관계없이 유사하다는 것을 나타냅니다. 따라서 그들은 표현 제스처가 다양한 맥락에서 의사 소통을 촉진한다고 제안하며, 화자가 대화 상대의 관점을 고려하고 그에 따라 제스처 생성을 수정할 것을 제안합니다. 대담 자 가시성의 효과를 조사한 이전 연구는 대인 커뮤니케이션에 대한 제스처의 기여도에 대한 통찰력을 제공하는 데 중요한 역할을 했지만, 일반적으로 개발 도상국에서 모국어로서의 영어(L1)에 초점을 맞추었으므로 연구 결과를 의사 소통 문제가 있는 인구로 확장할 수 있는지 여부는 불분명합니다. 이러한 두 집단은 목표 언어로 말을 통해 의사 소통하는 데 어려움을 겪을 수 있는 L2 학습자와 언어 및 비언어적 의사 소통이 비정상적인 ASD 아동입니다. 더욱이, 가상 맥락에서 대화 상대 가시성이 제스처 생성에 미치는 영향을 조사한 연구는 거의 없으며, 이를 통해 참가자에 대한 대담자의 가시성 효과가 대화 상대에 대한 참가자의 가시성 효과와 분리될 수 있으므로 이러한 맥락에서의 결과의 재현 가능성은 현재 불분명합니다. 마지막으로, 일부 연구는 대화 상대 가시성이 특정 유형의 제스처 생성에 미치는 영향에 초점을 맞추었으므로 다른 유형의 제스처 생성이 대화 상대 가시성에 의해 유사하게 영향을 받는지 여부는 불분명합니다.

아래에 설명된 프로토콜은 도전적인 상황에서 제스처 생성을 검사하기 위해 대화 상대 가시성을 조작합니다: ASD를 가진 개인의 L2 단어 학습 및 내러티브 말하기. L2 단어 학습 프로토콜은 대화형 단어 학습 패러다임을 통해 제스처가 의사소통에 기여하는 것을 조사하는 연구와 제스처 관찰이 L2 단어 학습에 미치는 영향을 조사하는 연구를 연결합니다. 이 패러다임에서는 대상 언어에 익숙하지 않은 참가자가 해당 언어로 된 단어를 학습한 다음 이 단어를 대상 언어에 익숙하지 않은 다른 참가자에게 가르치므로 대화 맥락에서 L2 습득의 초기 단계에서 제스처 생성에 대한 대화 상대 가시성의 영향을 조사할 수 있습니다. 만화 재말하기 패러다임은 널리 사용되는 내러티브 재말하기 작업을 사용하는데, 대화 상대의 가시성이 새로운 인구, 즉 ASD를 가진 청소년으로 조작될 때 제스처 생성의 차이가 관찰되었습니다. 몸짓 생성을 포함한 언어 발달은 청소년기에 성숙하고 ASD는 몸짓을 포함한 언어적 및 비언어적 의사 소통에 어려움이 있을 뿐만 아니라 대화 상대의 의사 소통 요구에 대한 민감성이 부족하기 때문에 이 인구가 관심을 끌고 있습니다. 이러한 프로토콜은 함께 제스처 생성이 대인 커뮤니케이션이 어려울 때 발화에 의존하는 정도에 대한 통찰력을 제공하며, 반대로 이를 보상할 수 있습니다.

L1 영어 화자 13,26,42,43에 의한 청취자 가시성이 제스처 생성에 어떤 영향을 미치는지 보여주는 결과를 바탕으로, 참가자들은 보이지 않는 대화 상대보다 보이는 사람과 L2 단어를 논의할 때 더 많은 전반적인 제스처와 더 많은 표현적 제스처를 생성할 것이라는 가설을 세웠다. ASD^20,44에서 몸짓 생성의 이상을 보여주는 결과를 바탕으로 ASD를 가진 청소년은 일반적으로 발달 중인(TD) 청소년보다 전반적인 몸짓을 더 적게 생산하고 더 적은 표상적 및 비식적 제스처를 생성할 것이라는 가설을 세웠습니다. 더욱이, ASD는 관점을 취하는 데 어려움이 있다는 연구 결과를 바탕으로⁴⁵ ASD를 가진 청소년의 몸짓 생성은 눈에 보이는 대화 상대와 보이지 않는 대화 상대가 있을 때 크게 다르지 않을 것이라는 가설을 세웠다. 마지막으로, 진단과 가시성 사이의 상호 작용이 예측되어 ASD가 있는 청소년의 가시성에 따라 제스처 생성이 다르지 않지만 TD 청소년의 경우 차이가 있을 것으로 예측되었습니다.

Access restricted. Please log in or start a trial to view this content.

프로토콜

모든 참가자는 서면 동의를 제공했으며 모든 프로토콜은 호스트 기관의 기관 검토 위원회에서 승인되었습니다. L2 단어 학습 및 만화 말하기 프로토콜은 대표적인 결과가 기반이 되는 연구에서 구현되었습니다^21,33. 이러한 프로토콜은 현재까지 대면 상황에서만 수행되었지만, 여기에 설명되지 않은 대담자와 참가자의 가시성을 조작하는 관련 프로토콜이 현재 수행되고 있으며, 이러한 맥락에서 재현 가능성에 대한 통찰력을 제공하기 위해 수행되고 있으며, ASD를 가진 개인과 같이 의사 소통 문제가 있는 인구로 확장할 계획입니다.

1. 참가자

참고: 각 연구의 참가자 특성에 대한 필수 제약 조건을 존중하면서 표본은 가능한 한 더 많은 모집단을 대표해야 합니다.

1. L2 단어 학습 프로토콜에 대한 참가자 모집
   1. 정상 또는 정상으로 교정된 시력과 정상 청력을 가진 18세 이상의 참가자 중 L1 영어 구사자입니다. 이 연구가 초기 단계의 L2 단어 학습에 대한 제스처의 영향을 조사하도록 하려면 목표 언어인 헝가리어에 대한 지식이 없는 참가자를 모집합니다.
2. 만화 재구성 프로토콜 참가자 모집
   1. ASD 진단을 받고 실험 과제를 완료할 수 있는 연령(Morett et ^al.21의 경우 10-20세) 또는 일반적으로 발달 중인 (TD)의 참가자를 모집합니다.
      1. 참가자가 실험 과제를 성공적으로 완료할 수 있도록 하기 위해, L1 영어 구사자이고, 정상 또는 정상으로 교정된 시력 및 청력을 가지고 있으며, 표준화된 평가를 통해 연구 전 또는 연구 시점에 측정된 85 이상의 전체 IQ를 가진 참가자를 모집한다⁴⁶.
      2. 이 연구가 몸짓 생성에 대한 ASD의 특정 효과를 조사하기 위해 간질, 뇌수막염, 뇌염, 당뇨병, 소아 붕괴 장애 또는 달리 명시되지 않은 전반적 발달 장애(PDD-NOS)가 없는 ASD가 있는 참가자를 모집합니다.
      3. ASD의 몸짓 생성을 일반적인 몸짓 생성과 비교할 수 있도록 동반 정신 장애가 없거나 전반적 발달 장애 진단을 받은 1급 친척이 없는 TD 참가자를 모집합니다.

2. 가시성 조작 개요

1. L2 단어 학습 프로토콜에서와 같이 자발적인 제스처를 생성하고 관찰하는 효과를 조사하는 경우 참가자를 쌍으로 모집합니다. 만화 이야기 프로토콜에서와 같이 자발적인 몸짓을 생성하는 효과만 조사할 경우 참가자 역할을 하는 연구 보조원과 협력하여 참가자를 개별적으로 모집합니다.
2. 연구에 대한 정보가 포함된 정보에 입각한 동의서를 참가자에게 제공하여 서명하고 이에 대한 질문에 답하도록 하며, 제스처 생성에 대한 연구의 초점이 드러나지 않도록 주의합니다. 참가자가 서명한 후 양식을 수집합니다.
3. 짝을 지어 모집한 참가자의 경우 동전 던지기와 같은 선택 방법을 사용하여 실험 과제에서 가장 많은 대화를 할 참가자, 대화 상대 역할을 할 참가자, 대부분의 청취를 수행하고 때때로 실험 과제에서 화자와 상호 작용할 참가자를 결정합니다. 연구 보조원이 참가자 역할을 하고 개별적으로 모집된 참가자의 경우, 조작된 동전 던지기와 같은 고정된 선택 방법을 사용하여 참가자가 항상 발표자 역할을 하고 연구 보조원이 항상 대담자 역할을 하도록 합니다.
4. 실험 세션의 절반에서 화자와 대화 상대 사이에 불투명한 칸막이를 배치하여 서로의 얼굴이나 손을 볼 수 없도록 합니다.
5. 참가자들에게 실험 과제에서 무엇을 할 것인지 설명하고 이에 대한 질문에 답합니다. 참가자들에게 그들의 연설이 오디오로 녹음될 것임을 알리고 이 목적으로 사용되는 마이크를 가리킵니다. 비디오 녹화에 대한 인식이 제스처 생성에 미치는 영향을 피하기 위해 참가자에게 비디오 녹화될 것임을 알리지 말고 이 목적으로 사용되는 비디오 카메라가 참가자에게 보이지 않도록 하십시오.
6. 해당 버튼을 눌러 비디오 및 오디오 녹음을 시작합니다. 화자와 참가자 대담자(있는 경우)로부터 말과 제스처를 이끌어내기 위해 실험 작업을 구현합니다.
7. 참가자 내 디자인이 사용되는 경우 첫 번째 반복에서 사용된 경우 불투명 구분선을 제거하거나 첫 번째 반복에서 사용되지 않은 경우 화자와 대담자 사이에 배치합니다.
8. 모든 자극이 소진될 때까지 필요에 따라 실험 작업을 반복합니다.
9. 해당 버튼을 눌러 비디오 및 오디오 녹음을 중지합니다. 참가자들에게 연구가 제스처에 초점을 맞추었고 비디오로 녹화되었음을 알리고 원하는 경우 데이터 분석 전에 비디오를 삭제할 것을 제안합니다.
10. 참가자의 질문에 답하고 참여해 주셔서 감사합니다.

3. L2 단어 학습 프로토콜

1. 비디오 및 오디오는 화자와 대담자를 기록하여 실험 작업 중 음성 및 제스처 생성을 나중에 분석할 수 있습니다.
   1. 오디오 녹음을 위해 화자와 대담자 사이에 테이블 마이크를 배치합니다. 화자와 대담자 사이의 한쪽에 비디오 카메라를 90° 각도로 배치하고 참가자가 볼 수 없도록 합니다.
   2. 또한 화자와 대담자가 모두 비디오 카메라의 시야 범위 내에 포함되고 컴퓨터 화면이 비디오 카메라의 시야 범위에서 보이지 않도록 하여 분석에서 L2 단어가 제시되는 조건에 대한 맹목을 유지합니다.
2. 컴퓨터를 사용하여 대상 언어의 L2 단어를 이어폰을 통해 화자에게 청각적으로 제시하여 대화 상대가 들을 수 없도록 하여 화자가 나중에 대화 상대에게 가르칠 수 있도록 합니다. 동시에 대상 언어의 L1 화자가 L2 단어를 말하고 L2 단어의 텍스트를 화면 하단에 배치하여 의미를 전달하는 표현 제스처를 생성하는 비디오를 화자에게 제시하거나 L2 단어를 비디오 없이 화면 중앙에 텍스트로 표시합니다.
3. 500ms 일시 중지 후 L2 단어의 L1 번역을 2000ms 동안 화면 중앙에 텍스트로 화자에게 제시합니다.
4. 설명자가 L2 단어와 그 의미를 연설 및/또는 제스처를 통해 대화 상대에게 가르치도록 요청합니다.
5. 준비가 되면 버튼을 눌러 계속 진행하도록 스피커에 지시합니다. 화자가 그렇게 한 후 다른 L2 단어를 제시하십시오. 20개의 L2 단어가 모두 무작위 순서로 표시될 때까지 이 과정을 반복합니다.
6. 각 L2 단어를 텍스트로 제시하고 L1 번역을 말하도록 요청하거나 번역이 기억나지 않는 경우 단어를 건너뛰도록 요청하여 실험 과제에서 제시된 L2 단어에 대한 화자와 대담자의 지식을 개별적으로 테스트합니다.

4. 만화 재구성 프로토콜

1. 참가자의 IQ가 이전에 표준화된 IQ 평가를 통해 측정되지 않은 경우 IQ가 85 이상인지 확인하기 위해 IQ를 관리하십시오.
2. 비디오 및 오디오는 참가자를 기록하여 나중에 음성 및 제스처 생성을 분석할 수 있습니다. 오디오 녹음을 위해 참가자 앞에 테이블 마이크를 놓습니다. 참가자의 한쪽에 카메라를 90° 각도로 배치하고 카메라가 참가자에게 보이지 않도록 합니다.
3. Looney Tunes 만화 Canary Row의 전반부를 참가자에게 선물합니다. 만화의 이 절반에는 고양이 실베스터가 트위티 새를 잡으려고 시도하고 실패하는 몇 가지 삽화가 포함되어 있습니다.
4. 참가자에게 만화 전반부의 사건을 대화 상대에게 기억할 수 있는 한 자세히 다시 이야기하도록 지시합니다. 대담자에게 참가자의 이야기를 듣도록 지시하고 짧으면 참가자가 더 많이 말하도록 유도합니다.
5. 4.1단계를 반복합니다. 및 4.2. Canary Row 비디오의 후반부에는 고양이 Sylvester가 Tweety 새를 잡으려고 시도하고 실패하는 몇 가지 비네트가 더 포함되어 있습니다.

5. 전사 및 코딩

참고: 편향을 최소화하기 위해, 가능하면 어떤 참가자와 임상시험이 어떤 조건에 배정되었는지 모른 채 데이터를 블라인드 상태로 기록하고 코딩하십시오. 이상적으로는 트랜스크립션과 코더가 데이터 수집에 관여하지 않아야 합니다.

1. CHAT⁴⁷과 같은 표준화된 체계에 따라 적절한 소프트웨어를 사용하여 모든 참가자의 음성을 수기로 철자하여 기록하여 단어 수를 생성합니다. 필러 및 수정과 같은 모든 구두 정보를 기록하되 일시 중지를 기록하지 마십시오.
2. 모든 참가자 제스처를 식별하고 코딩하여 각 제스처 유형에 대한 개수를 생성합니다. 휴식에서 휴식으로의 제스처를 식별하고 McNeill의 분류 체계 ^2,3에 따라 상징적, 은유적, 박자적, deictic의 네 가지 유형으로 분류합니다. 일부 제스처는 둘 이상의 유형으로 분류될 수 있습니다.
3. 표현 제스처의 수를 단어 수로 나누고 각 비네트에 대해 100을 곱하여 100단어당 제스처 비율을 계산합니다.
4. 독립적인 코더가 데이터의 25%에 대해 참가자 제스처를 코드화하도록 합니다. 두 코더가 코딩한 데이터에 대한 일치율을 계산하고 충분한 평가자 간 신뢰성을 보장하기 위해 80% 이상인지 확인합니다.

Access restricted. Please log in or start a trial to view this content.

결과

L2 단어 학습
이행: 아래에 보고된 결과는 위에 설명된 프로토콜에 따라 52명의 건강한 참가자(남성 21명, 여성 31명, 연령: M = 20.15, SD = 1.73, 범위 = 18-28)에서 수집한 데이터를 기반으로 합니다. 모든 말과 제스처는 3.4 단계에서 설명한대로 화자와 대화 상대의 데이터가 단일 카메라를 사용하여 기록되었기 때문에 가시성 상태에 눈이 멀 수 ?...

Access restricted. Please log in or start a trial to view this content.

토론

현재 프로토콜은 화자와 대화 상대의 가시성을 조작하여 도전적인 상황에서 제스처 생성에 미치는 영향에 대한 통찰력을 제공합니다 : ASD를 가진 청소년의 L2 단어 학습 및 내러티브 재말하기. 이 프로토콜은 직접 또는 가상으로 구현할 수 있으므로 참가자와 대담자의 가시성을 동시에 또는 독립적으로 조작할 수 있습니다. 그것은 다양한 실험 작업, 제스처 및 인구를 수?...

Access restricted. Please log in or start a trial to view this content.

자료

Name	Company	Catalog Number	Comments
Computer	Apple	Z131	24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone	Tonor	B07GVGMW59
ELAN	The Language Archive		Software application used to transcribe speech and gesture
Video Recorder	Vjianger	B07YBCMXJJ	FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence	Pearson	158981561	Used to verify full scale IQ ≥ 80 in Morett et al. (2016)