コミュニケーションの課題がある場合のジェスチャー生成の調査

要約

ここでは、対話者の可視性を操作して、対人コミュニケーションにおけるジェスチャー生成への影響を調べるプロトコルを紹介します。このプロトコルは、実装されたタスク、調査されるジェスチャ、および通信モダリティに対して柔軟です。これは、第二言語学習者や自閉症スペクトラム障害のある人など、コミュニケーションに課題のある人々にとって理想的です。

要約

話し手が対話者と話すときに共同スピーチの手のジェスチャーを変更する理由を理解することは、これらのジェスチャーが対面および仮想のコンテキストでの対人コミュニケーションにどのように貢献するかについての貴重な洞察を提供します。現在のプロトコルは、対面のコンテキストでスピーカーとその対話者の可視性を連携して操作し、コミュニケーションが困難な場合の可視性がジェスチャーの生成に与える影響を調査します。これらのプロトコルでは、話者は、なじみのない第二言語から単語を教えたり、漫画のビネットの出来事を別の参加者または共犯者である対話者に詳述したりするなどのタスクを完了します。これらのタスクを実行するとき、スピーカーは対話者から見えるか見えないか、スピーカーは参加者に見えるか見えないかです。学習課題という言葉では、話し手と対話者が互いに見えるように、手の形や動きを通じて意味を伝える表象的なジェスチャー、そして互いに見えない話し手と対話者よりもダイクティック(指差す)ジェスチャーを生成します。ナラティブ・リテリング・プロトコルでは、自閉症スペクトラム障害(ASD)の青年は、目に見えない対話者よりも、目に見える対話者と話すときにより多くのジェスチャーを生み出しました。現在のプロトコルの大きな強みは、調査対象のタスク、集団、ジェスチャーの点で柔軟性があることであり、現在のプロトコルはビデオ会議だけでなく、対面のコンテキストでも実装できます。したがって、現在のプロトコルは、コミュニケーションに課題を持つ集団の対人コミュニケーションにおけるジェスチャー生成の役割を解明することにより、ジェスチャー生成の理解を進める可能性を秘めています。

概要

共同発話ジェスチャー(以下、ジェスチャー)は、発話と同時に生じる意味のある手の動きであり、言語の内容を補完する情報を伝えることにより、対人コミュニケーションに貢献します¹。最も広く使用されている分類法^2,3によると、ジェスチャーは3つのカテゴリに分類できます:表現ジェスチャーは、その形状と動きを介して指示対象を伝えます(たとえば、手を前後に羽ばたかせて飛行を伝えます)。ビートジェスチャーは、単純な点状の動きで強調を伝えます(例:「right now」というフレーズの各単語と連動して利き手をわずかに下に動かす)。そして、指差しを通じてエンティティの存在または不在に注意を引くダイクティックジェスチャー(たとえば、親指を後ろに振って自分の後ろに何かを示す)。表象的ジェスチャーは、さらに2つの追加カテゴリーに分けることができる:具体的な指示対象(例えば、鳥)を伝える象徴的なジェスチャーと、隠喩的な指示対象(例えば、エクスタシー)を伝える隠喩的ジェスチャーである。ジェスチャーとスピーチは同じ概念的内容から生じるため、意味において密接に関連しています^4,5。ジェスチャーは、コミュニケーションのため....

プロトコル

すべての参加者は書面による同意を提供し、すべてのプロトコルは受入機関の治験審査委員会によって承認されました。L2単語学習と漫画の語り直しのプロトコルは、代表的な結果が基づいている研究で実施された^21,33。これらのプロトコルは、これまで対面のコンテキストでのみ実施されてきましたが、ここで説明されていない対話者と参加者の可視性を操作する関連プロトコルが現在実施されており、このコンテキストでの再現性についての洞察を提供し、ASDの個人などのコミュニケーションに課題のある集団に拡大する計画があります。

1. 参加者

注:各研究の参加者の特性に必要な制約を尊重しながら、サンプルは可能な限りより大きな母集団を代表するものでなければなりません。

1. L2単語学習プロトコルの参加者募集
   1. 18歳以上で、視力が正常または正常に矯正され、聴力が正常な方で、英語のL1スピーカーである参加者を募集します。この研究が初期段階のL2単語学習に対するジェスチャーの影響を確実に調べるために、ターゲット言語であるハンガリー語の知識がない参加者を募集します。
2. 漫画の語....

ディスカッション

現在のプロトコルは、話し手と対話者同士の可視性を操作し、ASDの青年によるL2単語学習と物語の再話という困難な状況下でのジェスチャー生成への影響についての洞察を提供します。このプロトコルは、対面または仮想的に実装できるため、参加者と対話者の可視性を連携して、または独立して操作できます。さまざまな実験タスク、ジェスチャー、および集団に?.......

資料

Name	Company	Catalog Number	Comments
Computer	Apple	Z131	24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone	Tonor	B07GVGMW59
ELAN	The Language Archive		Software application used to transcribe speech and gesture
Video Recorder	Vjianger	B07YBCMXJJ	FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence	Pearson	158981561	Used to verify full scale IQ ≥ 80 in Morett et al. (2016)