コミュニケーションの課題がある場合のジェスチャー生成の調査

私の研究は、手のジェスチャーや手話によるコミュニケーションに対する身体の影響の認知的および神経的メカニズムを調査しています。私の研究の主な焦点は、ジェスチャーとスピーチの関係が、典型的な言語と非典型的な言語の発達と処理でどのように異なるかということです。脳波検査(EEG)、機能的磁気共鳴画像法(fMRI)、機能的近赤外分光法(fNIRS)などのin vivo神経科学技術は、手のジェスチャーと手話の神経メカニズムを明らかにするのに役立ちました。

さらに、アイトラッキングは、手のジェスチャーと手話のリアルタイム処理に関する洞察を提供します。私の研究は、ピッチの輪郭を伝える手のジェスチャーを観察することが、英語などの無調言語の話者が語彙のトーンや北京語などの声調言語を学ぶのに役立つことを初めて示しました。私は現在、EEGとfNIRSを使用して、この効果の神経シグネチャを調査しています。

このプロトコルは、通信上の課題が存在する場合のジェスチャ生成を調査する手段を提供します。私は、第二言語学習者や自閉症スペクトラム障害を持つ人々のジェスチャー生成を対面環境で調査するために成功裏に使用してきましたが、それを他の集団や仮想環境に拡大する予定です。私の発見は、手のジェスチャーを観察し、生成することが言語の習得と処理をどのように促進するかについての洞察を提供します。

さらに、言語の非定型性や治療効果の潜在的なバイオマーカーを明らかにするのにも役立っています。