在存在沟通挑战的情况下检查手势的产生

摘要

在这里，我们提出了一个操纵对话者可见性的协议，以检查其对人际交流中手势产生的影响。该协议对执行的任务、检查的手势和通信方式非常灵活。它非常适合有沟通障碍的人群，例如第二语言学习者和自闭症谱系障碍患者。

摘要

了解说话人在与对话者交谈时为什么会修改他们的同声手势，可以深入了解这些手势如何有助于面对面和虚拟环境中的人际交流。当前的协议在面对面的环境中同时操纵说话者及其对话者的可见性，以检查在通信具有挑战性时可见性对手势产生的影响。在这些协议中，说话者完成任务，例如教授不熟悉的第二语言的单词或向作为其他参与者或同盟者的对话者讲述卡通小插曲的事件。在执行这些任务时，说话人对对话者可见或不可见，而说话人对参与者可见或不可见。在单词学习任务中，彼此可见的说话人和对话者比彼此不可见的说话人和对话者产生更多的代表性手势，这些手势通过手形和动作以及指示性（指向）手势来传达含义。在叙事复述协议中，患有自闭症谱系障碍 （ASD） 的青少年在与可见的对话者交谈时比与不可见的对话者交谈时产生更多的手势。当前协议的一个主要优势是它在检查的任务、群体和手势方面的灵活性，并且当前协议可以在视频会议和面对面环境中实施。因此，当前的协议有可能通过阐明手势产生在有沟通困难的人群中人际交流中的作用来促进对手势产生的理解。

引言

共同语音手势（迄今为止的手势）——与语音同时产生的有意义的手部动作——通过传达补充口头内容的信息来促进人际交流¹.根据最广泛使用的分类法 ^2,3，手势可分为三类：表征手势，通过其形式和动作传达所指对象（例如，一起来回拍打手以传达飞行）;节拍手势，通过简单的标点符号动作传达强调（例如，结合短语“right now”中的每个单词，将惯用手略微向下移动）;以及指示性手势，通过指向来引起人们对实体存在与否的注意（例如，向后摆动拇指以指示自己身后有某物）。表征手势可以进一步分为两大类：标志性手势，传达具体的指称（例如，鸟），以及隐喻手势，传达隐喻指称（例如，狂喜）。因为手势和言语产生于相同的概念内容，所以它们在意义上密切相关 ^4,5。作为交流的标志性视觉媒介，手势可以帮助弥补口语理解方面的挑战⁶，无论是由于个人因素（如所说语言的熟练程度有限）^7,8 还是环境因素（如听语言困难 ^9,10

研究方案

所有参与者都提供了书面同意书，并且所有方案都得到了主办机构机构审查委员会的批准。在代表性结果所依据的研究中实施了 L2 单词学习和卡通复述协议^21,33。尽管迄今为止这些协议仅在面对面的环境中进行，但目前正在进行一项相关协议，该协议操纵对话者和参与者独立可见度，此处未描述，以提供对在这种情况下可复制性的见解，并计划将其扩展到有沟通困难的人群，例如 ASD 患者。

1. 参与者

注意：在尊重每项研究的参与者特征的必要限制的同时，样本应尽可能代表更大的人群。

1. L2 单词学习协议的参与者招募
   1. 招募 18 岁及以上视力正常或矫正至正常视力且听力正常且讲英语的 L1 参与者。为了确保该研究检查手势对初级 L2 单词学习的影响，招募不懂目标语言匈牙利语的参与者。
2. 卡通复述协议的参与者招募
   1. 招募能够完成实验任务的年龄（Morett 等人为 10-20 岁 ²¹%）并被诊断为 ASD 或正常发展 （TD） 的参与者。
      1. 为确保参与者能够成功完成实验任务，招募的参与者是讲英....

讨论

当前的协议操纵说话者和对话者之间的可见性，从而深入了解它在具有挑战性的情况下对手势产生的影响：患有 ASD 的青少年的 L2 单词学习和叙述复述。该协议可以面对面或虚拟实施，允许参与者和对话者的可见性同时或独立操作。它可以容纳各种各样的实验任务、手势和人群，为它们提供了在沟通具有挑战性的各种情况下实施的灵活性，并揭示了在这些情况下改变手势.......

材料

Name	Company	Catalog Number	Comments
Computer	Apple	Z131	24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone	Tonor	B07GVGMW59
ELAN	The Language Archive		Software application used to transcribe speech and gesture
Video Recorder	Vjianger	B07YBCMXJJ	FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence	Pearson	158981561	Used to verify full scale IQ ≥ 80 in Morett et al. (2016)