在存在沟通挑战的情况下检查手势的产生

摘要

在这里，我们提出了一个操纵对话者可见性的协议，以检查其对人际交流中手势产生的影响。该协议对执行的任务、检查的手势和通信方式非常灵活。它非常适合有沟通障碍的人群，例如第二语言学习者和自闭症谱系障碍患者。

摘要

了解说话人在与对话者交谈时为什么会修改他们的同声手势，可以深入了解这些手势如何有助于面对面和虚拟环境中的人际交流。当前的协议在面对面的环境中同时操纵说话者及其对话者的可见性，以检查在通信具有挑战性时可见性对手势产生的影响。在这些协议中，说话者完成任务，例如教授不熟悉的第二语言的单词或向作为其他参与者或同盟者的对话者讲述卡通小插曲的事件。在执行这些任务时，说话人对对话者可见或不可见，而说话人对参与者可见或不可见。在单词学习任务中，彼此可见的说话人和对话者比彼此不可见的说话人和对话者产生更多的代表性手势，这些手势通过手形和动作以及指示性（指向）手势来传达含义。在叙事复述协议中，患有自闭症谱系障碍 （ASD） 的青少年在与可见的对话者交谈时比与不可见的对话者交谈时产生更多的手势。当前协议的一个主要优势是它在检查的任务、群体和手势方面的灵活性，并且当前协议可以在视频会议和面对面环境中实施。因此，当前的协议有可能通过阐明手势产生在有沟通困难的人群中人际交流中的作用来促进对手势产生的理解。

引言

共同语音手势（迄今为止的手势）——与语音同时产生的有意义的手部动作——通过传达补充口头内容的信息来促进人际交流¹.根据最广泛使用的分类法 ^2,3，手势可分为三类:表征手势，通过其形式和动作传达所指对象（例如，一起来回拍打手以传达飞行）;节拍手势，通过简单的标点符号动作传达强调（例如，结合短语"right now"中的每个单词，将惯用手略微向下移动）;以及指示性手势，通过指向来引起人们对实体存在与否的注意（例如，向后摆动拇指以指示自己身后有某物）。表征手势可以进一步分为两大类:标志性手势，传达具体的指称（例如，鸟），以及隐喻手势，传达隐喻指称（例如，狂喜）。因为手势和言语产生于相同的概念内容，所以它们在意义上密切相关 ^4,5。作为交流的标志性视觉媒介，手势可以帮助弥补口语理解方面的挑战⁶，无论是由于个人因素（如所说语言的熟练程度有限）^7,8 还是环境因素（如听语言困难 ^9,10）.因此，手势对于理解面对面和虚拟环境中的人际交流是不可或缺的，可以深入了解说话人和听众如何以多模式传达和理解信息。

已经开发了几个结构化的交互式任务来衡量手势如何影响人际交流。这些任务包括访谈，参与者通过描述他们的个人经历来回答问题^11,12;图像描述，其中向参与者展示静态图像以描述^13,14;解谜，参与者描述如何通过正确定位组件的空间来解谜^15,16;指示条款，其中指示参与者向听众不熟悉的地点提供方向 17,18,19;和叙事复述，参与者观看描绘一系列事件的漫画，然后复述它们 20,21,22。上面引用的研究中采用的许多任务都包含空间内容和动作，手势特别有效地传达了这些内容和动作 15,23,24,25。在上述研究的任务中，参与者通常结合语言产生手势，并评估通过手势传达的信息及其与并发产生的语言的关系。或者，参与者可以在完成其中一项任务时查看某人打手势（或不打手势）和产生语言的录音，然后评估参与者的理解能力。所有这些任务都可以虚拟和面对面进行，从而能够从广泛的参与者那里收集数据并进行跨模式的比较。

手势对人际交流的影响已经在广泛的参与者中实施。特别令人感兴趣的是有沟通障碍的人群，包括幼儿 26,27,28,29,30，第二语言 （L2） 用户 ^8,31,32,33，自闭症谱系障碍 （ASD） ^20,21,22,34，特定语言障碍 35,36,37，失语症患者 ^12,38，脑损伤患者³⁹，口吃者^40,41。这项工作表明，虽然这些人群中的许多人可以利用手势来促进交流，但有些人，例如自闭症谱系障碍患者，可能会遇到利用手势进行有效沟通的困难。研究结果表明，这可能是由于这些人群在多大程度上考虑了受众设计和环境线索，突出了这些解释对手势对沟通影响的实际意义。

洞察手势对人际沟通影响的一个关键特征是对话者的可见性。在手势研究领域中，一个非常重要的问题是参与者在多大程度上为了自己的利益而做手势，这表明将认知操作转移到身体上，而他们的对话者的好处则表明使用手势进行交流。通过使用不透明分区^26,42 以及电话环境¹³ 和虚拟环境⁴³，在面对面环境中检查对话者（非）可见性对手势产生的影响，对这个问题进行了研究。总体而言，这项工作的结果表明，尽管说话者做出手势是为了自己的利益，但在与可见的对话者交流时，他们产生的代表性手势比不可见的对话者多，而无论对话者的可见度如何，节拍手势的产生都是相似的。因此，他们认为具象手势促进了各种语境下的交流，建议说话者考虑到对话者的观点并相应地修改他们的手势生产。尽管之前检查对话者可见性影响的研究有助于深入了解手势对人际交往的贡献，但它侧重于英语作为典型发展人群的第一语言 （L1），因此尚不清楚这些发现是否可以扩展到有沟通困难的人群。两个这样的人群是 L2 学习者，他们可能难以通过目标语言的语音进行交流，以及患有 ASD 的儿童，他们的语言和非语言交流都异常。此外，很少有研究检查对话者可见性对虚拟环境中手势产生的影响，这使得对话者对参与者的可见性影响与参与者对对话者的可见性影响相分离，因此来自这些上下文的结果的可复制性目前尚不清楚。最后，一些研究集中在对话者可见性对特定类型手势产生的影响上，因此尚不清楚其他类型手势的产生是否同样受到对话者可见性的影响。

下面描述的协议操纵对话者的可见性来检查在具有挑战性的情况下的手势产生:ASD 患者的 L2 单词学习和叙述复述。L2 单词学习协议将观察手势对 L2 单词学习影响的研究与通过交互式单词学习范式检查手势对交流贡献的研究联系起来。在这种范式中，不熟悉目标语言的参与者学习其中的单词，然后将这些单词教给不熟悉目标语言的其他参与者，从而允许在对话环境中第二语言习得的最早阶段检查对话者可见性对手势产生的影响。卡通复述范式采用了一种广泛使用的叙事复述任务，其中当对话者的可见性被新的人群（患有 ASD 的青少年）操纵时，已经观察到手势产生的差异。这个人群之所以有趣，是因为语言发展（包括手势产生）在青春期已经成熟，而 ASD 导致语言和非语言交流（包括手势）困难，以及对对话者的交际需求缺乏敏感性。总之，这些协议提供了对手势产生在多大程度上依赖于语音的见解，反之，当人际交流具有挑战性时，可以补偿语音。

根据研究结果，证明听者能见度如何影响 L1 英语使用者的手势产生 13,26,42,43，假设参与者在与可见的对话者讨论 L2 单词时会产生更多的整体手势和更多的代表性手势。根据证明 ASD 手势产生异常的研究结果^20,44，假设患有 ASD 的青少年会产生更少的整体手势以及更少的表征和指示性手势比正常发育 （TD） 的青少年少。此外，根据研究结果显示 ASD 导致透视困难⁴⁵，假设 ASD 青少年的手势产生在可见和不可见对话者存在的情况下不会有显着差异。最后，预测了诊断和能见度之间的相互作用，因此 ASD 青少年的手势产生不会因能见度而异，但 TD 青少年会有所不同。

Access restricted. Please log in or start a trial to view this content.

研究方案

所有参与者都提供了书面同意书，并且所有方案都得到了主办机构机构审查委员会的批准。在代表性结果所依据的研究中实施了 L2 单词学习和卡通复述协议^21,33。尽管迄今为止这些协议仅在面对面的环境中进行，但目前正在进行一项相关协议，该协议操纵对话者和参与者独立可见度，此处未描述，以提供对在这种情况下可复制性的见解，并计划将其扩展到有沟通困难的人群，例如 ASD 患者。

1. 参与者

注意:在尊重每项研究的参与者特征的必要限制的同时，样本应尽可能代表更大的人群。

1. L2 单词学习协议的参与者招募
   1. 招募 18 岁及以上视力正常或矫正至正常视力且听力正常且讲英语的 L1 参与者。为了确保该研究检查手势对初级 L2 单词学习的影响，招募不懂目标语言匈牙利语的参与者。
2. 卡通复述协议的参与者招募
   1. 招募能够完成实验任务的年龄（Morett 等人为 10-20 岁 ²¹%）并被诊断为 ASD 或正常发展 （TD） 的参与者。
      1. 为确保参与者能够成功完成实验任务，招募的参与者是讲英语的 L1，视力正常或矫正至正常，听力正常，并且全程智商为 85 或以上，在研究之前或期间通过标准化评估测量⁴⁶。
      2. 为确保该研究检查 ASD 对手势产生的特定影响，招募没有癫痫、脑膜炎、脑炎、糖尿病、儿童崩解障碍或广泛性发育障碍 - 未另行说明的 ASD 参与者 （PDD-NOS）。
      3. 为确保 ASD 中的手势产生可以与典型的手势产生进行比较，招募没有合并精神疾病或被诊断患有广泛性发育障碍的一级亲属的 TD 参与者。

2. 可见性操作概述

1. 如果要检查产生和观察自发手势的效果，请成对招募参与者，就像在 L2 单词学习协议中一样。如果只检查产生自发手势的效果，则与充当参与者的研究助理协调单独招募参与者，就像卡通复述协议一样。
2. 向参与者提供一份包含有关研究信息的知情同意书，以便他们签署并回答有关研究的任何问题，注意不要透露研究的重点在手势产生上。在参与者签名后收集表单。
3. 对于成对招募的参与者，使用掷硬币等选择方法来确定哪个参与者将担任演讲者，谁将在实验任务中完成大部分谈话，哪个参与者将担任对话者，他们将进行大部分倾听，偶尔与实验任务中的演讲者互动。对于单独招募的参与者，由研究助理担任参与者，使用固定的选择方法，例如操纵抛硬币，以确保参与者始终担任演讲者，研究助理始终担任对话者。
4. 在一半的实验环节中，在说话人和对话者之间放置一个不透明的隔板，以确保他们看不到彼此的脸或手。
5. 向参与者解释他们将在实验任务中做什么，并回答有关它的任何问题。告诉参与者他们的演讲将被录音，并指出用于此目的的麦克风。为避免视频录制感知对手势产生任何影响，请勿通知参与者将对他们进行视频录制，并确保参与者看不到用于此目的的摄像机。
6. 通过按相应的按钮启动视频和音频录制。实施实验任务以引出说话人和参与者对话者（如果有）的语音和手势。
7. 如果采用参与者内部设计，则删除不透明分隔线（如果在第一次迭代中使用），或者将其放置在说话人和对话者之间（如果在第一次迭代中未使用）。
8. 根据需要重复实验任务，直到所有刺激都用尽。
9. 按相应的按钮停止视频和音频录制。告诉参与者，该研究的重点是手势，他们被录制了视频，并在需要时提出在数据分析之前删除他们的视频。
10. 回答参与者的任何问题，并感谢他们的参与，然后再解散他们。

3. L2 单词学习协议

1. 视频和音频记录说话人和对话者，以便以后可以分析实验任务期间的语音和手势产生。
   1. 在扬声器和对话者之间放置一个桌面麦克风以进行音频录制。将摄像机以 90° 角放置在演讲者和对话者之间的一侧，并确保参与者看不到它。
   2. 此外，确保说话人和对话者都包含在摄像机的视野范围内，并且计算机屏幕在摄像机的视野范围内不可见，以保持对分析中呈现 L2 词的条件的盲目性。
2. 使用计算机，通过耳机将目标语言中的 L2 单词通过听觉呈现给说话者，以确保对话者听不见，以便说话者随后可以将其教给对话者。同时，播放目标语言的 L1 说话人说 L2 字的视频，并通过屏幕底部的 L2 字的文本或将 L2 字作为屏幕中间的文本作为文本，而不向说话人提供视频。
3. 暂停 500 毫秒后，将 L2 字的 L1 翻译作为文本呈现在屏幕中间给扬声器 2000 毫秒。
4. 提示解说员通过语音和/或手势向对话者教授 L2 单词及其含义。
5. 指示扬声器在准备就绪时按下按钮以继续。说话人这样做后，提出另一个 L2 单词。重复此过程，直到所有 20 个 L2 字都以随机顺序显示。
6. 通过将每个 L2 单词作为文本呈现并提示他们说出其 L1 翻译或跳过该单词（如果他们不记得翻译），单独测试说话人和对话者对实验任务中呈现的 L2 单词的了解。

4. 卡通复述协议

1. 如果参与者的智商之前没有通过标准化 IQ 评估来测量，请进行一次评估以确保他们的智商为 85 或以上。
2. 视频和音频对参与者进行录制，以便以后可以分析他们的语音和手势生成。将桌面麦克风放在参加者面前进行录音。将摄像头以 90° 角放置在参与者的一侧，并确保参与者看不到摄像头。
3. 向参与者展示 Looney Tunes 卡通片 Canary Row 的前半部分。动画片的这一部分包含几个小插曲，其中猫西尔维斯特试图捕捉 Tweety 鸟但未能成功。
4. 指示参与者尽可能详细地向对话者复述动画片前半部分的事件。指示对话者听参与者的复述，如果简短，则促使参与者多说几句。
5. 重复步骤 4.1。和 4.2.对于 Canary Row 视频的后半部分，其中包含另外几个小插曲，其中猫 Sylvester 试图捕捉 Tweety 鸟但未能成功。

5. 转录和编码

注意:为了最大限度地减少偏倚，如果可能，在不知道哪些参与者和试验被分配到哪些条件的情况下，对数据进行盲转录和编码。理想情况下，转录员和编码员不应参与数据收集。

1. 根据标准化方案（如 CHAT⁴⁷），使用适当的软件手动转录所有参与者的语音，以产生字数统计。转录所有口头信息，例如填充和更正，但不要转录停顿。
2. 识别所有参与者手势并对其进行编码，以生成每种手势类型的计数。识别从静止到静止的手势，并根据 McNeill 分类法 ^2,3 将它们分为四种类型:标志性、隐喻、节拍和指示性。请注意，某些手势可能被归类为多种类型。
3. 通过将代表性手势的数量除以单词的数量，然后乘以每个晕影的 100，来计算每百个单词的手势率。
4. 为 25% 的数据提供独立的编码器代码参与者手势。计算由两个编码者编码的数据的一致性百分比，并确保它至少为 80%，以确保足够的评分者间可靠性。

Access restricted. Please log in or start a trial to view this content.

结果

L2 单词学习
实现: 下面报告的结果基于根据上述方案从 52 名健康参与者（21 名男性，31 名女性;年龄: M = 20.15，SD = 1.73，范围 = 18-28）收集的数据。所有语音和手势都由主要编码员编码，该编码员不能对能见度条件视而不见，因为来自说话人和对话者的数据都是使用单个摄像头记录的，如步骤 3.4 所述。为了建立评分者之间的可靠性，辅助...

Access restricted. Please log in or start a trial to view this content.

讨论

当前的协议操纵说话者和对话者之间的可见性，从而深入了解它在具有挑战性的情况下对手势产生的影响:患有 ASD 的青少年的 L2 单词学习和叙述复述。该协议可以面对面或虚拟实施，允许参与者和对话者的可见性同时或独立操作。它可以容纳各种各样的实验任务、手势和人群，为它们提供了在沟通具有挑战性的各种情况下实施的灵活性，并揭示了在这些情况下改变手势?...

Access restricted. Please log in or start a trial to view this content.

材料

Name	Company	Catalog Number	Comments
Computer	Apple	Z131	24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone	Tonor	B07GVGMW59
ELAN	The Language Archive		Software application used to transcribe speech and gesture
Video Recorder	Vjianger	B07YBCMXJJ	FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence	Pearson	158981561	Used to verify full scale IQ ≥ 80 in Morett et al. (2016)