利用双模干扰任务对汉语口语复杂句子的在线句法处理进行考察

摘要

在这里，我们提出了一个协议，采用双模态干扰任务来检查口语-汉语相关句句的在线处理。介绍了两个涉及听觉处理与宫内和外干扰的范例实验。该范例提供了一种处理工作记忆的性质及其对句子处理的影响的方法。

摘要

工作记忆（WM）在理解复杂句子中起着核心作用。它在口语复杂句子处理中的功能尤为明显，因为口语复杂句子的处理是记忆密集型的。双模态干扰范式已用于研究 WM 系统如何参与复杂的句法处理。本文介绍了两个涉及听觉处理与内或外干扰的范例实验。在第一个实验中，听觉刺激 [口语-汉语相对句 （RC） 句子具有两种句法类型:主题间隔 （SRC） 与对象间隙 （ORC）] 通过句子中视觉呈现的词法决策任务进行干扰，使用三个不同的干扰时点进行操纵。在第二个实验中，通过听觉窗口移动技术呈现的相同听觉刺激，通过视觉呈现的数字记忆任务在句子之外受到干扰，并使用三个数字存储器负载进行操作。通过评估理解RC句子的主要任务如何受到次要任务的影响，我们可以解决有关中国RC处理不对称的争议性问题。与之前研究报告的结果相比，我们的结果显示了不同的RC处理模式。实验1在SRC或ORC中没有明确的RC处理优势;但是，在句子的末端观察到对 ORC 的首选项，在主动词站点找到对 SRC 的首选项。同样，实验2呈现一种动态模式。在无数字负载下，SRC 在 RC 标记区域中显示出处理优势。但是，在较高的数字负载干扰下，ORC 在同一区域中显示出处理优势。这些结果导致中国R处理中不存在明显或内在加工不对称的猜想，通过评估句法处理过程中特定干扰的方法，这些实验证明了未来的研究应用程序，用于探索涉及工作记忆的口语句子的处理指标。

引言

工作记忆（WM）在口语句子处理中的作用是不言而喻的:由于语音的瞬态性，听众必须在记忆中保留组件声学形式，直到它们被处理。在处理语法复杂的句子时，这一方面变得更加重要。将句法关系分配给复杂句子中的单词涉及对内存中保留的短时间项执行计算操作，从而导致更高的内存需求。然而，WM系统如何参与口语句子处理是有争议的。

这场争论涉及两大分歧:一些研究人员认为，存在一个用于所有口头^任务1、2的WM系统——换句话说，句法处理依赖于更多公司使用的相同内存资源。一般认知过程。这是单一资源模型。其他人则声称，根据句子的句法结构确定句子的含义涉及一个专门的WM系统，该系统独立于用于其他口头^{任务3，4。}因此，句法处理是模块化的。这是单独的句子解释资源模型。

在心理语言研究中，双模态干扰范式被用来研究两个相互竞争的叙述。基于WM存储容量^有限5，6的假设，范例通过使主要任务与辅助干预任务复杂化来解决问题。由于主要任务与辅助干预任务争夺有限的资源，难度增加，主要任务显示反应时间更长。在这种情况下，当参与者被赋予需要同时完成这两项任务的任务时，双模式干扰方法可以评估 WM 的处理负载和参与程度。

包含RC成分的句子由于其众所周知的复杂句法结构而造成更多的理解困难，被广泛用于研究WM系统如何参与处理复杂句子。然而，尽管处理复杂句子对与语音处理相关的 WM 资源提出了更高的要求，但 WM 是否被认为会导致具有头首 RC 的语言的句法移动成本，这一点不太清楚结构（如英语）反映了具有头最终 R（如中文）的语言的句法复杂性。通过使用双模态干扰范式，目前的研究揭示了这个问题。

处理两个RC结构（主题差距和对象间隔相对条款（SRC与ORC）方面的困难一直是广泛辩论的主题。这些争议主要在不同类型语言中观察到。在头首语言（如英语）中，相对子句遵循其修改的头名词，一般发现以下示例 1（a） 中的 SR 与示例 1（b） 中的 ORC 更容易处理。

如示例 （1）所示，在英语中，SMC 和 ORC 之间的间隙表面位置差异很小。这个间隙被索引为e1，头名词"演员"（称为填充物）后的空白位置，由其从RC中取出。然而，在RC领域差距的语法结构和功能方面，SRC和ORC有很大的不同。记忆成本是填充物与间隙之间结构依赖性的整合和解决的一个合适的目标，已被广泛用于深入了解WM在语言处理和理解中的作用。

例如，理解和处理这些后字号 RC 需要索引头名词"参与者"作为功能主体或动词"批评"的对象在 SRC 和 ORC 中，然后将头名词存储在 WM 中，以便以后可以分配给主句中动词"承认"的语法主题。

与一致发现与头-初始语言，理解SRC比理解ORCs更容易，混合的结果报告关于RC处理不对称的中文，这是一个头最终的语言，其中一个相对子句位于头名词之前。一些人观察到了SRC处理优势，而另一些则报告了相反的模式（即ORC处理优势）。后一种研究路线还提出，RC处理不对称可以通过WM来调节，正如从自定进度阅读^{性能7、8、9}的研究中获得的结果所暗示的。

如上所述，关于 WM 在（复杂）句法处理中的作用，有两种相互竞争的模式。一是"语法处理是模块化的"，二是"语法处理是一般性的"。在理解难度方面存在众所周知差异的复杂句子，即英语中的 SMC 与 ORC，常用于双模式干扰 （DMI） 任务中，以检查与模块化问题有关的这两个断言，因为WM 的参与声称与处理不对称并行。因此，通过干扰任务诱导并发内存负载可以演示 WM 对句法处理的影响。其基本原理是，无论存在单个口头 WM 系统还是单独的模块化句法系统，由于 WM 资源限制，使系统具有干扰任务会使句法处理效率降低。与处理语法更简单的句子（SRC，英文）相比，处理语法上更复杂的句子（ORC，英语）的方式提供了WM的具体效果的证据，并指明了涉及的 WM。

与英语等头首语言相比，中文 R 表示头部-最终形成，并表现出一种填充间隙的关系。索引的移出元素（间隙）位于与其关联的头名词前面，如 2（a）、SRC 和 2（b）ORC 所示。

处理中文 RC 的争议是，SR 报告不一致地比 ORC 更容易处理，这种差异对语言处理和理解理论提出了挑战。由于相对化器"DE"之前的标称内容必须存储在 WM 中，直到间隙（移动头名词"参与者"被链接和检索）之后，理解此过程仍有助于深入了解 WM 在语言处理中的作用。

在目前的研究中，由于听力在处理过程中具有很强的压缩性，并且与 WM 的功能密切相关，因此对口头 RC 句子处理进行了研究。使用双模态干扰范式是因为干扰是短期听觉记忆中一种公认的遗忘函数。当干扰事件发生¹⁰时，存储在内存中的表示形式可能会降级并随后丢失。根据不同方面（在目前情况下:语言内和外数字，见下文）到规范的口语句子，分散干扰器允许我们测量在不同处理阶段和以下情况下集成增量输入的成本不同的干扰条件。

基于处理更多语法复杂的句子比处理简单句子更重化 WM 的位置，可以假设在理解过程中操作干扰类型应对句子处理。言下之意，处理语法上更复杂的句子将需要比例更大或不成比例地增加在线的收听时间，并且在在线句子理解评估中的表现比将更差处理语法上更简单的构造。目前的研究考察了句子处理过程中的干扰可以索引WM参与，并实际上将其价值置于句法模块化问题之外的假设:它提出关于中国RC处理的争议可以WM在语言理解中具有基础性作用，通过对WM的调查加以阐解释。因此，在中国RC处理中使用DMI任务的重要性，为解决目前关于中国RC处理不对称的争论提供了一条途径。

本文介绍了两个使用中分和外干扰的听觉处理的范例实验。这两项实验的目的是探讨WM在不同干扰条件下处理中国RC的程度。

在第一个实验中，视觉上呈现的词法决策任务被用作点内干扰。作为次要干扰任务，在目标相对子句的听觉表示过程中，在三个点上引入了单词/非词词词决定任务（LDT），从而可以在这些点测量处理难度。本实验中的主要问题是相对子句 （RC） 中的间隙如何与矩阵子句 （MC） 中的填充物相关联，以及它是否影响后续 MC 的处理。因此，要测量的三个探测点在 MC 区域之后设置。示例 3 所示，从 （2） 复制的三个探测点中，有箭头指示并与相应的句法串联对齐，其中 3（a） 显示 SRC，3（b） 显示 ORC。

图 1显示了 LDT 在三个探测点中的任何一个干扰连续听觉 RC 演示的过程。时序设计遵循了LDT任务在以前的中文处理^研究11中的传统协议。例如，每个可视 LDT 试验都以一个交叉符号"+"开头，指示监视器中心 500 ms 的固定点，然后是可视 LDT 刺激，该刺激显示在屏幕上 3，000 ms，并在被主体制作后立即消失词汇决定。一个典型的主题在30-35分钟内完成实验1，包括练习单元。

图1:具有词法决策任务的内干扰过程。
请点击此处查看此图的较大版本。

三个探测站点以及 LDT 任务:

1. 位置 1 （P1）: 后 S_MC区域

要测量的第一个位置 （P1） 紧接在 RC 边界之后区域的 MC 主体之后。此站点预计会产生处理负载。首先，在这一点（S_MC）之前，RC域中的主题间隙和对象间隙构造分别形成对比动词对象（VO）和主题动词（SV）结构。另一种是，要将 RC 区域中的成分与 MC 中的头名词集成，听众必须确定间隙的语法作用，并将其与即将推出的填充头名词联系起来

2. 位置 2 （P2）: 后 V_MC区域

要测量的第二个位置 （P2） 紧接在矩阵子句 （V_MC） 中的动词之后。此站点还假定用于诱导处理负载。集成口头信息需要侦听器检索句子中的名词参数，并从前面的 RC 域或 RC 修改的头名词中标识矩阵动词的代理。

3. 位置 3 （P3）: 后记区域

要测量的第三个位置 （P3） 紧接在句子的结尾。先前关于处理的研究提出，有一个句子结尾的总结效应，即一种现象，即非句法信息（如话语和语义水平）在句子末尾被考虑，以激活和完成^{理解12 ， 13}.因此，处理负荷应增加接近句子的结尾，由于需要集成这个非语法^{信息14，15。}假定位置 3 显示处理负载的退化，因为此站点周围已尝试解析句子。

在第二个实验中，采用了听觉移动窗口（AMW）任务。AMW技术被认为能够捕获在线语言处理期间的资源分配模式，并被广泛用于试图区分两种相互竞争的WM^{方法16，17。}假定在处理瞬息万变的口语句子的过程中，课外干扰应使听众花费额外的时间。在 AMW 范例下，参与者听到被分割成单词的句子，他们按下键盘上的键开始播放后续片段。因此，按键之间为启动后续分段和控制传入信息流而暂停的持续时间反映了参与者对相关特定语言特征的响应。例如，如果分时干扰对处理不同句法复杂性的句子有一定的影响，则参与者在启动后续句段之前将表现出相应的较长暂停持续时间。这些过程已进行架构化，如图2所示。

图 2:具有数字调用任务的外送干扰过程。
请点击此处查看此图的较大版本。

以下协议显示了研究人员如何使用视觉呈现的词法决策任务作为点内干扰和并发算术干扰负载作为外送干扰来调查 WM 参与和处理中国RC的不对称，并阐述了基本逻辑。

研究方案

这些实验的管理遵循了所有研究伦理法规。所有受试者在进行实验前都提供了知情的口头和书面同意。所有程序、同意书和实验规程均获台湾国立诚公大学研究伦理委员会批准。

1. 实验1=双模内干扰任务

1. 从台南市护理学院和全国台南中学招收97名学生、54名女生和42名男性学生参加实验1。
   注:所有参与者都必须以流利的中文母语为母语，视力正常或矫正，且没有自我报告造成的听觉损伤。
2. 材料制备
   1. 为 LDT 选择单词和非单词。包括48个双字（两字符）的汉字，其中24个是单词，24个是非单词。
      注:汉字表示音节，通常是一个音节（即最小的有意义的元素）。此处的目标单词是二乙基语复合词。有关 LDT 任务中使用的可视目标单词/非单词的列表，请参阅补充文件。
      1. 从《新尼卡科布斯技术^报告18》中选择24个单词，同时确保所有目标词都是中等频率的。在数据库中搜索平均频率百分比约为 0.00030 和排名顺序约为 4，000 的字词。
         注: 选择中频单词作为目标单词旨在降低频率效应，从而缩短高频单词的响应时间 （RT），而低频单词的 RT 则更短。
      2. 使用两个单音节字符创建 24 个非单词，这两个字符具有单独意义，但其组合在语义上是异常的。为了防止潜在的激活，避免具有相同基词的双基字符单词（例如，海阳，意为"海洋"，用中文双基文字表示为，其中基词成分为与水相关的字符和中共享。
      3. 手动定位填充句中的 24 个非单词和目标 RC 句子中的 24 个单词。
         注: 有必要将带有 R C 和非单词的词与填充词进行搭配，因为在统计分析中只应考虑并包含 24 个带有 R 的单词中的 LDT。
   2. 听觉RC和填充句
      注: 有关 SRC、ORC 和填充句的示例，请参阅补充文件。
      1. 将听觉刺激分为72个句子，涉及三类句子:24个SRC、24个ORC和24个填充句。
      2. 将 48 个 RC 句子平均分为两组，以创建不完整的均衡设计，在 2 个（SRC、ORC） = 3 （探测站点） = 2（单词/非字）条件中形成 48 个试验（12 个 SRC、12 ORC 和 24 个填充物）。
3. 设置实验软件
   1. 使用标准实验软件（即 E-Prime^19）根据软件协议对实验进行编程。
   2. 使用实验软件随机化所有刺激。
   3. 将软件系统配置为记录以下数据:（1） 响应时间，（2） 参与者在 LDT 中响应的准确性，以及 （3） 基于参与者键盘按下的后句理解。
   4. 包括有关参与者错误词汇决定或无响应的反馈。在参与者的响应不正确或缺失后，立即在监视器屏幕上显示反馈。当参与者的响应正确时，不会显示任何反馈。
   5. 提供涉及试验的实践部分和反馈。
4. 练习单元后，启动双模态内点 LDT 干扰任务。在实验期间，允许参与者在每24次试验之间休息一次。
   1. 让每个参与者单独执行任务。首先，在计算机屏幕上以书面形式和实验者口头形式向学员提供说明。让学员坐在电脑前，并配备耳机。
   2. 指导学员听通过耳机播放的句子，同时在听过程中的某个阶段执行词汇决策任务。
   3. 要求学员决定屏幕上显示的干扰视觉探头是单词还是非字，并指示他们尽可能快速准确地按单词的响应键"是"或非单词的"否"。
   4. 告知学员理解问题将在句子之后立即发生。提醒他们认真聆听听觉句子，同时执行 LDT 任务。

2. 实验2=双模外干扰任务

1. 从国立台北科技大学和国家台南初级护理学院招收61名大学生、40名女性和21名男性，作为实验2的参与者。
   注:所有参与者均需以流利的中文母语发言，视力正常或矫正，且无听觉损伤。
2. 材料制备
   1. 听觉RC和填充句
      1. 将听觉刺激分为三种类型的句子:SRC、ORC 和填充句。将 48 个 RC 句子平均分为两组，以创建一个不完整的均衡设计，其中 96 个总试验（24 个 SRC、24 个 ORC 和 48 个填充物）用于 2 个（句子类型:SRC、ORC） = 3（数字负载）条件。
         注: 请参阅补充文件，了解 SRC、ORC 和填充句的目标听觉试用示例。
   2. 0/3/5 位
      1. 共构建 96 个数字项目，由 0/3/5 位组合组成。为所有句子试验均匀分配每个 0、3 或 5 位负载。
3. AMW 范式的双模态外送数字干扰任务
   1. 使用标准实验软件（即 E-Prime^19）根据软件协议对实验进行编程。
   2. 随机将参与者分配给两个刺激集之一，这些刺激集表示句子类型（SRC vs. ORC）和内存负载（无负载、3 位负载、5 位负载）的两个主题内因子的组合。在 AMW 任务之前向学员提供 1，500 毫秒的数字可视化显示。
4. 然后，启动 AMW 任务。
   注:AMW 任务²⁰是一个自定进度的侦听任务。
   1. 指示学员将上述视觉演示文稿（数字或无数字）保留在内存中。
   2. 然后，指示参与者听成单词的句子，并通过耳机播放。通过按键盘开始播放后续分段单词，告诉他们尽快调整自己的节奏。
   3. 指示学员在听完每个试句后回答计算机屏幕上出现的"是/否"理解问题。告知学员，问题前面在计算机屏幕上有一个问号"？"，并且问题与他们在上一句中听到的信息有关。
   4. 当参与者按"是/否"键回答理解问题时，将播放短的"蜂鸣"声音。蜂鸣声后，按照屏幕上显示的指令，要求学员在听句子之前重复他们看到的数字。
   5. 让实验者在分数表上记录参与者的数字回忆响应。

结果

在双模态LDT内和数字外载荷任务中都观察到了干扰效应。考虑到实验1中的三个探针点，LDT内任务的RT结果表现为RC处理的动态模式，作为两种RC类型的函数。如图3所示，ORC 类型在位于矩阵主题 （S_MC）之后的位置上和句子 （P3） 的末尾具有处理优势，而 SRC 类型在矩阵谓词 （V MC） 之后的位置具有优势） 后 RC （P2）。句子类型的简单主效应在 P2 和 P3 上显著?...

讨论

研究表明，在内干扰任务和外干扰任务中使用DMI方法有助于阐明WM在口语句子处理中的作用，并阐明中国RC处理不对称问题。不出所料，通过测量二级任务的干扰对听众在初级句子处理上的表现的影响程度，我们可以推断出中文RC处理的模式，并得出一个可行的解决方案， 解决关于中文SRC/ORC处理优势。

干扰效应表明，无论干扰来源如何，WM在口语句子处理中起着至关重要的作?...

材料

Name	Company	Catalog Number	Comments
E-Prime	Psychology Software Tools	version Professional 2.0
Headphone	Logitech
Praat	Praat	5.3.43	The online software used to edit the sound files for listening; http://www.fon.hum.uva.nl/praat/
Serial Response Box	Psychology Software Tools
Standard PC	ASUS K42Jv laptop