使用电生理学的视觉单词识别中语音和语义过程的相互作用

摘要

我们提出了一个协议来探索视觉单词识别中语音学和语义学的相对激活序列。结果表明，与交互式帐户一致，语义和语音表示可以交互处理，而更高级别的语言表示可能会影响早期处理。

摘要

在与阅读能力相关的研究中一直存在争议;关于印刷文字是否以基于正字法信息的前馈方式被感知，之后，其他表示，如音韵学和语义学被激活，或者这些是否完全互动，高级语义信息会影响早期处理。在所提出的语音和语义判断任务协议中实现了干扰范式，该协议使用相同的前置目标对来探索语音和语义激活的相对顺序。高频和低频目标词前面有三个条件:语义相关，语音相关（同音字）或不相关。结果表明，在语义和语音任务中，低频词对的诱导P200分量明显大于高频词。此外，与控制条件相比，语义任务中的同音字和语音任务中的语义相关对都导致N400的减少，字频独立。值得注意的是，对于语音判断任务中的低频对，语义相关词对释放的P200明显大于对照条件下的P200。总体而言，在高频和低频单词中都发现了语音任务中的语义处理和语义任务中的语音处理，这表明语义和语音学之间的相互作用可能以与任务无关的方式运行。但是，此交互发生的特定时间可能已受到任务和频率的影响。

引言

任何单词识别模型中的关键问题是理解语音学在语义访问过程中的作用¹。对于字母语言，许多研究一致认为音韵学在语义访问中起着重要作用，包括英语^2，3，4，希伯来语^5，法语⁶和西班牙语^7。换句话说，书面单词识别不仅涉及正字法，还涉及语音和语义处理。交互式连接主义模型中的这一观察结果可以通过在整个网络中激活的扩展来解释，其中正字法通过加权连接与语音和语义表示相关联^8。这种激活的激增为视觉单词识别模型提供了核心机制，该模型假设语音和语义表示在响应正字法输入⁹时自动激活。

然而，目前支持交互式自动化假设的经验证据仍然存在争议。一些研究声称，语音和语义表征的激活可以通过任务需求或注意力来调整或阻止，这意味着对单词感知中涉及的高级过程有一定的自上而下的影响^10，11。然而，上述描述受到许多研究结果的质疑，这些发现报告了视觉单词识别中的语音和语义效果，即使这些表示与任务完全无关或不能直接访问^12，从而支持语义和语音学可以在阅读过程中自动和强行访问的观点¹³.因此，视觉单词识别中的语音和语义激活是否取决于特定任务，或者它是否以与任务无关的方式强制和自动发生，存在不确定性。

上述问题的答案对中国读者来说很难。与英语相比，中文是一种文字，其字符代表语素而不是音素^14。目前，语音学在汉语单词语义访问中的作用仍然存在争议。一些研究声称，音系学在汉语单词的语义获取中起着重要作用^{15，16，17。}然而，其他人则持相反的观点^18，19。在评估了上述汉语语音处理研究后，我们发现实验范式和具体研究方法不同。总的来说，它主要分为两种范式:词启动^15，18，19和句子^17，20，21中的违规范式。目标词通常嵌入在违反范式²²的句子末尾。就语言机制而言，一个简短的两个单词短语比一个难以处理的完整句子更易于管理的单元²³。此外，在句子中难以控制的变量，例如语法，上下文或其他因素，可能会导致不同的结论^24。单词启动范式是一种通常用于探索单词识别模型的方法，无论是在字母语言还是中文中。这个范式的任务是判断素数前面的目标词是实词还是伪词;也就是说，此范例通常只包含一个词法任务。然而，单个词汇决策任务可能不是解决语音学和语义学的激活是否取决于任务问题的最佳选择。因此，两个不同的任务可能更适合探讨这个问题。

因此，本研究旨在探索语音学在汉语单词识别中的作用，同时试图确定语音学和语义学的激活是否与任务无关。我们的研究包括使用干扰范式的两个任务:语义判断和语音判断。据我们所知，这是第一个使用这种干扰范式的汉语双字符复合识别事件相关电位（ERP）研究，这种方法很少出现在字母语言的研究中。具体来说，在语义判断任务中，参与者必须判断目标单词与其先例是否语义相关，而在语音任务中，他们必须判断配对单词是否具有相同的发音。

前者是不需要先验语音处理的语义匹配任务，后者是不需要先验语义处理的语音判断任务。因此，我们在语义判断任务中比较了同音字对和不相关的对照组，以揭示语音学是否以及如何影响语义处理。同样，我们在语音判断任务中比较了语义相关的单词对和不相关的控制条件，以揭示语义是否以及如何影响语音处理。此外，上述问题在高频和低频单词中得到了验证。因此，这种互补的语义和语音判断任务不仅可以揭示语音处理在汉语单词识别中的重要性，还可以揭示语音学和语义学是否以及如何相互作用。

如果音韵学和语义过程是早期、自动和交互式的，那么在两个任务的响应时间中应该观察到语音和语义激活的效果。对于ERP，语音和语义过程触发两种不同的电生理标记^2，7。此外，它们的时间轨迹和空间分布应该不同。早期的正分量（P200）应反映语音处理，并且典型的语义处理标记N400也应标识^{为20，21。}我们假设语义任务中的语音相关对和语音任务中的语义相关对都会导致N400的显着减少，这表明语音处理可能导致在词汇 - 语义水平上进行一定程度的激活。此外，我们还监测了表征语音处理的P200是否出现在语义判断任务或语音判断任务中。在语音判断任务中，语义相关条件触发了P200，这可以看作是语义学对语音处理的早期影响的证据。

研究方案

本研究采用的协议已获得清华大学机构评审委员会的批准。

1. 刺激的构建和呈现

1. 刺激建设
   1. 刺激准备:准备包含约140个汉语双字符化合物的目标单词，其中低频和高频单词占一半。在每个目标前面有三个类似物:语音上相同的单词（同音词），具有相关含义的单词和不相关的控制词。
      1. 确保高频目标之前始终有高频先验，低频目标之前始终有低频先例，无论是在相关条件下还是不相关的对照组。此外，请确保前置-目标对在冲程数和频率上相似。
         注:本研究的所有词词均选自《现代汉语频词典》。低频单词的频率低于百万分之八，高频单词的频率超过每百万800次。
   2. 刺激评估:招募一组大约30名学生，以七分制评估单词对之间的语义相关性程度，其中1表示相关性最低，7表示相关性最高。
   3. 最终刺激确定:删除不适当的单词对，例如在语义相关条件下得分较低的单词对，以及在同音和不相关条件评分中得分较高的单词对。
      1. 计算高频和低频语义相关词对的相应平均分数，并确保两者之间没有显著差异。
      2. 此外，确保同音字对和不相关对的分数在高频和低频下没有显著差异。最后，确定最终的实验刺激材料（见 表材料）。
         注:对于本实验中语义相关对的语义相关值，高频对和低频对的最终平均值为5.62和5.73，两者之间没有显著差异（p>.1）。此外，同音对和不相关对之间的语义相关性没有显着差异（p > .1）。
2. 刺激呈现
   1. 构建一个程序，向受试者展示任务并填写上述材料（程序可以用E-prime或其他编程语言编写）。
   2. 确保程序的每个核心结构都以显示持续300毫秒的"+"号的屏幕开始，之后前一个单词必须出现140毫秒，两者之间没有间隔。
   3. 之后，设置一个持续360毫秒的空白屏幕，然后设置目标单词，该单词将显示500毫秒。最后，设置一个问号（？），该问号将继续显示，直到参与者决定了刚刚显示的单词对，并尽可能快速准确地按下按钮。
   4. 提前告诉参与者，他们需要判断语义判断任务中的单词对是否语义相关，以及语音判断任务中的语音学是否相同。
   5. 练习课程设置:设置两个练习组，分别包括语义判断和语音判断任务，每个任务不少于10个单词对。告知参与者他们可以重复练习，以确保练习会话的准确性超过70%。
   6. 形式化实验设置:将整个实验分为6个块，语义判断任务和语音判断任务各占一半。
      1. 确保每个块中没有重复的目标单词，并且每个块中的启动类型数相同。此外，设置一些填充剂试验，以减少由需要阳性或阴性反应的不相等数量的测试引起的反应偏差。
      2. 随机化每个块中物品的顺序，并平衡主体之间的区块顺序。
         注:整个实验也可以根据要准备的实验材料数量分为八个或十个或更多块，从而最大限度地减少每个块中目标单词的重复。

2. 实验准备和电生理记录

1. 招募右撇子母语为中文的人，他们的视力正常，以前可能已经纠正过。
   1. 排除患有任何神经系统或精神疾病的参与者。
   2. 确保在所需年龄范围（18-28岁）中女性和男性参与者的数量均衡。
   3. 确保参与者在过去两个月中没有任何烫发或染发的历史。
   4. 告知参与者，在实验之前，他们需要有足够的睡眠和休息时间^25。
   5. 参与实验时，请确保参与者在进行实验时处于健康状态。
2. 当参与者到达实验室时，介绍实验设备，任务和时间成本。解释要求（如不困、不动、不眨眼），帮助他们了解整个过程，消除不必要的后顾之忧。
3. 如果参与者对实验没有其他问题，请他们填写爱丁堡偏手查询表，该表用于确认所有参与者都有相同的右撇子习惯。
4. 向参与者提供知情同意书，并要求他们仔细阅读并签名。如果参与者对同意书的内容有疑问，请向他们提供必要的解释。
5. 指导参与者在实验室中正确清洁头皮并擦干头发。在等待参与者的同时，请准备所有实验材料。
   注:脑电图（EEG）信号使用带通为0.01至100 Hz的放大器系统进行放大，并以500 Hz连续采样。
6. 邀请参与者舒适地坐在进行实验的房间的椅子上。指示他们不要移动椅子。
7. 使用棉签和面部磨砂膏清洁参与者左眼下方的皮肤（用于垂直眼电图电极），靠近右眼外眶（用于水平眼电图），以及左右乳突骨周围（用于Tp9和Tp10，将用作新的离线参考）。
   注:电极的分布可能因所使用的瓶盖而异。
8. 将弹性帽放在参与者的头上，并确保Cz电极位于头顶的中心。小心地将电极帽带固定在下巴下方，以确保它不会太紧或太松。
9. 确保电容和放大器已连接到录音系统。接下来，将记录软件切换到阻抗监控接口。
10. 确保所有电极的阻抗不超过5 kΩ或10 kΩ，从基准（Ref）和接地（Gnd）电极开始。
11. 将充满导电凝胶的注射器通过电极的小孔传递到头皮，然后推动柱塞将少量导电凝胶注入头皮，同时注意不要造成溢出。同时，实时监控显示阻抗的显示系统，直到阻抗降至阈值。
12. 制备出Ref和Gnd电极后，以相同的方式降低其他电极的阻抗。仔细处理眼电的阻抗降低。
    1. 用胶带将小孔粘在两个眼电电极的一侧，以防止注射的导电凝胶泄漏。用胶带将它们固定在左眼的底部和右眼的外侧。
13. 准备好所有电极后，指示参与者为实验做好准备。指导参与者在实验过程中放松，避免过度眨眼和身体运动。
14. 通过刺激演示程序呈现刺激，让参与者在练习部分练习。
    注意:练习结束后，如果参与者对如何继续有任何疑问或疑问，可以提出问题。
15. 开始正式实验并记录脑电图信息。在录制过程中监视录制系统。如果电极松动或电阻超过阈值，请在参与者休息时重新填充电极。
    注意:参与者可以在每个块后休息4-10分钟。
16. 实验完成后，保存脑电信号并关闭记录系统和放大器等设备。然后摘下参与者的帽子，并指示参与者洗掉头发和皮肤上的导电凝胶。最后，奖励参与者并感谢他们的合作。

3. 脑电预处理

1. 利用半自动眼部校正和独立的成分分析。
2. 在目标字开始后 100 毫秒到 600 毫秒（目标前基线 100 毫秒）计算 ERP。
3. 将 EEG 带通滤波设置为 0.05 至 30 Hz 离线（零相移模式，24 dB/oct）。
4. 通过伪影抑制丢弃超过±80 μV的时代，并消除错误响应的试验。

结果

该协议在最近的一项研究中被用于调查语音学在汉语双字符复合识别中的作用，并推断单词识别模型^26。本研究中使用的所有刺激物均已完全披露²⁶.根据全局场功率（GFP）选择了三个时间窗口:N1，P200和N400分量分别为100-150 ms，160-280 ms和300-500 ms，分别为^26。通过方差（ANOVA）、频率（低、高）、关系类型（语音或语义相关或不相关）和横向区域?...

讨论

实验结果及意义:
该协议的目的是推断以下内容:1）单词识别模型是前馈模型还是交互模型，2）不同任务下汉语双字符复合识别中高低频语音和语义模式之间的相互作用。采用ERP技术对语音和语义匹配任务进行干扰范式。在语义判断任务中比较了ERP响应之前的同音字和不相关的单词与目标，这些任务不需要先验语音处理来揭示语音学何时以及是否影响语义处理。同样，对于不需要先...

材料

Name	Company	Catalog Number	Comments
BrainAmp DC amplifier system (Brain Products GmbH)	Brain Products, Gilching, Germany		BrainAmp S/N AMP13061964DC Input 5.6DC=150mA Operation 7mA Standby
Easycap (Brain Products GmbH)	Brain Products, Gilching, Germany		62 Ag/AgCl electrodes with a configuration of the international 10–20 system of electrode