Interaktion zwischen phonologischen und semantischen Prozessen in der visuellen Worterkennung mittels Elektrophysiologie

Zusammenfassung

Wir stellen ein Protokoll vor, um die relative Aktivierungssequenz von Phonologie und Semantik in der visuellen Worterkennung zu untersuchen. Die Ergebnisse zeigen, dass im Einklang mit interaktiven Konten semantische und phonologische Repräsentationen interaktiv verarbeitet werden können und linguistische Repräsentationen auf höherer Ebene die frühe Verarbeitung beeinflussen können.

Zusammenfassung

Kontroversen gab es schon immer in der Forschung im Zusammenhang mit Lesefähigkeiten; ob gedruckte Wörter auf der Grundlage orthographischer Informationen in einer Feedforward-Weise wahrgenommen werden, wonach andere Repräsentationen wie Phonologie und Semantik aktiviert werden, oder ob es sich um vollständig interaktive und semantische Informationen auf hoher Ebene handelt, die die frühe Verarbeitung beeinflussen. Ein Interferenzparadigma wurde in das vorgestellte Protokoll der phonologischen und semantischen Beurteilungsaufgaben implementiert, die die gleichen Precede-Target-Paare verwendeten, um die relative Ordnung der phonologischen und semantischen Aktivierung zu untersuchen. Den hoch- und niederfrequenten Zielwörtern gingen drei Bedingungen voraus: semantisch verwandt, phonologisch verwandt (Homophone) oder nicht verwandt. Die Ergebnisse zeigten, dass die induzierte P200-Komponente von niederfrequenten Wortpaaren sowohl bei den semantischen als auch bei den phonologischen Aufgaben signifikant größer war als bei hochfrequenten Wörtern. Darüber hinaus verursachten sowohl die Homophone in der semantischen Aufgabe als auch die semantisch verwandten Paare in der phonologischen Aufgabe eine Reduktion von N400 im Vergleich zur Kontrollbedingung, Wortfrequenz-unabhängig. Es ist erwähnenswert, dass für die niederfrequenten Paare in der phonologischen Beurteilungsaufgabe das P200, das von den semantisch verwandten Wortpaaren freigesetzt wurde, signifikant größer war als das in der Kontrollbedingung. Insgesamt wurden semantische Verarbeitung in phonologischen Aufgaben und phonologische Verarbeitung in semantischen Aufgaben sowohl in hoch- als auch in niederfrequenten Wörtern gefunden, was darauf hindeutet, dass die Interaktion zwischen Semantik und Phonologie aufgabenunabhängig funktionieren kann. Der spezifische Zeitpunkt, zu dem diese Interaktion auftrat, kann jedoch von der Aufgabe und der Häufigkeit beeinflusst worden sein.

Einleitung

Das entscheidende Problem in jedem Worterkennungsmodell ist das Verständnis der Rolle der Phonologie im Prozess des semantischen Zugangs¹. Für alphabetische Sprachen betrachten viele Studien die Phonologie konsequent als eine wichtige Rolle beim semantischen Zugang, einschließlich Englisch^2,3,4, Hebräisch⁵, Französisch⁶und Spanisch⁷. Mit anderen Worten, die Erkennung geschriebener Wörter beinhaltet nicht nur orthographische, sondern auch phonologische und semantische Verarbeitung. Diese Beobachtung im interaktiven konnektionistischen Modell wird durch Erweiterungen erklärt, die im gesamten Netzwerk aktiviert werden, wobei die Orthographie durch gewichtete Verbindungen mit phonologischen und semantischen Repräsentationen assoziiert ist⁸. Diese Verbreitung der Aktivierung liefert den Kernmechanismus für das visuelle Worterkennungsmodell, das davon ausgeht, dass phonologische und semantische Repräsentationen automatisch als Reaktion auf orthographische Eingaben aktiviert werden⁹.

Aktuelle empirische Beweise, die die Hypothese der interaktiven Automatisierung stützen, bleiben jedoch umstritten. Einige Studien behaupten, dass die Aktivierung phonologischer und semantischer Repräsentationen durch Aufgabenanforderungen oder Aufmerksamkeit angepasst oder verhindert werden kann, was einen gewissen Top-Down-Einfluss auf die High-Level-Prozesse impliziert, die an der Wortwahrnehmung beteiligt sind^10,11. Die oben genannte Beschreibung wurde jedoch durch viele Ergebnisse in Frage gestellt, die phonologische und semantische Effekte in der visuellen Worterkennung berichten, obwohl diese Darstellungen für die Aufgabe völlig irrelevant sind oder nicht direkt zugänglich sind¹², wodurch die Ansicht unterstützt wird, dass auf Semantik und Phonologie während des Leseprozesses automatisch und gewaltsam zugegriffen werden kann¹³ . Daher besteht Unsicherheit darüber, ob die phonologische und semantische Aktivierung bei der visuellen Worterkennung von der konkreten Aufgabe abhängt oder ob sie zwangsweise und automatisch aufgabenunabhängig erfolgt.

Die Antwort auf die oben genannte Frage ist für chinesische Leser schwierig. Im Vergleich zum Englischen ist Chinesisch eine logografische Schrift, deren Zeichen Morpheme anstelle von Phonemen^{darstellen 14}. Derzeit bleibt die Rolle der Phonologie für den semantischen Zugang zu chinesischen Wörtern umstritten. Einige Studien haben behauptet, dass die Phonologie eine wichtige Rolle beim semantischen Zugang zu chinesischen Wörtern^{spielt 15,16,17}. Andere haben jedoch die gegenteilige Ansicht^{vertreten 18,19}. Nach der Auswertung der oben genannten Forschung für die chinesische phonologische Verarbeitung stellten wir fest, dass sich das experimentelle Paradigma und die spezifischen Forschungsmethoden unterscheiden. Im Großen und Ganzen wurde es hauptsächlich in zwei Paradigmen unterteilt: Wortpriming^15,18,19 und Verletzungsparadigma im Satz^17,20,21. Das Zielwort ist in der Regel am Ende des Satzes in das Verletzungsparadigma²²eingebettet. In Bezug auf den Sprachmechanismus ist eine kurze Zwei-Wort-Phrase eine überschaubarere Einheit als ein vollständiger Satz, der schwer zu verarbeiten ist²³. Darüber hinaus können Variablen, die in einem Satz schwer zu kontrollieren sind, wie Syntax, Kontext oder andere Faktoren, zu unterschiedlichen Schlussfolgerungen führen²⁴. Das Wort-Priming-Paradigma ist eine Methode, die häufig verwendet wird, um Worterkennungsmodelle zu erforschen, sei es in alphabetischen Sprachen oder im Chinesischen. Die Aufgabe dieses Paradigmas besteht darin, zu beurteilen, ob das Zielwort, dem die Primzahlen vorangestellt sind, ein echtes Wort oder ein Pseudowort ist; das heißt, dieses Paradigma enthält normalerweise nur eine lexikalische Aufgabe. Eine einzelne lexikalische Entscheidungsaufgabe ist jedoch möglicherweise nicht die beste Wahl, um das Problem zu lösen, ob die Aktivierung von Phonologie und Semantik von der Aufgabe abhängt. Daher können zwei verschiedene Aufgaben besser geeignet sein, um diese Frage zu untersuchen.

Daher zielte diese Forschung darauf ab, die Rolle der Phonologie bei der chinesischen Worterkennung zu erforschen und gleichzeitig zu versuchen, festzustellen, ob die Aktivierung von Phonologie und Semantik aufgabenunabhängig ist. Unsere Forschung umfasst zwei Aufgaben, die das Interferenzparadigma verwenden: semantisches Urteilen und phonologisches Urteilsvermögen. Nach unserem besten Wissen ist dies die erste ereignisbezogene Potenzialstudie (ERP) zur chinesischen zweistelligen Zusammengesetzterkennung unter Verwendung dieses Interferenzparadigmas, und diese Methode erscheint selten in Studien zu alphabetischen Sprachen. Insbesondere müssen die Teilnehmer bei der semantischen Beurteilungsaufgabe beurteilen, ob das Zielwort und sein Präzedenzfall semantisch verwandt sind, während sie in der phonologischen Aufgabe beurteilen müssen, ob die gepaarten Wörter die gleiche Aussprache haben.

Ersteres ist eine semantische Matching-Aufgabe, die keine a priori phonologische Verarbeitung erfordert, und letztere ist eine phonologische Beurteilungsaufgabe, die keine a priori semantische Verarbeitung erfordert. Daher haben wir Homophonpaare und nicht verwandte Kontrollgruppen in der semantischen Beurteilungsaufgabe verglichen, um festzustellen, ob und wie die Phonologie die semantische Verarbeitung beeinflusst. In ähnlicher Weise verglichen wir semantisch verwandte Wortpaare mit nicht verwandten Kontrollbedingungen in der phonologischen Beurteilungsaufgabe, um zu zeigen, ob und wie die Semantik die phonologische Verarbeitung beeinflusst. Darüber hinaus wurde das oben genannte Problem in hoch- und niederfrequenten Wörtern verifiziert. Somit kann diese komplementäre semantische und phonologische Beurteilungsaufgabe nicht nur die Bedeutung der phonologischen Verarbeitung bei der chinesischen Worterkennung aufdecken, sondern auch aufdecken, ob und wie Phonologie und Semantik interagieren.

Wenn die phonologischen und semantischen Prozesse früh, automatisch und interaktiv sind, sollte der Effekt der phonologischen und semantischen Aktivierung in der Antwortzeit der beiden Aufgaben beobachtet werden. Für ERP lösen phonologische und semantische Prozesse zwei verschiedene elektrophysiologische Marker^{aus 2,7}. Zudem sollten ihre Zeitverläufe und ihre räumlichen Verteilungen unterschiedlich sein. Eine frühe positive Komponente (P200) sollte die phonologische Verarbeitung widerspiegeln, und der typische semantische Verarbeitungsmarker N400 sollte ebenfalls identifiziert werden^20,21. Wir nahmen an, dass sowohl die phonologisch verwandten Paare in der semantischen Aufgabe als auch die semantisch verwandten Paare in der phonologischen Aufgabe eine signifikante Abnahme von N400 verursachen würden, was darauf hingewiesen hätte, dass die phonologische Verarbeitung zu einem gewissen Grad an Aktivierung auf lexikalisch-semantischer Ebene führen kann. Darüber hinaus überwachten wir, ob der P200, der die phonologische Verarbeitung charakterisiert, in der semantischen Beurteilungsaufgabe oder der phonologischen Beurteilungsaufgabe auftauchte. In der phonologischen Beurteilungsaufgabe lösen semantische Bedingungen das P200 aus, was als Beweis für den frühen Einfluss der Semantik auf die phonologische Verarbeitung angesehen werden kann.

Protokoll

Das für diese Studie verwendete Protokoll wurde vom Institutional Review Board der Tsinghua University genehmigt.

1. Stimuli Konstruktion und Präsentation

1. Stimuli-Konstruktion
   1. Stimuli-Vorbereitung: Bereiten Sie Zielwörter vor, die etwa 140 chinesische zweistellige Verbindungen enthalten, von denen nieder- und hochfrequente Wörter die Hälfte ausmachen. Jedem Ziel stehen drei Analoga voran: ein phonologisch identisches Wort (homonymes Wort), ein Wort mit verwandter Bedeutung und ein irrelevantes Kontrollwort.
      1. Stellen Sie sicher, dass hochfrequenten Zielen immer hochfrequente Vorläufer vorausgehen und niederfrequenten Zielen immer niederfrequente Präzedenzfälle vorausgehen, sei es unter verwandten Bedingungen oder in unabhängigen Kontrollgruppen. Stellen Sie außerdem sicher, dass die Precede-Target-Paare in bezug auf die Anzahl der Striche und die Häufigkeit ähnlich sind.
         HINWEIS: Alle Wörter für diese Studie wurden aus dem Modern Chinese Frequency Dictionary (Xiandai Hanyu Pinlu Cidian) ausgewählt. Die Häufigkeit von niederfrequenten Wörtern betrug weniger als acht Mal pro Million, und die Häufigkeit von hochfrequenten Wörtern überschritt 800 Mal pro Million.
   2. Stimuli-Bewertung: Rekrutieren Sie eine separate Gruppe von etwa 30 Studenten, um den Grad der semantischen Relevanz zwischen Wortpaaren auf einer siebenstufigen Skala zu bewerten, wobei 1 die niedrigste Korrelation und 7 die höchste Korrelation widerspiegelt.
   3. Endgültige Stimulusbestimmung: Löschen Sie unangemessene Wortpaare, z. B. Wortpaare mit niedrigeren Werten in semantisch verwandten Bedingungen und Wortpaare mit höheren Werten in Homophonen und irrelevanten Zustandswerten.
      1. Berechnen Sie die jeweiligen Durchschnittswerte von hoch- und niederfrequenten semantischen Wortpaaren und stellen Sie sicher, dass kein signifikanter Unterschied zwischen den beiden vorhanden ist.
      2. Stellen Sie außerdem sicher, dass sich die Werte von Homophonpaaren und nicht verwandten Paaren sowohl bei hoher als auch bei niedriger Frequenz nicht signifikant unterscheiden. Bestimmen Sie abschließend das endgültige experimentelle Stimulusmaterial (siehe Tabelle Materialien).
         ANMERKUNG: Für die semantischen Werte der semantisch verwandten Paare in diesem Experiment betrugen die endgültigen Durchschnittswerte 5,62 bzw. 5,73 für hochfrequente bzw. niederfrequente Paare, und es gab keinen signifikanten Unterschied zwischen den beiden (p > 0,1). Darüber hinaus war die semantische Verwandtschaft zwischen den homophonen und nicht verwandten Paaren nicht signifikant unterschiedlich (p > .1).
2. Stimuli-Präsentation
   1. Erstellen Sie ein Programm, um die Aufgabe den Probanden zu zeigen und füllen Sie die oben genannten Materialien aus (das Programm kann in E-Prime oder anderen Programmiersprachen geschrieben werden).
   2. Stellen Sie sicher, dass jede Kernstruktur des Programms mit einem Bildschirm beginnt, der ein " + " -Zeichen anzeigt, das 300 ms dauert, direkt danach muss das vorhergehende Wort für 140 ms erscheinen, ohne Intervall zwischen den beiden.
   3. Legen Sie danach einen leeren Bildschirm fest, der 360 ms lang ist, und legen Sie dann das Zielwort fest, das für 500 ms angezeigt wird. Setzen Sie abschließend ein Fragezeichen (?), das so lange angezeigt wird, bis sich der Teilnehmer für das gerade angezeigte Wortpaar entschieden und den Button so schnell und genau wie möglich gedrückt hat.
   4. Sagen Sie den Teilnehmern im Voraus, dass sie beurteilen müssen, ob das Wortpaar in der semantischen Beurteilungsaufgabe semantisch verwandt ist und ob die Phonologie in der phonologischen Beurteilungsaufgabe gleich ist.
   5. Einrichtung der Übungssitzung: Richten Sie zwei Übungsgruppen ein, die semantische Beurteilungs- bzw. phonologische Beurteilungsaufgaben mit nicht weniger als 10-Wort-Paaren für jede Aufgabe umfassen. Informieren Sie die Teilnehmer, dass sie die Übungen wiederholen können, um sicherzustellen, dass die Genauigkeit in der Übungssitzung mehr als 70% beträgt.
   6. Formaler Experimentaufbau: Teilen Sie das gesamte Experiment in 6 Blöcke auf, wobei die semantische Beurteilungsaufgabe und die phonologische Beurteilungsaufgabe jeweils die Hälfte ausmachen.
      1. Stellen Sie sicher, dass sich in jedem Block keine Zielwörter wiederholen und dass die Anzahl der Priming-Typen in jedem Block gleich ist. Richten Sie außerdem einige Füllerversuche ein, um die Antwortabweichung zu reduzieren, die durch die ungleiche Anzahl von Tests verursacht wird, die positive oder negative Reaktionen erfordern.
      2. Randomisieren Sie die Reihenfolge der Elemente in jedem Block und gleichen Sie die Blockreihenfolge zwischen den Subjekten aus.
         HINWEIS: Das gesamte Experiment kann auch in acht oder zehn oder mehr Blöcke unterteilt werden, je nach Anzahl der vorzubereitenden experimentellen Materialien, wodurch die Wiederholung von Zielwörtern in jedem Block minimiert wird.

2. Versuchsvorbereitung und elektrophysiologische Aufzeichnung

1. Rekrutieren Sie rechtshändige chinesische Muttersprachler mit einer normalen Sehkraft, die möglicherweise zuvor korrigiert wurde.
   1. Schließen Sie Teilnehmer mit neurologischen oder psychiatrischen Erkrankungen aus.
   2. Stellen Sie sicher, dass es eine ausgewogene Anzahl von weiblichen und männlichen Teilnehmern in der gewünschten Altersgruppe (18-28 Jahre) gibt.
   3. Stellen Sie sicher, dass die Teilnehmer in den letzten zwei Monaten keine Dauerwellen oder Haare gefärbt haben.
   4. Informieren Sie die Teilnehmer, dass sie vor dem Experiment ausreichend Schlaf- und Ruhezeit benötigen²⁵.
   5. Wenn Sie an dem Experiment teilnehmen, stellen Sie bitte sicher, dass sich die Teilnehmer zum Zeitpunkt der Durchführung des Experiments in einem gesunden Zustand befinden.
2. Wenn ein Teilnehmer im Labor ankommt, stellen Sie die experimentelle Ausrüstung, Aufgaben und Zeitkosten vor. Erklären Sie die Anforderungen (z. B. nicht schläfrig sein, sich bewegen und blinzeln), um ihnen zu helfen, den gesamten Prozess zu verstehen und unnötige Sorgen zu vermeiden.
3. Wenn der Teilnehmer keine weiteren Fragen zum Experiment hat, bitten Sie ihn, das Edinburgh Handedness Query Form auszufüllen, das verwendet wird, um zu bestätigen, dass alle Teilnehmer die gleichen Rechtshändergewohnheiten haben.
4. Stellen Sie den Teilnehmern die Einverständniserklärung zur Verfügung und bitten Sie sie, sie sorgfältig zu lesen und zu unterschreiben. Wenn Teilnehmer Fragen zum Inhalt der Einwilligungserklärung haben, geben Sie ihnen die notwendigen Erklärungen.
5. Weisen Sie den Teilnehmer an, seine Kopfhaut richtig zu reinigen und seine Haare im Labor zu trocknen. Während Sie auf die Teilnehmer warten, bereiten Sie bitte alle experimentellen Materialien vor.
   HINWEIS: Das Elektroenzephalogramm (EEG) Signal wird mit einem Verstärkersystem mit einem Bandpass von 0,01 bis 100 Hz verstärkt und kontinuierlich bei 500 Hz abgetastet.
6. Laden Sie die Teilnehmer ein, bequem auf einem Stuhl in der Kammer zu sitzen, in der das Experiment durchgeführt wird. Wies sie an, den Stuhl nicht zu bewegen.
7. Verwenden Sie Wattestäbchen und Gesichtspeelings, um die Haut unter dem linken Auge des Teilnehmers (für die vertikale elektro-okulographische Elektrode), in der Nähe des äußeren Canthus des rechten Auges (für die horizontale Elektro-Okulographie) und um den rechten und linken Mastoidknochen (für Tp9 und Tp10, die als neue Offline-Referenzen verwendet werden) zu reinigen.
   HINWEIS: Die Verteilung der Elektroden kann je nach verwendeten Kappen variieren.
8. Legen Sie die elastische Kappe auf den Kopf des Teilnehmers und stellen Sie sicher, dass sich die Cz-Elektrode in der Mitte der Oberseite des Kopfes befindet. Befestigen Sie den Elektrodenkappenriemen vorsichtig unter dem Kinn, um sicherzustellen, dass er nicht zu fest oder zu locker ist.
9. Stellen Sie sicher, dass die Kappe und der Verstärker an das Aufnahmesystem angeschlossen sind. Schalten Sie als Nächstes die Aufzeichnungssoftware auf die Impedanzüberwachungsschnittstelle um.
10. Stellen Sie sicher, dass die Impedanz aller Elektroden 5 kΩ oder 10 kΩ nicht überschreitet, beginnend mit den Referenz- (Ref) und Masseelektroden (Gnd).
11. Führen Sie die mit leitfähigem Gel gefüllte Spritze durch das kleine Loch einer Elektrode zur Kopfhaut und drücken Sie dann den Kolben, um eine kleine Menge leitfähiges Gel in die Kopfhaut zu injizieren, während Sie darauf achten, keinen Überlauf zu verursachen. Überwachen Sie gleichzeitig das Anzeigesystem, das die Impedanz in Echtzeit anzeigt, bis die Impedanz auf den Schwellenwert fällt.
12. Nachdem die Ref- und Gnd-Elektroden vorbereitet wurden, reduzieren Sie die Impedanz der anderen Elektroden auf die gleiche Weise. Behandeln Sie die Impedanzreduktion der Augenelektrizität sorgfältig.
    1. Kleben Sie die kleinen Löcher auf einer Seite der beiden elektro-okulographischen Elektroden ab, um zu verhindern, dass das injizierte leitfähige Gel austritt. Befestigen Sie sie mit Klebeband an der Unterseite des linken Auges und am äußeren Canthus des rechten Auges.
13. Nachdem alle Elektroden vorbereitet sind, weisen Sie die Teilnehmer an, für das Experiment bereit zu sein. Weisen Sie die Teilnehmer an, sich zu entspannen und übermäßiges Augenblinzeln und Körperbewegungen während des Experiments zu vermeiden.
14. Präsentieren Sie den Stimulus über das Stimulus-Demonstrationsprogramm und lassen Sie die Teilnehmer im Praxisteil üben.
    HINWEIS: Nach der Übungssitzung können die Teilnehmer Fragen stellen, wenn sie Zweifel oder Fragen zum weiteren Vorgehen haben.
15. Starten Sie das formale Experiment und zeichnen Sie die EEG-Informationen auf. Überwachen Sie das Aufzeichnungssystem während der Aufzeichnung. Wenn eine Elektrode locker ist oder der Widerstand den Schwellenwert überschreitet, füllen Sie die Elektrode nach, wenn der Teilnehmer ruht.
    HINWEIS: Die Teilnehmer können sich nach jedem Block 4-10 Minuten ausruhen.
16. Speichern Sie nach Abschluss des Experiments das EEG-Signal und schalten Sie das Gerät wie das Aufzeichnungssystem und den Verstärker aus. Nehmen Sie dann die Kappe des Teilnehmers ab und weisen Sie den Teilnehmer an, das leitfähige Gel von Haar und Haut abzuwaschen. Belohnen Sie schließlich die Teilnehmer und danken Sie ihnen für ihre Zusammenarbeit.

3. EEG-Vorverarbeitung

1. Nutzen Sie die halbautomatische Augenkorrektur mit unabhängiger Komponentenanalyse.
2. Berechnen Sie die ERPs von 100 ms bis 600 ms nach dem Einsetzen des Zielworts (100 ms Pre-Target Baseline).
3. Stellen Sie den EEG-Bandpass-gefiltert offline von 0,05 auf 30 Hz ein (Zero-Phase-Shift-Modus, 24 dB/Okt).
4. Verwerfen Sie Epochen, die ±80 μV überschreiten, durch Artefaktabstoßung und eliminieren Sie die Versuche fehlerhafter Reaktionen.

Ergebnisse

Dieses Protokoll wurde in einer kürzlich durchgeführten Studie verwendet, um die Rolle der Phonologie bei der chinesischen Zwei-Zeichen-Verbindungserkennung zu untersuchen und auf das Worterkennungsmodell^{26 zu schließen.} Alle in dieser Studie verwendeten Reize wurden vollständig offenbart²⁶. Drei Zeitfenster wurden auf der Grundlage der globalen Feldleistung (GFP) ausgewählt: bei 100-150 ms, 160-280 ms und 300-500 ms für N1-, P200- und N400-Komponenten, bzw.

Diskussion

Experimentelle Ergebnisse und Signifikanz:
Der Zweck dieses Protokolls war es, Folgendes abzuleiten: 1) ob das Worterkennungsmodell ein Feedforward-Modell oder ein interaktives Modell ist und 2) die Interaktion zwischen den phonologischen und semantischen Mustern in der chinesischen Zwei-Zeichen-Verbindungserkennung von hoher und niedriger Frequenz unter verschiedenen Aufgaben. Ein Interferenzparadigma der phonologischen und semantischen Matching-Aufgabe unter Verwendung der ERP-Technik wurde übernom...

Materialien

Name	Company	Catalog Number	Comments
BrainAmp DC amplifier system (Brain Products GmbH)	Brain Products, Gilching, Germany		BrainAmp S/N AMP13061964DC Input 5.6DC=150mA Operation 7mA Standby
Easycap (Brain Products GmbH)	Brain Products, Gilching, Germany		62 Ag/AgCl electrodes with a configuration of the international 10–20 system of electrode