Взаимодействие фонологических и семантических процессов в визуальном распознавании слов с помощью электрофизиологии

Резюме

Представлен протокол для исследования относительной последовательности активации фонологии и семантики в визуальном распознавании слов. Результаты показывают, что в соответствии с интерактивными учетными записями семантические и фонологические представления могут обрабатываться интерактивно, а лингвистические представления более высокого уровня могут влиять на раннюю обработку.

Аннотация

Противоречия всегда существовали в исследованиях, связанных со способностями к чтению; о том, воспринимаются ли печатные слова в прямом виде на основе орфографической информации, после чего активируются другие представления, такие как фонология и семантика, или же они полностью интерактивны и высокоуровневая семантическая информация влияет на раннюю обработку. В представленном протоколе фонологических и семантических задач суждения реализована интерференционная парадигма, в которой для исследования относительного порядка фонологической и семантической активации использовались одни и те же предшествующие целевые пары. Высоко- и низкочастотным целевым словам предшествовали три условия: семантически связанные, фонологические (омофоны) или несвязанные. Результаты показали, что индуцированная составляющая P200 низкочастотных пар слов была значительно больше высокочастотных слов как в семантических, так и в фонологических задачах. Кроме того, как омофоны в семантической задаче, так и семантически связанные пары в фонологической задаче вызвали снижение N400 по сравнению с контрольным условием, частотой слова независимо. Стоит отметить, что для низкочастотных пар в задаче фонологического суждения P200, высвобождаемый семантически связанными парами слов, был значительно больше, чем в контрольном состоянии. В целом, семантическая обработка в фонологических задачах и фонологическая обработка в семантических задачах были обнаружены как в высоко-, так и в низкочастотных словах, предполагая, что взаимодействие между семантикой и фонологией может действовать независимо от задачи. Однако конкретное время, в течение которого происходило это взаимодействие, могло зависеть от задачи и частоты.

Введение

Критическим вопросом в любой модели распознавания слов является понимание роли фонологии в процессе семантического доступа¹. Для алфавитных языков многие исследования последовательно рассматривают фонологию как играющую важную роль в семантическом доступе, включая английский^2,3,4,иврит^5,французский⁶и испанский^7. Другими словами, распознавание письменного слова предполагает не только орфографическую, но и фонологическую и семантическую обработку. Это наблюдение в интерактивной коннекционистской модели объясняется расширениями, активированными по всей сети, где орфография связана с фонологическими и семантическими представлениями через взвешенные связи^8. Это распространение активации обеспечивает основной механизм для модели визуального распознавания слов, которая предполагает, что фонологические и семантические представления автоматически активируются в ответ на орфографический ввод^9.

Однако современные эмпирические данные, подтверждающие гипотезу интерактивной автоматизации, остаются спорными. Некоторые исследования утверждают, что активация фонологических и семантических представлений может быть скорректирована или предотвращена требованиями задачи или внимания, что подразумевает определенное нисходящее влияние на процессы высокого уровня, участвующие в восприятии слова^10,11. Тем не менее, вышеупомянутое описание было поставлено под сомнение многими выводами, которые сообщают о фонологических и семантических эффектах в визуальном распознавании слов, даже если эти представления совершенно не имеют отношения к задаче или не могут быть напрямую доступны^12,тем самым поддерживая мнение о том, что семантика и фонология могут быть доступны автоматически и принудительно во время процесса чтения^13. . Поэтому существует неопределенность в отношении того, зависит ли фонологическая и семантическая активация в визуальном распознавании слов от конкретной задачи или же она происходит принудительно и автоматически независимо от задачи.

Ответ на вышеупомянутый вопрос сложен для китайских читателей. По сравнению с английским, китайский язык представляет собой логографическое письмо, символы которого представляют морфемы вместо фонем^14. В настоящее время роль фонологии для семантического доступа к китайским словам остается спорной. Некоторые исследования утверждают, что фонология играет важную роль в семантическом доступе к китайским словам^15,16,17. Другие, однако, придерживаются противоположной^{точки зрения 18,19.} Оценив вышеупомянутые исследования для китайской фонологической обработки, мы обнаружили, что экспериментальная парадигма и конкретные методы исследования различаются. В целом она была в основном разделена на две парадигмы: слово прайминг^15,18,19 и парадигма нарушения в предложении^17,20,21. Целевое слово обычно встраивается в конце предложения в парадигму нарушения^22. С точки зрения языкового механизма, короткая фраза из двух слов является более управляемой единицей, чем полное предложение, которое трудно обработать^23. Кроме того, переменные, которые трудно контролировать в предложении, такие как синтаксис, контекст или другие факторы, могут привести к различным выводам^24. Парадигма прайминга — это метод, обычно используемый для изучения моделей распознавания слов, будь то в алфавитных языках или китайском. Задача этой парадигмы состоит в том, чтобы судить, является ли целевое слово, которому предшествуют простые числа, реальным словом или псевдословом; то есть эта парадигма обычно содержит только одну лексическую задачу. Однако одно лексическое решение задачи может быть не лучшим выбором для решения проблемы того, зависит ли активация фонологии и семантики от поставленной задачи. Поэтому две разные задачи могут быть более подходящими для изучения этого вопроса.

Поэтому это исследование было направлено на изучение роли фонологии в распознавании китайских слов и одновременно попытку определить, является ли активация фонологии и семантики независимой от задачи. Наше исследование включает в себя две задачи с использованием интерференционной парадигмы: семантическое суждение и фонологическое суждение. Насколько нам известно, это первое исследование потенциала, связанного с событиями (ERP) китайского двухсимвольного комплексного распознавания с использованием этой парадигмы интерференции, и этот метод редко появляется в исследованиях алфавитных языков. В частности, в задаче семантического суждения участники должны судить, является ли целевое слово и его прецедент семантически связанными, в то время как в фонологической задаче они должны судить, имеют ли парные слова одинаковое произношение.

Первая представляет собой задачу семантического сопоставления, не требующую априорной фонологической обработки, а вторая — фонологическую задачу суждения, не требующую априорной семантической обработки. Поэтому мы сравнили гомофонные пары и несвязанные контрольные группы в задаче семантического суждения, чтобы выявить, влияет ли фонология на семантическую обработку и как она влияет. Аналогичным образом, мы сравнили семантически связанные пары слов с несвязанными контрольными условиями в задаче фонологического суждения, чтобы выявить, влияет ли семантика на фонологическую обработку и как она влияет. Кроме того, вышеупомянутая проблема была проверена в высоко- и низкочастотных словах. Таким образом, эта взаимодополняющая семантическая и фонологическая задача суждения может не только выявить важность фонологической обработки в распознавании китайских слов, но и выявить, взаимодействуют ли фонология и семантика.

Если фонология и семантические процессы являются ранними, автоматическими и интерактивными, эффект фонологической и семантической активации должен наблюдаться во время отклика двух задач. Для ERP фонологические и семантические процессы запускают два разных электрофизиологических маркера^2,7. Кроме того, их временные курсы и их пространственное распределение должны быть разными. Ранний положительный компонент (P200) должен отражать фонологическую обработку, а типичный маркер семантической обработки N400 также должен быть идентифицирован^20,21. Мы предположили, что как фонологически связанные пары в семантической задаче, так и семантические пары в фонологической задаче вызовут значительное снижение N400, что указывает на то, что фонологическая обработка может привести к некоторой степени активации на лексико-семантических уровнях. Кроме того, мы отслеживали, появился ли P200, который характеризует фонологическую обработку, в задаче семантического суждения или в задаче фонологического суждения. В задаче фонологического суждения семантические условия вызывают P200, что можно рассматривать как свидетельство раннего влияния семантики на фонологическую обработку.

протокол

Протокол, использованный для этого исследования, был одобрен Институциональным наблюдательным советом Университета Цинхуа.

1. Построение и презентация стимулов

1. Построение стимулов
   1. Подготовка стимулов: Подготовьте целевые слова, содержащие примерно 140 китайских двухсимвольных соединений, из которых низко- и высокочастотные слова составляют половину. Предшествуют каждой цели три аналога: фонологически идентичное слово (омонимическое слово), слово со связанным значением и нерелевантное контрольное слово.
      1. Убедитесь, что высокочастотным целям всегда предшествуют высокочастотные предшественники, а низкочастотным мишеням всегда предшествуют низкочастотные прецеденты, будь то в связанных условиях или несвязанных контрольных группах. Кроме того, убедитесь, что пары предшествующей цели похожи по количеству ударов и частоте.
         ПРИМЕЧАНИЕ: Все слова для этого исследования были отобраны из Современного китайского частотного словаря (Xiandai Hanyu Pinlu Cidian). Частота низкочастотных слов была менее восьми раз на миллион, а частота высокочастотных слов превышала 800 раз на миллион.
   2. Оценка стимулов: Наберите отдельную группу из примерно 30 студентов для оценки степени семантической релевантности между парами слов по семибалльной шкале, где 1 отражает самую низкую корреляцию, а 7 отражает самую высокую корреляцию.
   3. Окончательное определение стимула: Удалите неуместные пары слов, такие как пары слов с более низкими баллами в семантически связанных условиях и пары слов с более высокими баллами в омофоне и нерелевантными оценками условий.
      1. Рассчитайте соответствующие средние баллы высоко- и низкочастотных семантических пар слов и убедитесь, что между ними нет существенной разницы.
      2. Кроме того, убедитесь, что оценки гомофонных пар и несвязанных пар существенно не различаются как на высокой, так и на низкой частоте. Наконец, определите конечный экспериментальный стимулирующий материал (см. Таблицу материалов).
         ПРИМЕЧАНИЕ: Для семантических значений семантических пар в этом эксперименте конечные средние значения составляли 5,62 и 5,73 для высокочастотных и низкочастотных пар соответственно, и между ними не было существенной разницы(p > .1). Кроме того, семантическое родство между гомофоническими и неродственными парами существенно не отличалось(p > .1).
2. Презентация стимулов
   1. Постройте программу, чтобы показать задание субъектам и заполните вышеупомянутые материалы (программа может быть написана на E-prime или других языках программирования).
   2. Убедитесь, что каждая основная структура программы начинается с экрана, отображающего знак " + ", который длится в течение 300 мс, непосредственно после чего предыдущее слово должно появляться в течение 140 мс, без интервала между ними.
   3. После этого установите пустой экран продолжительностью 360 мс, а затем установите целевое слово, которое будет появляться в течение 500 мс. Наконец, установите вопросительный знак (?), который будет продолжать отображаться до тех пор, пока участник не определится с только что показанной парой слов и не нажмет кнопку как можно быстрее и точнее.
   4. Скажите участникам заранее, что им нужно судить, является ли пара слов семантически связанной в задаче семантического суждения и является ли фонология одинаковой в задаче фонологического суждения.
   5. Настройка сеанса практики: Создайте две группы практики, чтобы включить задачи семантического суждения и фонологического суждения, соответственно, с не менее чем 10 парами слов для каждой задачи. Сообщите участникам, что они могут повторить упражнения, чтобы убедиться, что точность в тренировке составляет более 70%.
   6. Формальная установка эксперимента: разделите весь эксперимент на 6 блоков, при этом задача семантического суждения и задача фонологического суждения составляют половину.
      1. Убедитесь, что в каждом блоке нет повторяющихся целевых слов и что количество типов прайминга в каждом блоке одинаково. Кроме того, организуйте несколько испытаний наполнителей, чтобы уменьшить отклонение ответа, вызванное неравным количеством тестов, требующих положительных или отрицательных реакций.
      2. Рандомизируйте порядок элементов в каждом блоке и уравновесьте порядок блоков среди субъектов.
         ПРИМЕЧАНИЕ: Весь эксперимент также можно разделить на восемь или десять или более блоков в зависимости от количества экспериментальных материалов, которые должны быть подготовлены, что сводит к минимуму повторение целевых слов в каждом блоке.

2. Подготовка эксперимента и электрофизиологическая запись

1. Наберите праворуких носителей китайского языка с нормальным зрением, которое, возможно, было ранее исправлено.
   1. Исключить участников с любыми неврологическими или психиатрическими заболеваниями.
   2. Обеспечить сбалансированное количество участников женского и мужского пола в желаемом возрастном диапазоне (18-28 лет).
   3. Убедитесь, что у участников не было истории химической завивки или окрашивания волос в течение последних двух месяцев.
   4. Сообщите участникам, что им нужно будет иметь достаточное время для сна и отдыха до начала эксперимента^25.
   5. При участии в эксперименте, пожалуйста, убедитесь, что участники находятся в здоровом состоянии на момент проведения эксперимента.
2. Когда участник прибывает в лабораторию, представьте экспериментальное оборудование, задания и временные затраты. Объясните требования (например, не быть сонным, двигаться и моргать), чтобы помочь им понять весь процесс и устранить ненужные заботы.
3. Если у участника нет других вопросов об эксперименте, попросите его заполнить Эдинбургскую форму запроса руки, которая используется для подтверждения того, что все участники имеют одинаковые праворукие привычки.
4. Предоставьте участникам форму информированного согласия и попросите их внимательно прочитать и подписать. Если у участников есть вопросы о содержании формы согласия, предоставьте им необходимые пояснения.
5. Проинструктируйте участника правильно очистить кожу головы и высушить волосы в лаборатории. В ожидании участников, пожалуйста, подготовьте все экспериментальные материалы.
   ПРИМЕЧАНИЕ: Сигнал электроэнцефалограммы (ЭЭГ) усиливается с помощью системы усилителей с полосой пропускания от 0,01 до 100 Гц и непрерывного отбора проб при частоте 500 Гц.
6. Предложите участникам удобно расположиться на стуле в камере, где будет проводиться эксперимент. Проинструктировал их не двигать стулом.
7. Используйте ватные тампоны и скрабы для лица для очистки кожи под левым глазом участника (для вертикального электроокулографического электрода), возле наружного канта правого глаза (для горизонтального электроокульографического) и вокруг правой и левой сосцевидных костей (для Tp9 и Tp10, которые будут использоваться в качестве новых автономных ссылок).
   ПРИМЕЧАНИЕ: Распределение электродов может варьироваться в зависимости от используемых колпачков.
8. Поместите эластичный колпачок на голову участника и убедитесь, что электрод Cz находится в центре верхней части головы. Закрепите ремешок крышки электрода под подбородком с осторожностью, чтобы он не был слишком плотным или слишком свободным.
9. Убедитесь, что колпачок и усилитель подключены к системе записи. Затем переключите записывающее программное обеспечение на интерфейс мониторинга импеданса.
10. Убедитесь, что импеданс всех электродов не превышает 5 кОм или 10 кОм, начиная с опорных (Ref) и заземляющих (Gnd) электродов.
11. Пропустите шприц, наполненный проводящим гелем, через небольшое отверстие электрода к коже головы, а затем протолкните поршень, чтобы ввести небольшое количество проводящего геля в кожу головы, стараясь не вызвать переполнение. В то же время контролируйте систему отображения, которая отображает импеданс в режиме реального времени, пока импеданс не упадет до порогового значения.
12. После того, как электроды Ref и Gnd подготовлены, уменьшите импеданс других электродов таким же образом. Тщательно обработайте снижение импеданса глазного электричества.
    1. Заклейте небольшие отверстия на одной стороне двух электроокулографических электродов, чтобы предотвратить утечку вводимого проводящего геля. Закрепите их лентой на нижней части левого глаза и внешней кантусе правого глаза.
13. После того, как все электроды подготовлены, проинструктируйте участников быть готовыми к эксперименту. Проинструктируйте участников расслабиться и избегать чрезмерного моргания глаз и движения тела во время эксперимента.
14. Представьте стимул через демонстрационную программу стимула и позвольте участникам практиковаться в разделе практики.
    ПРИМЕЧАНИЕ: После тренировки участники могут задавать вопросы, если у них есть какие-либо сомнения или вопросы о том, как действовать дальше.
15. Начните формальный эксперимент и запишите информацию ЭЭГ. Контролируйте систему записи во время записи. Если электрод ослаблен или сопротивление превышает порог, заправьте электрод, когда участник отдыхает.
    ПРИМЕЧАНИЕ: Участники могут отдыхать в течение 4-10 минут после каждого блока.
16. После завершения эксперимента сохраните сигнал ЭЭГ и выключите оборудование, такое как система записи и усилитель. Затем снимите шапочку участника и попросите участника смыть проводящий гель с волос и кожи. Наконец, наградите участников и поблагодарите их за сотрудничество.

3. Предварительная обработка ЭЭГ

1. Используйте полуавтоматическую коррекцию глаз с независимым анализом компонентов.
2. Вычислите ERP-сигналы от 100 мс до 600 мс после начала целевого слова (базовый уровень 100 мс перед целевым показателем).
3. Установите полосовую фильтрацию ЭЭГ в автономном режиме от 0,05 до 30 Гц (режим нулевого сдвига фазы, 24 дБ/окт).
4. Отбросьте эпохи, превышающие ±80 мкВ, путем отторжения артефактов и исключите испытания ошибочных ответов.

Результаты

Этот протокол был использован в недавнем исследовании для изучения роли фонологии в китайском двухсимвольном распознавании соединений и для вывода модели распознавания слов^26. Все стимулы, использованные в этом исследовании, были полностью раскрыты^26. На осно...

Обсуждение

Экспериментальные результаты и значимость:
Цель этого протокола состояла в том, чтобы сделать следующий вывод: 1) является ли модель распознавания слов моделью прямой передачи или интерактивной моделью и 2) взаимодействием между фонологическими и семантическими паттернами ?...

Материалы

Name	Company	Catalog Number	Comments
BrainAmp DC amplifier system (Brain Products GmbH)	Brain Products, Gilching, Germany		BrainAmp S/N AMP13061964DC Input 5.6DC=150mA Operation 7mA Standby
Easycap (Brain Products GmbH)	Brain Products, Gilching, Germany		62 Ag/AgCl electrodes with a configuration of the international 10–20 system of electrode