אינטראקציה בין תהליכים פונולוגיים וסמנטיים בזיהוי מילים חזותי באמצעות אלקטרופיזיולוגיה

Summary

אנו מציגים פרוטוקול כדי לחקור את רצף ההפעלה היחסי של פונולוגיה וסמנטיקה בזיהוי מילים חזותיות. התוצאות מראות כי בהתאם לחשבונות אינטראקטיביים, ייצוגים סמנטיים ופונולוגיים עשויים להיות מעובדים באופן אינטראקטיבי, וייצוגים לשוניים ברמה גבוהה יותר עשויים להשפיע על עיבוד מוקדם.

Abstract

מחלוקות תמיד היו קיימות במחקרים הקשורים ליכולות קריאה; על האם מילים מודפסות נתפסות באופן הזנה על סמך מידע אורתוגרפי שלאחריו מופעלים ייצוגים אחרים, כגון פונולוגיה וסמנטיקה, או אם מדובר במידע סמנטי אינטראקטיבי לחלוטין ברמה גבוהה המשפיע על עיבוד מוקדם. פרדיגמת הפרעה יושמה בפרוטוקול המוצג של משימות שיפוט פונולוגיות וסמנטיות שניצלו את אותם זוגות קודמים כדי לחקור את הסדר היחסי של הפעלה פונולוגית וסמנטית. מילות היעד בתדר גבוה ונמוך קדמו לשלושה תנאים: קשר סמנטי, קשר טלפוני (הומופונים) או לא קשור. התוצאות הראו כי רכיב P200 המושרה של זוגות מילים בתדר נמוך היה גדול משמעותית ממילים בתדר גבוה הן במשימות הסמנטיות והן במשימות הפונולוגיות. בנוסף, הן ההומופונים במשימה הסמנטית והן הזוגות הקשורים סמנטית במשימה הפונולוגית גרמו לירידה ב- N400 בהשוואה למצב הבקרה, תדירות המילים באופן עצמאי. ראוי לציין כי עבור זוגות בתדר נמוך במשימת השיפוט הפונולוגי, P200 שוחרר על ידי זוגות מילים הקשורים סמנטית היה גדול באופן משמעותי מזה במצב הבקרה. בסך הכל, עיבוד סמנטי במשימות פונולוגיות ועיבוד פונולוגי במשימות סמנטיות נמצאו הן במילים בתדר גבוה והן בתדר נמוך, דבר המצביע על כך שהאינטראקציה בין סמנטיקה לפונולוגיה עשויה לפעול באופן עצמאי ממשימה. עם זאת, ייתכן שהזמן הספציפי בו התרחשה אינטראקציה זו הושפע מהמשימה והתדירות.

Introduction

הנושא הקריטי בכל מודל זיהוי מילים הוא הבנת תפקידה של הפונולוגיה בתהליך הגישה הסמנטית¹. עבור שפות אלפביתיות, מחקרים רבים רואים בעקביות את הפונולוגיה כמי שמילאה תפקיד חשוב בגישה סמנטית, כולל אנגלית^2,3,4, עברית⁵, צרפתית⁶וספרדית⁷. במילים אחרות, זיהוי מילים כתובות כרוך לא רק בעיבוד אורתוגרפי אלא גם פונולוגי וסמנטי. תצפית זו במודל הקשר האינטראקטיבי מוסברת על ידי הרחבות המופעלות ברחבי הרשת, שם האורתוגרפיה קשורה לייצוגים פונולוגיים וסמנטיים באמצעות חיבורים משוקללים⁸. התפשטות זו של הפעלה מספקת את מנגנון הליבה של מודל זיהוי המילים החזותיות, אשר מניח כי ייצוגים פונולוגיים וסמנטיים מופעלים באופן אוטומטי בתגובה לקלט אורתוגרפי⁹.

עם זאת, הראיות האמפיריות הנוכחיות התומכות בהשערה של אוטומציה אינטראקטיבית נותרות שנויות במחלוקת. מחקרים מסוימים טוענים כי הפעלה של ייצוגים פונולוגיים וסמנטיים ניתן להתאים או למנוע על ידי דרישות משימה או תשומת לב, מה שמרמז על השפעה מלמעלה למטה מסוימת על התהליכים ברמה גבוהה המעורבים בתפיסת^{מילים 10,11}. עם זאת, התיאור הנ"ל נחקר על ידי ממצאים רבים המדווחים על אפקטים פונולוגיים וסמנטיים בזיהוי מילים חזותי למרות שייצוגים אלה אינם רלוונטיים לחלוטין למשימה או שלא ניתן לגשת אליהם ישירות¹², ובכך תומכים בדעה כי ניתן לגשת לסמנטיקה ולפונולוגיה באופן אוטומטי ובכפותיות במהלך תהליך הקריאה¹³ . לכן, קיימת אי ודאות אם ההפעלה הפונולוגית והסמנטית בזיהוי מילים חזותיות תלויה במשימה הספציפית או אם היא מתרחשת בכפייה ובאופן אוטומטי באופן בלתי תלוי במשימה.

התשובה לשאלה הנ"ל קשה לקוראים הסינים. בהשוואה לאנגלית, סינית היא כתב לוגרפי שתוויו מייצגים מורפימס במקום פונמות¹⁴. כיום, תפקידה של הפונולוגיה לגישה סמנטית למילים סיניות נותר שנוי במחלוקת. כמה מחקרים טענו כי פונולוגיה ממלאת תפקיד חשוב בגישה סמנטית למילים סיניות^15,16,17. אחרים, לעומת זאת, החזיקו בדעה הפוכה^18,19. לאחר הערכת המחקר הנ"ל לעיבוד פונולוגי סיני, מצאנו כי הפרדיגמה הניסיונית ושיטות המחקר הספציפיות שונות זו מזו. באופן כללי, הוא חולק בעיקר לשתי פרדיגמות: מילה^15,18,19 והפרת פרדיגמה במשפט^17,20,21. מילת היעד מוטבעת בדרך כלל בסוף המשפט בפרדיגמת ההפרה²². במונחים של מנגנון שפה, ביטוי קצר של שתי מילים הוא יחידה לניהול יותר מאשר משפט שלם שקשה לעבד²³. בנוסף, משתנים שקשה לשלוט בהם במשפט, כגון תחביר, הקשר או גורמים אחרים, עשויים להוביל למסקנות שונות²⁴. המילה פרדיגמה ראשונית היא שיטה המשמשת בדרך כלל לחקור מודלים לזיהוי מילים, בין אם בשפות אלפביתיות או בסינית. המשימה של פרדיגמה זו היא לשפוט אם מילת היעד שקדמה לה בפריים היא מילה אמיתית או מילה מדומה; כלומר, פרדיגמה זו מכילה בדרך כלל רק משימה לקסיקלית אחת. עם זאת, משימת החלטה לקסיקלית אחת עשויה שלא להיות הבחירה הטובה ביותר לפתור את הבעיה של האם הפעלת פונולוגיה וסמנטיקה תלויה במשימה. לכן, שתי משימות שונות עשויות להיות מתאימות יותר לחקר שאלה זו.

לכן, מחקר זה נועד לחקור את תפקידה של פונולוגיה בזיהוי מילים בסינית ובו זמנית לנסות לקבוע אם הפעלת פונולוגיה וסמנטיקה היא במשימה עצמאית. המחקר שלנו כולל שתי משימות באמצעות פרדיגמת ההפרעה: שיפוט סמנטי ושיפוט פונולוגי. למיטב ידיעתנו, זהו המחקר הפוטנציאלי הראשון הקשור לאירוע (ERP) של זיהוי מורכב סיני בן שני תווים באמצעות פרדיגמת הפרעה זו, ושיטה זו מופיעה לעתים רחוקות במחקרים של שפות אלפביתיות. באופן ספציפי, במשימת השיפוט הסמנטית, על המשתתפים לשפוט אם מילת היעד ותקדים שלה קשורים סמנטית, ואילו במשימה הפונולוגית, עליהם לשפוט אם למילים הזוגיות יש את אותה הגייה.

הראשונה היא משימה תואמת סמנטית שאינה דורשת עיבוד פונולוגי priori, והאחרונה היא משימת שיפוט פונולוגית שאינה דורשת עיבוד סמנטי מראשי. לכן, השווינו זוגות הומופונים וקבוצות בקרה לא קשורות במשימת השיפוט הסמנטית כדי לחשוף אם וכיצד הפונולוגיה משפיעה על עיבוד סמנטי. באופן דומה, השווינו זוגות מילים הקשורים סמנטית לתנאי בקרה שאינם קשורים במשימת השיפוט הפונולוגית כדי לגלות אם וכיצד סמנטיקה משפיעה על העיבוד הפונולוגי. בנוסף, הבעיה הנ"ל אומתה במילים בתדר גבוה ונמוך. לפיכך, משימת שיפוט סמנטית ופונולוגית משלימה זו יכולה לא רק לחשוף את החשיבות של עיבוד פונולוגי בזיהוי מילים סיני, אלא גם לחשוף אם וכיצד פונוולוגיה וסמנטיקה מתקשרות.

אם הפונולוגיה והתהליכים הסמנטיים הם מוקדמים, אוטומטיים ואינטראקטיביים, יש לראות את ההשפעה של הפעלה פונולוגית וסמנטית בזמן התגובה של שתי המשימות. עבור ERP, תהליכים פונולוגיים וסמנטיים מפעילים שני סמנים אלקטרופיזיולוגיים שונים^2,7. בנוסף, קורסי הזמן שלהם וההפצות המרחביות שלהם צריכים להיות שונים. רכיב חיובי מוקדם (P200) צריך לשקף עיבוד פונולוגי, ואת סמן עיבוד סמנטי טיפוסי N400 צריך להיות מזוהה גם^20,21. הנחנו כי הן הזוגות הקשורים מבחינה פונולוגית במשימה הסמנטית והן הזוגות הסמנטיים במשימה הפונולוגית יגרמו לירידה משמעותית ב- N400, מה שהיה מצביע על כך שעיבוד פונולוגי עשוי להוביל במידה מסוימת של הפעלה ברמות לקסיקיות-סמנטיות. בנוסף, עקבנו אם ה- P200, המאפיין עיבוד פונולוגי, הופיע במשימת השיפוט הסמנטית או במשימת השיפוט הפונולוגית. במשימת השיפוט הפונולוגי, תנאים הקשורים סמנטית מפעילים את P200, אשר ניתן לראות כעדות להשפעה המוקדמת של סמנטיקה על עיבוד פונולוגי.

Protocol

הפרוטוקול המשמש למחקר זה אושר על ידי ועדת הביקורת המוסדית של אוניברסיטת צינגחואה.

1. בנייה והצגת גירויים

1. בניית גירויים
   1. הכנת גירויים: הכינו מילות יעד המכילות כ-140 תרכובות סיניות בעלות שתי תווים, מתוכן מילים בתדר נמוך וגבוה מהוות מחצית. לפני כל יעד בשלושה אנלוגים: מילה זהה מבחינה פונולוגית (מילה הומונית), מילה עם משמעות קשורה ומילת בקרה לא רלוונטית.
      1. ודא כי יעדים בתדר גבוה תמיד מקדימים קדמו קדמונים בתדר גבוה ויעדים בתדר נמוך תמיד קודמים על-ידי תקדימים בתדר נמוך, בין אם בתנאים קשורים או בקבוצות בקרה שאינן קשורות. בנוסף, ודא שהזוגות הקודמים דומים במספר הקווים והתדירות.
         הערה: כל המילים למחקר זה נבחרו מתוך מילון התדרים הסיני המודרני (Xiandai Hanyu Pinlu Cidian). תדירות המילים בתדר נמוך הייתה פחות משמונה פעמים למיליון, ותדירות המילים בתדירות גבוהה עלתה על 800 פעמים למיליון.
   2. הערכת גירויים: לגייס קבוצה נפרדת של כ -30 סטודנטים כדי להעריך את מידת הרלוונטיות הסמנטית בין זוגות מילים בסולם של שבע נקודות, כאשר 1 משקף את המתאם הנמוך ביותר ו- 7 משקף את המתאם הגבוה ביותר.
   3. קביעת גירוי סופי: מחק זוגות מילים לא הולמות, כגון זוגות מילים עם ציונים נמוכים יותר בתנאים הקשורים לסמנטיקה וזוגות מילים עם ציונים גבוהים יותר בציוני הומופון ומצבים לא רלוונטיים.
      1. חשב את הציונים הממוצעים המתאימים של זוגות מילים סמנטיים בתדר גבוה ונמוך והבטח שלא קיים הבדל משמעותי בין השניים.
      2. בנוסף, ודא כי עשרות זוגות הומופונים וזוגות שאינם קשורים אינם שונים באופן משמעותי הן בתדר גבוה והן בתדירות נמוכה. לבסוף, לקבוע את חומר הגירוי הניסיוני הסופי (ראה חומרי טבלה).
         הערה: עבור הערכים הסמנטיים הקשורים של זוגות סמנטיים בניסוי זה, הערכים הממוצעים הסופיים היו 5.62 ו- 5.73 עבור זוגות בתדר גבוה ובתדר נמוך, בהתאמה, ולא היה הבדל משמעותי בין השניים (p > .1). בנוסף, הקשר הסמנטי בין הזוגות ההומופוניים והבלתי קשורים לא היה שונה באופן משמעותי (p > .1).
2. מצגת גירויים
   1. בנה תוכנית כדי להציג את המשימה לנושאים ולמלא את החומרים הנ"ל (התוכנית יכולה להיכתב ב- E-prime או בשפות תכנות אחרות).
   2. ודא שכל מבנה ליבה של התוכנית מתחיל עם מסך המציג סימן " + " הנמשך 300 אלפיות השנייה, מיד לאחר מכן המילה הקודמת חייבת להופיע עבור 140 אלפיות השנייה, ללא מרווח בין השניים.
   3. לאחר מכן, הגדר מסך ריק הנמשך עבור 360 ms ולאחר מכן הגדר את מילת היעד, אשר יופיע עבור 500 ms. לבסוף, הגדר סימן שאלה (?) שימשיך להיות מוצג עד שהמשתתף יחליט על זוג המילים רק מוצג ולחץ על הכפתור במהירות ובדייקות ככל האפשר.
   4. אמור למשתתפים מראש כי עליהם לשפוט אם זוג המילים קשור סמנטית במשימת השיפוט הסמנטי והאם הפונולוגיה זהה במשימת השיפוט הפונולוגית.
   5. הגדרת הפעלת תרגול: הגדר שתי קבוצות תרגול שיכללו משימות שיפוט סמנטיות ושיקול דעת פונולוגי, בהתאמה, עם לא פחות מ- 10 זוגות של מילים עבור כל משימה. ליידע את המשתתפים כי הם יכולים לחזור על התרגילים כדי להבטיח כי הדיוק בתרגול הוא יותר מ 70%.
   6. הגדרת ניסוי רשמית: חלקו את כל הניסוי ל-6 בלוקים, עם משימת השיפוט הסמנטית ומשימת השיפוט הפונולוגית שכל אחד מהם אחראי לחצי.
      1. ודא שאין מילות יעד חוזרות בכל בלוק, וכי מספר סוגי הפרימים בכל בלוק זהה. בנוסף, הגדיר כמה ניסויי מילוי כדי להפחית את סטיית התגובה הנגרמת על ידי מספר לא שוויוני של בדיקות הדורשות תגובות חיוביות או שליליות.
      2. אקראי את סדר הפריטים בכל בלוק ולאזן את סדר החסימות בין הנבדקים.
         הערה: ניתן גם לחלק את הניסוי כולו לשמונה או עשרה בלוקים או יותר בהתאם למספר החומרים הניסיוניים שיש להכין, מה שממזער את החזרה על מילות היעד בכל בלוק.

2. הכנת ניסויים והקלטה אלקטרופיזיולוגית

1. גייס דוברי סינית ימניים עם חזון נורמלי שאולי תוקן בעבר.
   1. לא לכלול משתתפים עם כל מחלות נוירולוגיות או פסיכיאטריות.
   2. ודא שיש מספר מאוזן של נשים וגברים בטווח הגילאים הרצוי (18-28 שנים).
   3. ודא כי המשתתפים אין כל היסטוריה של חלחלות או צביעת השיער שלהם במשך החודשיים האחרונים.
   4. ליידע את המשתתפים כי הם יצטרכו לישון מספיק זמן מנוחה לפני הניסוי²⁵.
   5. בעת השתתפותם בניסוי, אנא ודאו שהמשתתפים נמצאים במצב בריא בזמן ביצוע הניסוי.
2. כאשר משתתף מגיע למעבדה, הצג את הציוד הניסיוני, המשימות ועלויות הזמן. הסבר את הדרישות (כגון לא להיות ישנוני, מרגש, ומהבהב) כדי לעזור להם להבין את התהליך כולו ולמנוע דאגות מיותרות.
3. אם למשתתף אין שאלות אחרות על הניסוי, בקש ממנו למלא את טופס שאילתת Edinburgh Handedness, המשמש לאישור שלכל המשתתפים יש את אותם הרגלים ימניים.
4. ספק את טופס ההסכמה מדעת למשתתפים ובקש מהם לקרוא ולחתום בעיון. אם למשתתפים יש שאלות לגבי תוכן טופס ההסכמה, ספק להם את ההסברים הדרושים.
5. להנחות את המשתתף לנקות כראוי את הקרקפת שלהם ולייבש את השיער שלהם במעבדה. בזמן ההמתנה למשתתפים, אנא הכינו את כל החומרים הניסיוניים.
   הערה: אות האלקטרואנצפלוגרמה (EEG) מוגבר באמצעות מערכת מגבר עם מעבר פסים של 0.01 עד 100 הרץ ודגימה רציפה ב- 500 הרץ.
6. הזמן את המשתתפים לשבת בנוחות על כיסא בחדר שבו הניסוי יבוצע. הורה להם לא להזיז את הכיסא.
7. השתמש בדגימות כותנה וקרצוף פנים כדי לנקות את העור מתחת לעין השמאלית של המשתתף (עבור האלקטרודה האלקטרו-אוקולוגרפית האנכית), ליד הקנתוס החיצוני של העין הימנית (עבור האלקטרו-אוקולוגרפי האופקי), וסביב עצמות המסטופואיד הימנית והשמאלית (עבור Tp9 ו- Tp10, אשר ישמשו כהפניות לא מקוונות חדשות).
   הערה: התפלגות האלקטרודות עשויה להשתנות בהתאם לכובעים המשמשים.
8. מניחים את המכסה האלסטי על ראשו של המשתתף ומוודאים שהאלקטרודה של Cz נמצאת במרכז החלק העליון של הראש. תקן את רצועת כובע האלקטרודה מתחת לסנטר בזהירות כדי להבטיח שהוא לא הדוק מדי או רופף מדי.
9. ודא שהמכסה והמגבר מחוברים למערכת ההקלטה. לאחר מכן, החלף את תוכנת ההקלטה לממשק ניטור העכבות.
10. ודא כי העכבה של כל האלקטרודות אינה עולה על 5 kΩ או 10 kΩ, החל עם האלקטרודות התייחסות (Ref) ו הקרקע (Gnd).
11. להעביר את המזרק מלא ג'ל מוליך דרך החור הקטן של אלקטרודה לקרקפת ולאחר מכן לדחוף את הבוכנה כדי להזריק כמות קטנה של ג'ל מוליך לתוך הקרקפת תוך נזהר לא לגרום הצפה. במקביל, נטר את מערכת התצוגה המציגה את המכשול בזמן אמת עד שהמעכבה תרד לסף.
12. לאחר האלקטרודות של Ref ו- Gnd מוכנות, להפחית את העכבה של האלקטרודות האחרות באותו אופן. התייחסו היטב להפחתת העכבה של החשמל עיני.
    1. להדביק את החורים הקטנים בצד אחד של שתי האלקטרודות האלקטרו-אוקולוגרפיות כדי למנוע את ג'ל מוליך מוזרק מדליף. תקן אותם לתחתית העין השמאלית ואת הקנתוס החיצוני של העין הימנית עם סרט הדבקה.
13. לאחר שכל האלקטרודות מוכנות, הנחו את המשתתפים להיות מוכנים לניסוי. להנחות את המשתתפים להירגע ולהימנע מצמוץ עיניים מוגזם ותנועת גוף במהלך הניסוי.
14. הצג את הגירוי באמצעות תוכנית הדגמת הגירוי ותן למשתתפים להתאמן בסעיף התרגול.
    הערה: לאחר האימון, המשתתפים יכולים לשאול שאלות אם יש להם ספקות או שאלות לגבי אופן ההמשך.
15. התחל את הניסוי הרשמי והקלט את המידע של EEG. נטר את מערכת ההקלטה במהלך ההקלטה. אם אלקטרודה רופפת או ההתנגדות חורגת מהסף, מלאו מחדש את האלקטרודה כאשר המשתתף נח.
    הערה: המשתתפים יכולים לנוח במשך 4-10 דקות לאחר כל בלוק.
16. לאחר השלמת הניסוי, שמור את אות ה- EEG וכבה את הציוד, כגון מערכת ההקלטה והמגבר. לאחר מכן הורידו את כובע המשתתף והורו למשתתף לשטוף את הג'ל המוליך מהשיער והעור. לבסוף, לתגמל את המשתתפים ולהודות להם על שיתוף הפעולה.

3. עיבוד מקדים של EEG

1. השתמש בתיקון עיני חצי אוטומטי עם ניתוח רכיבים עצמאי.
2. חשב את ה- ERPs מ- 100 אלפיות השנייה ל- 600 אלפיות השנייה לאחר תחילת מילת היעד (100 אלפיות השנייה לפני היעד הבסיסי).
3. הגדר את פס EEG מסונן במצב לא מקוון מ- 0.05 ל- 30 הרץ (מצב הזזת פאזה אפס, 24 dB / oct).
4. להשליך תקופות העולות על ±80 μV על ידי דחיית חפץ ולחסל את הניסויים של תגובות שגויות.

תוצאות

פרוטוקול זה שימש במחקר שנערך לאחרונה כדי לחקור את תפקידה של פונולוגיה בזיהוי מורכב בן שני תווים בסינית ולהסיק את המילה זיהוי מודל²⁶. כל הגירויים המשמשים במחקר זה נחשפו במלואם²⁶. שלושה חלונות זמן נבחרו על בסיס כוח שדה גלובלי (GFP): ב 100-150 אלפיות שני, 160-280 אלפיות שני, ו 300-...

Discussion

תוצאות ניסוי ומשמעות:
מטרת פרוטוקול זה הייתה להסיק את הדברים הבאים: 1) בין אם מודל זיהוי המילים הוא מודל הזנה או מודל אינטראקטיבי ו- 2) האינטראקציה בין התבניות הפונולוגיות והסמנטיות בזיהוי מורכב בן שני תווים סיני בתדר גבוה ונמוך תחת משימות שונות. אומצה פרדיגמת הפרעה של משימת התאמ?...

Materials

Name	Company	Catalog Number	Comments
BrainAmp DC amplifier system (Brain Products GmbH)	Brain Products, Gilching, Germany		BrainAmp S/N AMP13061964DC Input 5.6DC=150mA Operation 7mA Standby
Easycap (Brain Products GmbH)	Brain Products, Gilching, Germany		62 Ag/AgCl electrodes with a configuration of the international 10–20 system of electrode