التفاعل بين العمليات الصوتية والدلالية في التعرف على الكلمات المرئية باستخدام الفيزيولوجيا الكهربية

Summary

نقدم بروتوكولا لاستكشاف تسلسل التنشيط النسبي لعلم الأصوات والدلالات في التعرف على الكلمات المرئية. وتبين النتائج أنه بما يتفق مع الحسابات التفاعلية، يمكن معالجة التمثيلات الدلالية والأصواتية بشكل تفاعلي، وقد تؤثر التمثيلات اللغوية الأعلى مستوى على المعالجة المبكرة.

Abstract

كانت الخلافات موجودة دائما في البحوث المتعلقة بقدرات القراءة؛ حول ما إذا كان ينظر إلى الكلمات المطبوعة بطريقة feedforward استنادا إلى المعلومات التقويمية وبعد ذلك ، تمثيلات أخرى ، مثل علم الأصوات والدلالات يتم تنشيطها ، أو ما إذا كانت هذه المعلومات الدلالية تفاعلية تماما وعالية المستوى يؤثر على المعالجة المبكرة. تم تنفيذ نموذج التداخل في البروتوكول المقدم لمهام الحكم الصوتي والدلالي التي استخدمت نفس أزواج الهدف السابق لاستكشاف الترتيب النسبي للتنشيط الصوتي والدلالي. وقد سبقت الكلمات المستهدفة عالية التردد ومنخفضة التردد بثلاثة شروط: ذات صلة دلالية، أو ذات صلة بالأصوات (المثليات)، أو غير ذات صلة. وأظهرت النتائج أن المكون المستحث P200 لأزواج الكلمات منخفضة التردد كان أكبر بكثير من الكلمات عالية التردد في كل من المهام الدلالية والأصواتية. بالإضافة إلى ذلك ، تسبب كل من المثليين في المهمة الدلالية والأزواج ذات الصلة الدلالية في المهمة الصوتية في تقليل N400 بالمقارنة مع شرط التحكم ، تردد الكلمة بشكل مستقل. تجدر الإشارة إلى أنه بالنسبة للأزواج منخفضة التردد في مهمة الحكم الصوتي ، كان P200 الصادر عن أزواج الكلمات ذات الصلة الدلالية أكبر بكثير من ذلك في حالة التحكم. بشكل عام، تم العثور على المعالجة الدلالية في المهام الصوتية والمعالجة الصوتية في المهام الدلالية في كل من الكلمات عالية التردد ومنخفضة التردد، مما يشير إلى أن التفاعل بين الدلالات وعلم الأصوات قد يعمل بطريقة مستقلة عن المهمة. ومع ذلك، قد يكون الوقت المحدد الذي حدث فيه هذا التفاعل قد تأثر بالمهمة والتردد.

Introduction

المسألة الحاسمة في أي نموذج التعرف على كلمة هو فهم دور علم الأصوات في عملية الوصول الدلالي¹. بالنسبة للغات الأبجدية، تنظر العديد من الدراسات باستمرار إلى علم الأصوات على أنهيلعب دورا مهما في الوصول الدلالي، بما في ذلك الإنجليزية^2و3و4والعبرية^{5والفرنسية 6}والإسبانية^7. وبعبارة أخرى ، فإن التعرف على الكلمات المكتوبة لا ينطوي فقط على المعالجة التقويمية ولكن أيضا الصوتية والدلالية. يتم شرح هذه الملاحظة في نموذج الاتصال التفاعلي من خلال التمديدات التي يتم تنشيطها في جميع أنحاء الشبكة ، حيث يرتبط التصوير المقطعي بالتمثيل الصوتي والدلالي من خلال الاتصالات المرجحة⁸. هذا الانتشار التنشيط يوفر الآلية الأساسية لنموذج التعرف على الكلمة البصرية، والذي يفترض أن التمثيل الصوتي والدلالي يتم تنشيط تلقائيا استجابة لإدخال orthographic⁹.

ومع ذلك، لا تزال الأدلة التجريبية الحالية التي تدعم فرضية التشغيل الآلي التفاعلي مثيرة للجدل. تدعي بعض الدراسات أن تنشيط التمثيلات الصوتية والدلالية يمكن تعديله أو منعه من خلال مطالب المهام أو الاهتمام ، مما يعني تأثيرا معينا من أعلى إلى أسفل على العمليات عالية المستوى المشاركة في إدراك الكلمة^10،11. ومع ذلك ، تم التشكيك في الوصف المذكور أعلاه من قبل العديد من النتائج التي تبلغ عن الآثار الصوتية والدلالية في التعرف على الكلمات البصرية على الرغم من أن هذه التمثيلات غير ذات صلة تماما بالمهمة أو لا يمكن الوصول إليها مباشرة¹²، مما يدعم الرأي القائل بأنه يمكن الوصول إلى الدلالات وعلم الأصوات تلقائيا والإكراه أثناء عملية القراءة¹³ . لذلك ، هناك عدم يقين حول ما إذا كان التنشيط الصوتي والدلالي في التعرف على الكلمات البصرية يعتمد على المهمة المحددة أو ما إذا كان يحدث قسرا وتلقائيا بطريقة مستقلة عن المهمة.

إن الإجابة على السؤال المذكور أعلاه صعبة بالنسبة للقراء الصينيين. بالمقارنة مع اللغة الإنجليزية، الصينية هي سيناريو الشعار الذي تمثل شخصيات morphemes بدلا من phonemes¹⁴. في الوقت الحاضر ، لا يزال دور علم الأصوات للوصول الدلالي إلى الكلمات الصينية مثيرا للجدل. وقد ادعت بعض الدراسات أن علم الأصوات يلعب دورا هاما في الوصول الدلالي إلى الكلمات الصينية^15،16،17. غير أن آخرين يرأيون عكس^{ذلك 18و19}. بعد تقييم البحوث المذكورة أعلاه لمعالجة الصوتيات الصينية، وجدنا أن النموذج التجريبي وأساليب البحث المحددة تختلف. على العموم ، تم تقسيمها بشكل رئيسي إلى نموذجين: كلمة فتيلة^15،18،19 ونموذج الانتهاك في الجملة^17،20،21. وعادة ما تكون الكلمة المستهدفة مضمنة في نهاية الجملة في نموذج الانتهاك²². من حيث آلية اللغة، عبارة قصيرة من كلمتين هي وحدة أكثر سهولة من الجملة الكاملة التي يصعب معالجتها²³. بالإضافة إلى ذلك، قد تؤدي المتغيرات التي يصعب التحكم فيها في الجملة، مثل بناء الجملة أو السياق أو عوامل أخرى، إلى استنتاجات مختلفة²⁴. نموذج فتيلة الكلمة هو أسلوب يستخدم عادة لاستكشاف نماذج التعرف على الكلمات، سواء في اللغات الأبجدية أو الصينية. وتتمثل مهمة هذا النموذج في الحكم على ما إذا كانت الكلمة المستهدفة التي تسبقها الكلمات الأولية هي كلمة حقيقية أو كلمة زائفة؛ وهذا يعني أن هذا النموذج عادة ما يحتوي على مهمة معجمية واحدة فقط. ومع ذلك ، قد لا تكون مهمة قرار معجمية واحدة هي الخيار الأفضل لحل مشكلة ما إذا كان تنشيط علم الأصوات والدلالات يعتمد على المهمة. لذلك، قد تكون مهمتان مختلفتان أكثر ملاءمة لاستكشاف هذه المسألة.

لذلك ، يهدف هذا البحث إلى استكشاف دور علم الأصوات في التعرف على الكلمات الصينية ومحاولة تحديد ما إذا كان تنشيط علم الأصوات والدلالات في مهمة مستقلة. تتضمن أبحاثنا مهمتين باستخدام نموذج التداخل: الحكم الدلالي والحكم الصوتي. على حد علمنا ، هذه هي أول دراسة محتملة ذات صلة بالحدث (ERP) للاعتراف المركب الصيني ذو الحرفين باستخدام نموذج التداخل هذا ، ونادرا ما تظهر هذه الطريقة في دراسات اللغات الأبجدية. على وجه التحديد ، في مهمة الحكم الدلالي ، يجب على المشاركين الحكم على ما إذا كانت الكلمة المستهدفة وسابقتها مرتبطة دلاليا ، بينما في المهمة الصوتية ، يجب أن يحكموا على ما إذا كانت الكلمات المقترنة لها نفس النطق.

الأول هو مهمة مطابقة دلالية لا تتطلب معالجة فونولوجية مسبقة ، والثانية مهمة حكم فونولوجي لا تتطلب معالجة دلالية مسبقة. لذلك ، قارنا أزواج المثليين ومجموعات التحكم غير ذات الصلة في مهمة الحكم الدلالي للكشف عما إذا كان علم الأصوات يؤثر على المعالجة الدلالية وكيف. وبالمثل، قارنا أزواج الكلمات ذات الصلة الدلالية مع ظروف التحكم غير ذات الصلة في مهمة الحكم الصوتي للكشف عما إذا كانت الدلالات تؤثر على المعالجة الصوتية وكيف. وبالإضافة إلى ذلك، تم التحقق من المشكلة المذكورة أعلاه بكلمات عالية التردد ومنخفضة التردد. وهكذا، فإن هذه المهمة التكميلية للحكم الدلالي والفونولوجي لا يمكن أن تكشف فقط عن أهمية المعالجة الصوتية في التعرف على الكلمات الصينية ولكن أيضا تكشف ما إذا كان علم الأصوات والدلالات يتفاعل وكيف.

إذا كانت عمليات علم الأصوات والدلالات مبكرة وتلقائية وتفاعلية ، فيجب ملاحظة تأثير التنشيط الصوتي والدلالي في وقت استجابة المهمتين. لتخطيط موارد المؤسسات ، والعمليات الصوتية والدلالية تؤدي إلى اثنين من علامات كهربية مختلفة^2،7. وبالإضافة إلى ذلك، ينبغي أن تكون دوراتهم الزمنية وتوزيعاتهم المكانية مختلفة. يجب أن يعكس المكون الإيجابي المبكر (P200) المعالجة الصوتية ، ويجب أيضا تحديد علامة المعالجة الدلالية النموذجية N400^20و21. افترضنا أن كلا من الأزواج ذات الصلة الصوتية في المهمة الدلالية والأزواج ذات الصلة الدلالية في المهمة الصوتية من شأنها أن تسبب انخفاضا كبيرا في N400 ، مما يشير إلى أن المعالجة الصوتية قد تؤدي إلى درجة ما من التنشيط على المستويات الدلالية المعجمية. بالإضافة إلى ذلك ، رصدنا ما إذا كان P200 ، الذي يميز المعالجة الصوتية ، ظهر في مهمة الحكم الدلالي أو مهمة الحكم الصوتي. في مهمة الحكم الصوتي ، تؤدي الظروف ذات الصلة بالدلالات إلى P200 ، والتي يمكن اعتبارها دليلا على التأثير المبكر للدلالات على المعالجة الصوتية.

Protocol

وقد وافق مجلس المراجعة المؤسسية بجامعة تسينغهوا على البروتوكول المستخدم في هذه الدراسة.

1. البناء والحوافز العرض

1. بناء المحفزات
   1. إعداد المحفزات: إعداد الكلمات المستهدفة التي تحتوي على ما يقرب من 140 مركب صيني من حرفين، تمثل الكلمات منخفضة التردد وعالية التردد نصفها. تسبق كل هدف بثلاثة نظائر: كلمة متطابقة من الناحية الصوتية (كلمة متجانسة)، وكلمة ذات معنى ذي صلة، وكلمة تحكم غير ذات صلة.
      1. ضمان أن يسبق الأهداف عالية التردد دائما سوابق عالية التردد، وأن الأهداف منخفضة التردد تسبقها دائما سوابق منخفضة التردد، سواء في ظروف ذات صلة أو في مجموعات مراقبة غير مرتبطة. بالإضافة إلى ذلك، تأكد من أن أزواج الهدف السابق متشابهة في عدد السكتات الدماغية والتردد.
         ملاحظة: تم اختيار جميع الكلمات لهذه الدراسة من قاموس التردد الصيني الحديث (Xiandai Hanyu Pinlu Cidian). وكان تردد الكلمات منخفضة التردد أقل من ثماني مرات لكل مليون، وتجاوز تواتر الكلمات عالية التردد 800 مرة لكل مليون.
   2. تقييم المحفزات: توظيف مجموعة منفصلة من حوالي 30 طالبا لتقييم درجة الأهمية الدلالية بين أزواج الكلمات على مقياس من سبع نقاط، حيث يعكس 1 أدنى ارتباط و7 يعكس أعلى ارتباط.
   3. تحديد التحفيز النهائي: حذف أزواج الكلمات غير المناسبة، مثل أزواج الكلمات ذات الدرجات المنخفضة في الظروف ذات الصلة دلاليا وأزواج الكلمات ذات الدرجات الأعلى في درجات الحالة المثلية وغير ذات الصلة.
      1. حساب متوسط درجات كل من أزواج الكلمات ذات التردد العالي والمنخفض ذات الصلة بالدلالات وضمان عدم وجود فرق كبير بين الاثنين.
      2. بالإضافة إلى ذلك، تأكد من أن عشرات أزواج المثليين والأزواج غير المرتبطة لا تختلف اختلافا كبيرا على حد سواء عالية ومنخفضة التردد. وأخيرا، حدد المادة التجريبية النهائية للتحفيز (انظر مواد الجدول).
         ملاحظة: بالنسبة للقيم ذات الصلة الدلالية للأزواج ذات الصلة الدلالية في هذه التجربة، كان متوسط القيم النهائية 5.62 و 5.73 للأزواج عالية التردد ومنخفضة التردد، على التوالي، ولم يكن هناك فرق كبير بين الاثنين (p >.1). بالإضافة إلى ذلك، لم يكن الارتباط الدلالي بين الأزواج المثلية وغير المرتبطة مختلفا بشكل كبير(p >.1).
2. عرض المحفزات
   1. إنشاء برنامج لعرض المهمة على الموضوعات وملء المواد المذكورة أعلاه (يمكن كتابة البرنامج باللغة E-prime أو لغات البرمجة الأخرى).
   2. تأكد من أن كل بنية أساسية للبرنامج تبدأ بشاشة تعرض علامة " + " التي تستمر لمدة 300 مللي ثانية ، وبعد ذلك مباشرة يجب أن تظهر الكلمة السابقة لمدة 140 مللي ثانية ، مع عدم وجود فاصل زمني بين الاثنين.
   3. بعد ذلك، تعيين شاشة فارغة دائمة 360 مللي ثانية، ثم تعيين الكلمة الهدف، والتي سوف تظهر ل 500 مللي ثانية. وأخيرا، قم بتعيين علامة استفهام (؟) التي ستستمر في العرض حتى يقرر المشارك على زوج الكلمات الذي تم عرضه فقط وضغط على الزر في أسرع وقت ممكن وبدقة.
   4. أخبر المشاركين مسبقا أنهم بحاجة إلى الحكم على ما إذا كان زوج الكلمة مرتبطا دلاليا بمهمة الحكم الدلالي وما إذا كان علم الأصوات هو نفسه في مهمة الحكم الصوتي.
   5. إعداد جلسة التدريب العملي: إعداد مجموعتي تدريب لتضمين مهام الحكم الدلالي والحكم الصوتي، على التوالي، مع أزواج لا تقل عن 10 كلمات لكل مهمة. إبلاغ المشاركين بأنهم يستطيعون تكرار التدريبات لضمان أن الدقة في جلسة التدريب العملي تزيد عن 70٪.
   6. إعداد التجربة الرسمية: تقسيم التجربة بأكملها إلى 6 كتل، مع مهمة الحكم الدلالي ومهمة الحكم الصوتي كل المحاسبة لنصف.
      1. تأكد من عدم وجود كلمات الهدف المتكررة في كل كتلة، وأن عدد أنواع فتيلة في كل كتلة هو نفسه. بالإضافة إلى ذلك، قم بإعداد عدد قليل من تجارب الحشو لتقليل انحراف الاستجابة الناجم عن العدد غير المتكافئ للاختبارات التي تتطلب ردود فعل إيجابية أو سلبية.
      2. عشوائية ترتيب العناصر في كل كتلة وموازنة ترتيب كتلة بين المواضيع.
         ملاحظة: يمكن تقسيم التجربة بأكملها إلى ثمانية أو عشرة أو أكثر من الكتل وفقا لعدد المواد التجريبية التي سيتم إعدادها ، مما يقلل من تكرار الكلمات المستهدفة في كل كتلة.

2. إعداد التجربة والتسجيل الكهربي

1. تجنيد الناطقين باللغة الصينية باليد اليمنى مع رؤية طبيعية التي قد تم تصحيحها سابقا.
   1. استبعاد المشاركين المصابين بأي أمراض عصبية أو نفسية.
   2. ضمان وجود عدد متوازن من المشاركين من الإناث والذكور في الفئة العمرية المرغوبة (18-28 سنة).
   3. تأكد من أن المشاركين ليس لديهم أي تاريخ من التغلغل أو صبغ شعرهم خلال الشهرين الماضيين.
   4. إبلاغ المشاركين بأنهم سيحتاجون إلى وقت كاف للنوم والراحة قبل التجربة^25.
   5. عند المشاركة في التجربة، يرجى التأكد من أن المشاركين في حالة صحية جيدة في وقت إجراء التجربة.
2. عندما يصل أحد المشاركين إلى المختبر، يقدم المعدات التجريبية والمهام وتكاليف الوقت. شرح متطلبات (مثل عدم النعاس، والتحرك، وامض) لمساعدتهم على فهم العملية برمتها والقضاء على المخاوف لا لزوم لها.
3. إذا لم يكن لدى المشارك أي أسئلة أخرى حول التجربة، فاطلب منه ملء نموذج استعلام اليد في أدنبرة، والذي يستخدم لتأكيد أن جميع المشاركين لديهم نفس العادات اليمنى.
4. تقديم نموذج الموافقة المستنيرة للمشاركين ومطالبتهم بالقراءة والتوقيع بعناية. إذا كان لدى المشاركين أسئلة حول محتوى نموذج الموافقة، فوفر لهم التفسيرات اللازمة.
5. إرشاد المشارك لتنظيف فروة الرأس وتجفيف شعره بشكل صحيح في المختبر. في انتظار المشاركين، يرجى إعداد جميع المواد التجريبية.
   ملاحظة: يتم تضخيم إشارة تخطيط كهربية الدماغ (EEG) باستخدام نظام مكبر للصوت مع ممر نطاق من 0.01 إلى 100 هرتز وعينة باستمرار عند 500 هرتز.
6. دعوة المشاركين للجلوس بشكل مريح على كرسي في الغرفة التي ستجري فيها التجربة. أوعز إليهم بعدم تحريك الكرسي.
7. استخدم مسحات القطن والدعك الوجهي لتنظيف الجلد تحت العين اليسرى للمشارك (للقطب الكهربائي الرأسي)، بالقرب من القناة الخارجية للعين اليمنى (للعيون الكهربائية الأفقية)، وحول عظام المصيطيد اليمنى واليسارية (ل Tp9 و Tp10، والتي سيتم استخدامها كمراجع جديدة دون اتصال).
   ملاحظة: قد يختلف توزيع الأقطاب الكهربائية حسب القبعات المستخدمة.
8. ضع الغطاء المرن على رأس المشارك وتأكد من أن قطب Cz هو في وسط الجزء العلوي من الرأس. إصلاح حزام غطاء القطب تحت الذقن بعناية لضمان أنها ليست ضيقة جدا أو فضفاضة جدا.
9. تأكد من توصيل الغطاء ومكبر الصوت بنظام التسجيل. بعد ذلك، قم بتبديل برنامج التسجيل إلى واجهة مراقبة المعاوقة.
10. تأكد من أن مقاومة جميع الأقطاب الكهربائية لا تتجاوز 5 كيلو أو 10 كيلو أوم، بدءا من الأقطاب المرجعية (المرجع) والأرض (Gnd).
11. تمرير حقنة مليئة هلام موصل من خلال ثقب صغير من القطب إلى فروة الرأس ومن ثم دفع المكبس لحقن كمية صغيرة من هلام موصل في فروة الرأس مع الحرص على عدم التسبب في تجاوز. في الوقت نفسه، مراقبة نظام العرض الذي يعرض المعاوقة في الوقت الحقيقي حتى يسقط المقاومة إلى العتبة.
12. بعد إعداد أقطاب Ref و Gnd ، قلل من مقاومة الأقطاب الكهربائية الأخرى بنفس الطريقة. علاج الحد من إعاقة الكهرباء العين بعناية.
    1. الشريط ثقوب صغيرة على جانب واحد من اثنين من الأقطاب الكهربائية أوكولوغرافيا لمنع هلام موصل حقن من التسرب. إصلاحها إلى أسفل العين اليسرى والكانثوس الخارجي للعين اليمنى مع الشريط.
13. بعد إعداد جميع الأقطاب الكهربائية، اطلب من المشاركين الاستعداد للتجربة. إرشاد المشاركين إلى الاسترخاء وتجنب الإفراط في وميض العين وحركة الجسم أثناء التجربة.
14. تقديم التحفيز من خلال برنامج عرض التحفيز والسماح للمشاركين ممارسة في قسم الممارسة.
    ملاحظة: بعد جلسة التدريب العملي، يمكن للمشاركين طرح الأسئلة إذا كان لديهم أي شكوك أو أسئلة حول كيفية المضي قدما.
15. بدء التجربة الرسمية وتسجيل معلومات تخطيط كهربية الدماغ. مراقبة نظام التسجيل أثناء التسجيل. إذا كان القطب الكهربائي فضفاضا أو تجاوزت المقاومة العتبة، قم بإعادة ملء القطب الكهربائي عندما يستريح المشارك.
    ملاحظة: يمكن للمشاركين الراحة لمدة 4-10 دقائق بعد كل كتلة.
16. بعد الانتهاء من التجربة، قم بحفظ إشارة تخطيط كهربية الدماغ وإيقاف تشغيل المعدات، مثل نظام التسجيل ومكبر الصوت. ثم خلع قبعة المشارك وإرشاد المشارك لغسل هلام موصل من الشعر والجلد. وأخيرا، كافئ المشاركين وشكرهم على تعاونهم.

3. المعالجة المسبقة لEEG

1. استخدم تصحيح العين شبه التلقائي مع تحليل مكون مستقل.
2. حساب ERPs من 100 مللي ثانية إلى 600 مللي ثانية بعد بداية الكلمة المستهدفة (100 مللي ثانية قبل الهدف الأساسي).
3. تعيين ممر النطاق EEG تصفيتها حاليا من 0.05 إلى 30 هرتز (وضع التحول المرحلة صفر، 24 ديسيبل / أكتوبر).
4. تجاهل العهود التي تتجاوز ±80 ميكروفولت عن طريق رفض القطع الأثرية والقضاء على تجارب الاستجابات الخاطئة.

النتائج

وقد استخدم هذا البروتوكول في دراسة حديثة للتحقيق في دور علم الأصوات في التعرف المركب الصينية حرفين والاستدلال على نموذج التعرف على كلمة²⁶. تم الكشف عن جميع المحفزات المستخدمة في هذه الدراسة بالكامل^26. تم اختيار ثلاث نوافذ زمنية على أساس طاقة المجال العالمي (GFP): في 1...

Discussion

النتائج التجريبية والأهمية:
كان الغرض من هذا البروتوكول هو استنتاج ما يلي: 1) ما إذا كان نموذج التعرف على الكلمة نموذجا feedforward أو نموذجا تفاعليا و 2) التفاعل بين الأنماط الصوتية والدلالية في التعرف المركب الصيني ذو الحرفين على التردد العالي والمنخفض في مهام مختلفة. واعتمد نموذج ت?...

Materials

Name	Company	Catalog Number	Comments
BrainAmp DC amplifier system (Brain Products GmbH)	Brain Products, Gilching, Germany		BrainAmp S/N AMP13061964DC Input 5.6DC=150mA Operation 7mA Standby
Easycap (Brain Products GmbH)	Brain Products, Gilching, Germany		62 Ag/AgCl electrodes with a configuration of the international 10–20 system of electrode