Authors
Contact Us

Sign In

A subscription to JoVE is required to view this content. Sign in or start your free trial.

In This Article

  • Summary
  • Abstract
  • Introduction
  • Protocol
  • النتائج
  • Discussion
  • Disclosures
  • Acknowledgements
  • Materials
  • References
  • Reprints and Permissions

Summary

تقدم الدراسة نموذج اختبار التدريب للتحقيق في الآثار القديمة / الجديدة للإمكانات المتعلقة بالحدث في سيناريوهات عروضية واثقة ومشكوك فيها. تكشف البيانات عن مكون إيجابي متأخر محسن بين 400-850 مللي ثانية في Pz والأقطاب الكهربائية الأخرى. يمكن لخط الأنابيب هذا استكشاف عوامل تتجاوز علم الكلام وتأثيرها على تحديد الهدف المرتبط بالإشارة.

Abstract

يعد التعرف على المتحدثين المألوفين من التدفقات الصوتية جانبا أساسيا من التواصل اللفظي البشري. ومع ذلك ، لا يزال من غير الواضح كيف لا يزال بإمكان المستمعين تمييز هوية المتحدث في الكلام التعبيري. تطور هذه الدراسة نهجا قائما على الحفظ للتعرف على هوية المتحدث الفردي وخط أنابيب تحليل بيانات مخطط كهربية الدماغ (EEG) المصاحب ، والذي يراقب كيفية تعرف المستمعين على المتحدثين المألوفين والتمييز بين المتحدثين غير المألوفين. تلتقط بيانات EEG العمليات المعرفية عبر الإنترنت أثناء التمييز بين المتحدث الجديد والقديم بناء على الصوت ، مما يوفر مقياسا في الوقت الفعلي لنشاط الدماغ ، ويتغلب على حدود أوقات رد الفعل وقياسات الدقة. ويتألف النموذج من ثلاث خطوات: ينشئ المستمعون ارتباطات بين ثلاثة أصوات وأسمائهم (التدريب)؛ ويقوم المستمعون بالربط بين ثلاثة أصوات وأسمائهم (التدريب)؛ ويقوم المستمعون بالربط بين ثلاثة أصوات وأسمائهم (التدريب)؛ ويقوم المستمعون بالربط بين ثلاثة أصوات وأسمائهم (التدريب يشير المستمعون إلى الاسم المقابل لصوت من ثلاثة مرشحين (التحقق) ؛ يميز المستمعون بين ثلاثة أصوات قديمة وثلاثة أصوات جديدة في مهمة الاختيار القسري البديلة (الاختبار). كان عرض الكلام في الاختبار إما واثقا أو مشكوكا فيه. تم جمع بيانات EEG باستخدام نظام EEG المكون من 64 قناة ، تليها المعالجة المسبقة واستيرادها إلى RStudio لتخطيط موارد المؤسسات والتحليل الإحصائي و MATLAB لتضاريس الدماغ. أظهرت النتائج أن المكون الإيجابي المتأخر الموسع (LPC) قد تم استنباطه في المتكلم القديم مقارنة بحالة المتكلم الجديد في نافذة 400-850 مللي ثانية في Pz ومجموعة أخرى واسعة من الأقطاب الكهربائية في كلا العرضين. ومع ذلك ، كان التأثير القديم / الجديد قويا في الأقطاب الكهربائية المركزية والخلفية للإدراك الإيجابي المشكوك فيه ، في حين أن الأقطاب الكهربائية الأمامية والمركزية والخلفية مخصصة لحالة العروض الواثقة. تقترح هذه الدراسة أن تصميم التجربة هذا يمكن أن يكون بمثابة مرجع للتحقيق في تأثيرات ربط الإشارات الخاصة بالمتحدث في سيناريوهات مختلفة (على سبيل المثال ، التعبير المجازي) والأمراض في مرضى مثل phonagnosia.

Introduction

التدفقات الصوتية البشرية غنية بالمعلومات ، مثل العاطفة 1,2 ، والحالة الصحية 3,4 ، والجنس البيولوجي5 ، وسن6 ، والأهم من ذلك ، الهوية الصوتية الفردية 7,8. أشارت الدراسات إلى أن المستمعين البشريين لديهم قدرة قوية على التعرف على هويات أقرانهم وتمييزها من خلال الأصوات ، والتغلب على الاختلافات داخل المتحدث حول التمثيل القائم على متوسط هوية المتحدث في الفضاء الصوتي9. تحدث هذه الاختلافات عن طريق التلاعب الصوتي (التردد الأساسي وطول المسالك الصوتية ، أي F0 و VTL) الذي لا يتوافق مع النوايا البراغماتيةالواضحة 9 ، وعروض العاطفة10 ، والثقة الصوتية التي تنقل شعور المتحدثين بمعرفة11. ركزت التجارب السلوكية على العديد من العوامل التي تؤثر على أداء المستمعين في التعرف على المتحدثين ، بما في ذلك التلاعب المرتبط باللغة8،12،13 ، والخصائص المتعلقة بالمشاركين مثل تجربة الموسيقى أو القدرة على القراءة14،15 ، والتكيفات المتعلقة بالمحفزات مثل الكلام العكسي أو اللاكلمات16،17 ؛ يمكن العثور على المزيد في مراجعات الأدبيات18,19. حققت بعض التجارب الحديثة في كيفية تقويض الاختلاف الفردي لتمثيل هوية المتحدث دقة التعرف ، مع الأخذ في الاعتبار الجوانب بما في ذلك التعبير العاطفي المرتفع مقابل المنخفض16 والعروض المحايدة مقابل العروض المخيفة5 ؛ المزيد من السيناريوهات المحتملة مفتوحة لمزيد من التحقيق ، على النحو المقترح في مراجعة20.

بالنسبة للفجوة البحثية الأولى ، تقترح الدراسة أن الأسس العصبية لتحديد المتحدث لم تستكشف بعد بشكل كامل كيف يتحدى الاختلاف داخل المتحدث أنشطة دماغ المستمعين. على سبيل المثال ، في مهمة التعرف على المتحدث المستندة إلى التصوير بالرنين المغناطيسي الوظيفي بواسطة Zäske et al. ، أظهر التلفيف الصدغي العلوي الخلفي الأيمن للمشاركين (pSTG) ، والتلفيف الجبهي السفلي / الأوسط الأيمن (IFG / MFG) ، والتلفيف الجبهي الإنسي الأيمن ، والمذنب الأيسر تنشيطا منخفضا عند تحديده بشكل صحيح على أنه متحدث قديم مقابل متحدث جديد ، بغض النظر عن كون المحتوى اللغوي متماثلا أو مختلفا21. ومع ذلك ، فإن دراسة سابقة لتخطيط كهربية الدماغ (EEG) أجراها Zäske et al. لم تلاحظ هذا التأثير القديم / الجديد عندما تم تقديم اختلاف هوية المتحدث من خلال نصوص مختلفة22. على وجه التحديد ، كان المكون الإيجابي الأكبر والمتأخر (LPC) الذي يتراوح من 300 إلى 700 مللي ثانية ، والذي تم اكتشافه عند قطب Pz عندما واجه المستمعون متحدثهم المدرب المألوف الذي يعبر عن نفس النص (أي سماع إعادة بمحتوى لغوي غير متنوع) ، غائبا عندما قدم المتحدثون نصوصا جديدة.

دعما للتأكيد الذي قدمه Zäske et al.21 ، تشك هذه الدراسة في أنه لا يزال من الممكن ملاحظة تأثير قديم / جديد على الرغم من الاختلافات في المحتوى اللغوي بين جلسات التدريب والاختبار في تحليلات الإمكانات المتعلقة بالحدث (ERP). ينبع هذا الأساس المنطقي من فكرة أن غياب التأثير القديم / الجديد في Zäske et al.22 ، في ظل ظروف تم فيها استخدام نصوص مختلفة ، يمكن أن يعزى إلى عدم وجود جلسة فحص إضافية أثناء مهمة التدريب لضمان تعلم الهوية الشامل والفعال ، على النحو الذي اقترحه Lavan et al.23. وبالتالي ، فإن الهدف الأول من الدراسة هو فحص هذه الفرضية والتحقق من صحتها. تهدف هذه الدراسة إلى اختبار ذلك عن طريق إضافة جلسة فحص إلى نموذج اختبار التدريب22.

سؤال رئيسي آخر تهدف هذه الدراسة إلى معالجته هو قوة تحديد المتحدث في وجود عروض الكلام. اقترحت الدراسات السلوكية السابقة أن المستمعين يكافحون بشكل خاص للتعرف على المتحدثين عبر عروض مختلفة ، مما يشير إلى الدور التعديلي للسياق الإيجابي - كان أداء المستمعين ضعيفا في ظروف العروض المختلفة لاختبار التدريب. تهدف هذه الدراسة إلى اختبار ذلك من خلال تعريض المستمعين للتعرف على المتحدثين المألوفين إما في العروض الواثقة أو المشكوك فيها24. تتوقع هذه الدراسة أن تساعد الاختلافات المرصودة في تخطيط موارد المؤسسات في تفسير كيفية تأثير عروض الكلام على التعرف على الهوية.

الهدف الأساسي من الدراسة الحالية هو التحقيق في قوة التأثير القديم / الجديد في التعرف على المتحدث ، وتحديدا فحص ما إذا كانت هناك اختلافات في التعرف على المتحدثين في العروض الواثقة مقابل المشكوك فيها. أجرى شو وأرموني10 دراسة سلوكية باستخدام نموذج اختبار التدريب ، وتشير النتائج التي توصلوا إليها إلى أن المستمعين لا يمكنهم التغلب على الاختلافات العروضية (على سبيل المثال ، تم تدريبهم على التعرف على المتكلم في علم العروض المحايد واختباره على علم العروض المخيف) ويمكنهم فقط تحقيق دقة أقل من مستوىالصدفة 10. يشير التحليل الصوتي إلى أن المتحدثين الذين يعبرون عن حالات عاطفية متنوعة يرتبطون بتعديل VTL / F0 ؛ على سبيل المثال ، يتميز علم العروض الواثق بطول VTL وانخفاض F0 ، في حين أن العكس صحيح بالنسبة للعروض المشكوك فيها11,24. يأتي دليل آخر من الدراسة التي أجراها Lavan et al.23 ، والتي أكدت أن المستمعين يمكنهم التكيف مع تغييرات VTL و F0 للمتحدث وتشكيل تمثيلات متوسطة للمتكلمين. توفق هذه الدراسة بين أنه ، من منظور البيانات السلوكية ، من المرجح أن يظل المستمعون يتعرفون على هوية المتكلم عبر العروض (على سبيل المثال ، تم تدريبهم على التعرف على واحد في علم العروض الواثق ولكن تم اختباره في علم العروض المشكوك فيه ؛ تم الإبلاغ عنه في مخطوطة منفصلة قيد الإعداد). ومع ذلك ، فإن الارتباطات العصبية لتحديد المتحدث ، وتحديدا قابلية تعميم التأثير القديم / الجديد الذي لاحظه Zäske et al.22 ، لا تزال غير واضحة. ومن ثم ، فإن الدراسة الحالية ملتزمة بالتحقق من متانة التأثير القديم / الجديد في العروض الواثقة مقابل المشكوك فيها كسياقات للاختبار.

تقدم الدراسة خروجا عن نماذج البحث السابقة في دراسات التأثيرات القديمة / الجديدة. بينما ركزت الأبحاث السابقة على كيفية تأثير التعرف على المتكلم القديم / الجديد على الإدراك ، فإن هذه الدراسة توسع هذا من خلال دمج مستويين من الثقة (الثقة مقابل الشك) في النموذج (وبالتالي ، دراسة 2 + 2). هذا يسمح لنا بالتحقيق في التعرف على المتحدث في سياقات عروض الكلام الواثقة والمشكوك فيها. يتيح النموذج استكشاف متانة التأثيرات القديمة / الجديدة. تعمل تحليلات تأثيرات الذاكرة ومناطق الاهتمام (ROI) ضمن سياقات الكلام الواثقة والمشكوك فيها كدليل على هذا التحقيق.

إجمالا ، تهدف الدراسة إلى تحديث فهم ارتباطات EEG للتعرف على الصوت ، مع الفرضيات القائلة بأن LPC الموسع لتأثير EEG القديم / الجديد يمكن ملاحظته حتى عندما يكون 1) المحتوى اللغوي ليس هو نفسه ، و 2) مع وجود عروض واثقة مقابل مشكوك فيها. بحثت هذه الدراسة في الفرضيات من خلال نموذج من ثلاث خطوات. أولا ، خلال مرحلة التدريب ، أنشأ المشاركون ارتباطات بين ثلاثة أصوات وأسمائهم المقابلة. بعد ذلك ، في مرحلة التحقق ، تم تكليفهم بتحديد الاسم المقابل لصوت من مجموعة مختارة من ثلاثة مرشحين. يهدف هذا الفحص ، بعد Lavan et al.23 ، إلى التغلب على عدم كفاية التعرف على المتحدث القديم ، مما أدى إلى التأثير القديم / الجديد غير الملحوظ عندما اختلف النص في مرحلتي التدريب والاختبار6 ، ولم يتمكن المتحدثون من التعرف على المتحدثين عبر العروض المحايدة والمخيفة10. أخيرا ، في مرحلة الاختبار ، ميز المشاركون بين ثلاثة أصوات قديمة وثلاثة أصوات جديدة في مهمة الاختيار القسري البديلة ، مع تقديم عروض الكلام على أنها إما واثقة أو مشكوك فيها. تم جمع بيانات EEG باستخدام نظام EEG المكون من 64 قناة وخضعت للمعالجة المسبقة قبل التحليل. تم إجراء التحليل الإحصائي وتحليل الإمكانات المرتبطة بالحدث (ERP) في RStudio ، بينما تم استخدام MATLAB لتحليل طبوغرافيا الدماغ.

فيما يتعلق بتفاصيل التصميم ، تقترح هذه الدراسة تجربة تعلم هوية المتحدث التي تتحكم في ارتفاع المتكلم ، والذي يرتبط ب VTL ويؤثر على انطباعات من يتحدث23. يؤثر هذا الجانب أيضا على الانطباعات الاجتماعية ، مثل الهيمنة المتصورة25 ، وقد يتفاعل تكوين الانطباع عالي المستوى هذا مع فك تشفير هوية المتحدث26.

Protocol

وافقت لجنة الأخلاقيات التابعة لمعهد اللغويات بجامعة شنغهاي للدراسات الدولية على تصميم التجربة الموضح أدناه. تم الحصول على موافقة مستنيرة من جميع المشاركين لهذه الدراسة.

1. إعداد المكتبة الصوتية والتحقق من صحتها

  1. تسجيل الصوت وتحريره
    1. قم بإنشاء قاعدة بيانات صوتية صينية باتباع الإجراء القياسي لعمل نسخة إنجليزية سابقة أثناء إجراء التعديلات عند الحاجة لتلائم سياق China11. بالنسبة للتجربة هنا ، تم استخدام 123 جملة تحتوي على ثلاثة أنواع من النوايا البراغماتية ، وهي الحكم والنية والحقيقة. للقيام بذلك، راجع عبارة إنجليزية موجودةcorpus 11 وإنشاء إصدار صيني مترجم مع سيناريوهات مترجمة إضافية.
    2. قم بتجنيد 24 متحدثا (12 أنثى) للتعبير عن هذه الجمل في عروض محايدة ومشكوك فيها وواثقة أثناء الإشارة إلى التعليمات المحددة لمهام التسجيل السابقة11،24 وتكييفها.
      1. بالنسبة للمتحدثين هنا ، قم بتجنيد 24 متحدثا قياسيا للغة الماندرين من جامعة شنغهاي للدراسات الدولية ، 12 أنثى و 12 ذكرا ، مع كفاءة مثبتة في لغة الماندرين من خلال درجات من 87 إلى 91 في اختبار الكفاءة Putonghua. بلغ متوسط عمر المشاركين الذكور 24.55 ± 2.09 سنة ، مع 18.55 ± 1.79 سنة من التعليم ومتوسط طول 174.02 ± 20.64 سم. وبلغ متوسط أعمار الإناث 22.30 ± 2.54 سنة، و18.20 ± 2.59 سنة من التعليم ومتوسط طول 165.24 ± 11.42 سم. ولم يبلغ أي منها عن إعاقات في النطق والسمع أو اضطرابات عصبية أو نفسية.
    3. اطلب من المتحدثين تكرار كل نص مرتين. اضبط معدل أخذ العينات على 48000 هرتز في برنامج Praat27. تأكد من عدم وجود دفق أطول من 10 دقائق ، حيث يمكن أن يتعطل Praat ، مما يتسبب في فقد التسجيل.
    4. قم بتحرير دفق الصوت الطويل إلى مقاطع لكل جملة باستخدام Praat. نظرا لوجود تكرارين لنفس النص ، حدد الإصدار الذي يمثل أفضل عرض مقصود كجملة مستهدفة.
  2. اختيار الصوت
    1. قم بتطبيع مكتبة الصوت عند 70 ديسيبل ومعدل أخذ العينات عند 41000 هرتز باستخدام نص Praat28. للقيام بذلك ، افتح Praat ، وقم بتحميل ملفات الصوت ، وحددها في نافذة الكائنات. انتقل إلى قائمة التعديل ، واختر شدة المقياس ... ، واضبط متوسط الكثافة الجديد (dB SPL) على 70 في نافذة الإعدادات ، وانقر فوق "موافق " لتطبيق التطبيع.
    2. قم بتجنيد 48 مستمعا مستقلا لتقييم كل صوت على مقياس 7-Likert حول مستوى الثقة: 1 لعدم على الإطلاق و 7 للثقةالشديدة 11. تأكد من تصنيف كل جملة من قبل 12 مقيما.
    3. حدد الصوت الذي يناسب الحدود المعينة بمبدأ رئيسي واحد: تأكد من أن متوسط تقييم النية الواثقة أعلى من الصوت المشكوك في قصده. تأكد من أن هذه العتبات متسقة عبر 12 متحدثا من نفس الجنس البيولوجي. على سبيل المثال ، إذا عبر هؤلاء المتحدثون عن جملتين ، لكل منهما عروض واثقة ومشكوك فيها ، فيجب ملاحظة اختلافات كبيرة في التصنيفات.
    4. لغرض التصميم التجريبي الحالي ، استخدم أربع كتل صوتية ، يبلغ مجموعها 480 مقطعا صوتيا ، تحتوي كل كتلة على 120 صوتا.
      1. قسم 24 متحدثا إلى أربع مجموعات من ستة ، مع مجموعتين من الذكور ومجموعتين من الإناث ، كل مجموعة تتكون من متحدثين من نفس الجنس البيولوجي.
      2. لكل مجموعة، حدد مقاطع صوتية بناء على التصنيفات الإدراكية (على نفس النص)، مما يضمن أن متوسط تقييمات الثقة كان أعلى من التصنيفات المشكوك فيها لكل جملة. تختلف هذه الكتل الأربعة بالطرق التالية: 1) المتحدثون الستة مجتمعون - هوياتهم مختلفة. 2) يتم التعبير عن نصف الكتل من قبل الذكور والنصف الآخر من قبل الإناث ؛ و 3) النص المعبر عنه في كل كتلة مختلف.
    5. قبل بدء عملية الاختيار ، قم بتوثيق بيانات الارتفاع لكل متحدث. استخدم هذه المعلومات لتقسيم المتحدثين إلى أربع مجموعات مستقلة بناء على الجنس والطول.
      1. هناك 24 متحدثا في المجموع ، مقسمة بالتساوي بين الذكور والإناث. داخل كل مجموعة من الجنسين ، قم بفرز الأفراد ال 12 حسب الطول.
    6. تقسيم هؤلاء الأفراد ال 12 إلى مجموعتين بالتناوب ؛ على سبيل المثال ، من قائمة مرتبة من 1 إلى 12 ، سيشكل الأفراد 1 و 3 و 5 و 7 و 9 و 11 مجموعة واحدة ، والنصف الآخر سيشكل المجموعة الثانية. ضمن هذه المجموعات ، قم بإجراء اختيار مكبرات الصوت لمقاطع الصوت على فترات منتظمة بناء على ارتفاعها.
      ملاحظة: يعتمد إدراج الارتفاع كعامل تحكم على النتائج التي تشير إلى أن المقاييس الصوتية المتعلقة بارتفاع المتحدث (VTL و F0) تؤثر على المتكلم والتعرف على هويةالمتحدث 23.

2. البرمجة لجمع بيانات EEG

  1. تصميم مصفوفة التجربة
    1. تستخدم الدراسة تصميما داخل الموضوع. قم بإعداد جلسة اختبار يتم تقديمها حسب كل موضوع أثناء تكييف الجلسة التدريبية. قم بإعداد أربع كتل ، مع أخذ المتحدثين من الذكور والإناث كل نصف كتلتين. قم بتعيين كتلتين للتدريب على علم العروض الواثق واختباره على كل من الواثق والمشكوك فيه ، وكذلك التدريب على علم العروض المشكوك فيه واختباره على كل من واثق ومشكوك فيه ، كما هو مقترح في الشكل 1.
    2. حدد مدة الشاشات العاملة بالرجوع إلى دراسات EEG الحالية حول تحديد المتحدث وإدراك الثقة الصوتية22,29. تنظيم تسلسل الكتل الأربع مع مصفوفة مربعة لاتينية بين المشاركين30,31. يوصى بترميز Python المخصص لإعداد مثل هذه القائمة. راجع مقتطف الشفرة لمصفوفة المربع اللاتيني وقائمة التجارب لبرنامج PsychoPy على OSF32.
    3. حدد المتحدثين عند كل فاصل زمني من تسلسل ارتفاع من نفس الجنس البيولوجي. لكل كتلة ، حدد ستة متحدثين من أصل 24 متحدثا ، والذين يتجمعون في أربع قوائم وفقا لطول المتحدثين المبلغ عنه.
    4. حدد أول 24 اسما في مائة لقب عائلي في الصين. قم بتعيين الألقاب بشكل عشوائي للمتحدثين ال 24 الذين عبروا عن الصوت من خلال مخاطبتهم مثل Xiao (جونيور باللغة الصينية) ZHAO.
    5. ضع جميع المعلومات ذات الصلة في جدول بيانات مع أعمدة للمتحدث (من 1 إلى 24) ، والجنس البيولوجي (ذكر أو أنثى) ، واسم الأشخاص (من 24 لقبا) ، ومستوى الثقة (واثق أو مشكوك فيه) ، والعنصر (فهرس النص) ، ومستوى الثقة المقدر (متوسط الدرجات من الدراسة الإدراكية) ، والصوت (على سبيل المثال ، الصوت / 1_h_c_f_56.wav) ،
    6. تعرف بشكل صحيح على واحد من أصل ثلاثة (1 أو 2 أو 3) ، وتعرف بشكل صحيح على القديم والجديد (القديم أو الجديد). بالإضافة إلى ذلك، تأكد من إضافة الأعمدة المسماة training_a و training_b و training_c و تحقق و اختبار.
    7. أضف الأعمدة training_a_marker training_b_marker check_marker testing_marker إلى جداول البيانات لإرسال علامات EEG. قم بتنسيق هذه العلامات بثلاثة أرقام ، مما يعني أنه حتى الرقم 1 مكتوب ك 001.
  2. بناء الجلسات الثلاث
    ملاحظة: يوصى باستخدام PsychoPy لبناء البرنامج ، وذلك أساسا من خلال استخدام وضع المنشئ. بالإضافة إلى ذلك ، يتم استخدام مكون الكود في المنشئ لتوصيل البرنامج بنظام جمع بيانات EEG ، وموازنة الزرين F و J وحساب الدقة التي سيتم الإبلاغ عنها على الشاشة.
    1. قبل كل شيء ، انقر فوق رمز تحرير إعدادات التجربة واضبط خلية معلومات التجربة في حقلين ، وهما المشارك والحظر. اترك الإعداد الافتراضي لكليهما فارغا. في هذه الدراسة ، من بين 40 مشاركا ، لكل منهم أربع كتل ، مر 4/40 مشاركا بكتل معينة مرة أخرى (إذا كانت الدقة في جلسة الفحص أقل من 10/12) ، بمعدل إعادة 19 إعادة / 4 كتل × 40 مشاركا = 11.875٪.
    2. دورة تدريبية: التعلم الهوياتي المتكرر لثلاث مرات
      1. حدد حلقة باسم Training_A، والتي تحتوي على ثلاث شاشات: التثبيت والعرض التقديمي وفارغة. ضع علامة على خيار هو المحاكمات . احتفظ ب nReps 1 ، مع ترك الصفوف المحددة والبذور العشوائية فارغة. اكتب الشرط على النحو التالي:
        "$"trials/{:}_training_a.xlsx".format(expInfor["Participant"]), expInfo["Block"])
        حيث المحاكمات / هو اسم المجلد ؛ المشارك هو فهرس المشارك. الكتلة هي تسلسل كتل الكتلة الحالية.
      2. في شاشة التثبيت ، أضف مكون نص ، مع تعيين وقت البدء على 0 ، وتعيين وقت المدة على أنه 2 (ق) ، ووضع علامة + في نافذة إدخال النص التي تحدد تعيين كل تكرار. وبالمثل ، قم بتضمين مكون نص مشابه في شاشة فارغة بدون معلومات في خلية النص ، ويستمر 0.5 ثانية.
      3. في شاشة العرض التقديمي، قم بتنفيذ الإجراءات التالية:
        1. أضف مكون صوت، مع تعيين وقت البدء على 0، وترك وقت مدة التوقف فارغا، وإدخال خلية الصوت مع $Sound وحدد تعيين كل تكرار. حدد شاشة بدء المزامنة ب.
        2. أضف مكون نص آخر، مع إدخال خلية "شرط البدء" ب Cross_for_Training_A.status == FINISHED. اترك خلية مدة الإيقاف فارغة. تعرض خلية النص $Name. حدد تعيين كل تكرار.
        3. أضف Key_Response_Training_A حيث يكون شرط البدء Training_A.status == انتهى. اترك خلية مدة الإيقاف فارغة. ضع علامة على نهاية القوة للروتين. من أجل خلية المفاتيح المسموح بها ، أضف مسافة ؛ للإعداد، حدد ثابت.
        4. أضف Cross_for_Training_A. تم تعيين وقت البدء على 0 ؛ يتم تعيين خلية حالة الإيقاف ك Training_A.status == FINISHED. ضع علامة + في نافذة إدخال النص وحدد تعيين كل تكرار.
      4. جهز Training_B باتباع إجراء مماثل ل Training_A.
    3. جلسة التحقق: حدد أسماء المشاركين الثلاثة الذين يتحدثون.
      1. حدد حلقة تسمى Check، بنفس التثبيت والشاشة الفارغة مثل جلسة التدريب.
      2. استخدم عرضا تقديميا مختلفا عن التدريب عن طريق إضافة وظيفة لجمع التفاعل من لوحة المفاتيح. في شاشة العرض التقديمي، قم بتنفيذ الإجراء التالي.
        1. أضف مكون صوت وقم بتسميته Checking_audio ، مع تعيين وقت البدء على 0 واترك خلية مدة الإيقاف فارغة. قم بتعيين خلية الصوت على أنها $Sound ، مع تعيين كل تكرار.
        2. أضف مكون نص باسم Show_names، مع كتابة شرط البدء بأمر:
          Checking_audio.status == منتهي
          واترك مدة الإيقاف فارغة. اضبط الخلية النصية على People_Name دولارا ، مع تعيين كل تكرار.
        3. أضف مكون لوحة المفاتيح وقم بتسميته Key_Response_Check ، مع Checking_audio حالة البدء == FINISH واترك مدة الإيقاف فارغة. حدد فرض نهاية الروتين باستخدام المفاتيح المسموح بها num_1 و num_2 والثابت المتبقي num_3 حتى يتمكن المشاركون من استخدام لوحة الأرقام لفهرسة اختيارهم.
        4. أضف تثبيتا باسم Cross_Check ، بحيث يكون وقت البدء 0 وإدخال حالة الإيقاف مع Checking_audio.status == FINISHED. أضف + إلى خلية النص ، والتي ستحدد تعيين كل تكرار.
      3. إدراج مكون التعليمات البرمجية. في قسم بدء التجربة، قم بتهيئة total_trials و current_correct و current_incorrect و current_accuracy ك 0. في روتين البدء، قم بتعريف user_input على أنه بلا. في قسم كل إطار ، اجمع مدخلات المستخدم من لوحة المفاتيح وتحقق من الاستجابة الصحيحة المخزنة في ملف جدول البيانات ، باستخدام رمز مفتاح user_key = Key_Response_Check.keys لاستخراج 1 أو 2 أو 3. بعد ذلك ، استخدمه للقياس مقابل 1,2 أو 3 المخزنة في عمود باسم Correctly_recognize_one_out_of_three.
      4. بمجرد الخروج من الحلقة ، تأكد من ظهور شاشة ملاحظات مع الرسالة التالية: check_feedbacks.text = f" اكتملت الخطوة الثانية.\nلقد حددت المتحدث في إجمالي جمل {total_trials}،\nتم التعرف بشكل صحيح على المتحدثين {current_correct}،\nتم الحكم بشكل غير صحيح على {current_incorrect} مكبرات الصوت.\nمعدل الدقة الإجمالي هو {current_accuracy}٪.\n\nإذا كان أقل من 83.33٪، يرجى الإشارة إلى المجرب ، \nتعرف على المتحدثين الثلاثة المذكورين أعلاه.\n\nإذا كنت تستوفي المتطلبات ، فيرجى الضغط على شريط المسافة للمتابعة.
    4. جلسة اختبار: تصنيف المتكلم القديم والجديد
      1. حدد حلقة بعنوان الاختبار. يتضمن التثبيت والفراغ (كما هو الحال في الجلسة التدريبية) وشاشة العرض التقديمي.
      2. قم بإعداد قسم العرض التقديمي على النحو التالي.
        1. أضف مكونا لتشغيل الصوت ، Testing_sound ، بإعدادات مماثلة لتلك الموجودة في جلسة التدريب. أضف مكون Key_response_old_new ، الذي يحتوي على شرط البدء Testing_sound.status == FINISHED ، واترك مدة الإيقاف فارغة ، وحدد فرض نهاية الروتين. في المفاتيح المسموح بها، قم بتضمين f وj، وحدد ثابت.
      3. أضف مكونا نصيا باسم Testing_old_new ، مع Testing_sound حالة البدء == FINISHED ، واترك مدة الإيقاف فارغة ، واترك خلية النص فارغة مع تعيين كل تكرار - سيتم تعريف النص بواسطة مكون رمز لاحق.
      4. أضف Cross_Testing ، بحيث يكون وقت البدء 0 ، وحالة الإيقاف Testing_sound.status == FINISHED ، و + في خلية النص أثناء تشغيل تعيين كل تكرار.
      5. أضف مكون التعليمات البرمجية كما هو موضح أدناه.
        1. في قسم بدء التجربة، قم بتهيئة العدد الإجمالي للتجارب (total_trials_t) وعدد التجارب الصحيحة (correct_trials_t) وعدد التجارب غير الصحيحة (incorrect_trials_t).
        2. في قسم بدء الروتين ، ابدأ بفحص شرطي لتحديد تنسيق العرض التقديمي بناء على رقم معرف المشارك (expInfo ["مشارك"]). إذا كان رقم المعرف فرديا ، فتأكد من تقديم التعليمات الخاصة بتحديد المحفزات القديمة مقابل الجديدة بتنسيق واحد ، إما ("قديم (F) جديد (J)") أو ("جديد (F) قديم (J)").
        3. خارج هذه الحلقة ، توجد شاشة ملاحظات بها مكون رمز. تأكد من أن كل قسم إطار يقرأ: testing_feedbacks.text = f"لقد حددت المتحدث في إجمالي جمل {total_trials_t}،\nتم التعرف بشكل صحيح على مكبرات الصوت {correct_trials_t}،\nتم الحكم عليه بشكل غير صحيح {incorrect_trials_t} مكبرات الصوت.\nمعدل الدقة الإجمالي هو {accuracy_t:.2f}٪.\nالرجاء الضغط على شريط المسافة لإنهاء هذا الجزء الحالي.
    5. قم بتوصيل البرنامج بنظام Brain Products كما هو موضح أدناه.
      1. قم بمزامنة العلامة عن طريق تعيين علامة كبداية لكل صوت. قبل بداية Training_A الحلقة ، حدد بروتوكول إرسال علامة EEG في مكون التعليمات البرمجية Begin Experiment ، كما هو موضح أدناه.
        1. استيراد مكونات PsychoPy الأساسية ، بما في ذلك الوحدة المتوازية ، وتكوين عنوان المنفذ المتوازي باستخدام 0x3EFC.
        2. قم بإنشاء وظيفة sendTrigger لنقل علامات EEG. ترسل هذه الوظيفة رمز تشغيل محدد عبر المنفذ المتوازي باستخدام parallel.setData (triggerCode) بعد التحقق مما إذا كان عددا صحيحا NumPy وتحويله حسب الحاجة.
        3. أضف فترة انتظار قصيرة تبلغ 16 مللي ثانية لضمان التقاط العلامة قبل إعادة تعيين قناة التشغيل إلى 0 باستخدام parallel.setData (0).
      2. يستخدم إرسال العلامة إلى مسجل EEG sendTrigger (). قم بتضمين الاسم الدقيق للعمود المقابل بين قوسين. في هذه الدراسة ، هناك training_a_marker و training_b_marker و check_marker و testing_marker - تشير إلى العمود المحدد مسبقا في جدول البيانات.

3. جمع بيانات EEG

  1. تجهيز المكان
    ملاحظة: يتوفر جهازي كمبيوتر على الأقل لإجراء عملية تجميع البيانات. أحدهما هو الاتصال بنظام EEG ، والآخر هو جمع البيانات السلوكية. يوصى ببناء شاشة أخرى لتعكس الكمبيوتر المتعلق بالبيانات السلوكية. يتكون النظام من مكبر للصوت وأغطية EEG سلبية.
    1. في هذه الدراسة ، قم بتجنيد المشاركين دون الإبلاغ عن أي ضعف في السمع والنطق. تأكد من أن المشاركين لا يعانون من أي اضطرابات نفسية أو عصبية. تم اختيار ما مجموعه 43 مشاركا ، مع استبعاد ثلاثة بسبب مشكلات المحاذاة مع علامات EEG. ومن بين ال 40 المتبقية، كان هناك 20 مشاركة من الإناث و 20 من الذكور. وتراوحت أعمار الإناث بين 20.70 ± 0.37 سنة، بينما تراوحت أعمار الذكور بين 22.20 ± 0.37 سنة. وكانت سنوات تعليمهم 17.55 ± 0.43 للإناث و 18.75 ± 0.38 للذكور.
    2. قم بتعيين معرفات المشاركين وادع المشاركين لغسل وتجفيف شعرهم في غضون ساعة واحدة قبل المشاركة في التجربة.
    3. امزج جل الإلكتروليت وجل الإلكتروليت الكاشطة بنسبة 1: 3 ، مع إضافة كمية صغيرة من الماء. حرك الخليط بالتساوي في وعاء بملعقة.
    4. قم بإعداد مسحات قطنية ذات رؤوس دقيقة وغطاء EEG جاف.
    5. اطلب من المشارك الجلوس بشكل مريح على كرسي وإبلاغه بأن المجرب سيطبق غطاء EEG. اشرح أن المعجون الموصل ، غير الضار بالبشر ويعزز استقبال إشارات الدماغ ، يتم تطبيقه على ثقوب الغطاء باستخدام مسحات القطن.
    6. تزويد المشارك بتعليمات حول المهام التجريبية ونموذج الموافقة المستنيرة للتجربة. المضي قدما في مرحلة الإعداد بعد الحصول على توقيع المشارك.
    7. قم بتوصيل غطاء EEG بمكبر الصوت ، والذي بدوره يتصل بكمبيوتر الحصول على بيانات EEG. تستخدم هذه الدراسة غطاء سلبيا ، لذلك من الضروري استخدام شاشة إضافية للتحقق من مؤشرات الألوان على 64 قطبا كهربائيا.
    8. افتح BrainVision Recorder33 واستورد ملف مساحة عمل مخصص حدد معلمات التسجيل. انقر فوق مراقب للتحقق من المقاومة. يتأثر شريط الألوان ، من الأحمر إلى الأخضر ، بمستويات المقاومة المحددة ، مع معاوقة مستهدفة تتراوح من 0 إلى 10 kΩ.
  2. إعداد المشاركين
    1. اطلب من المشارك الجلوس منتصبا على كرسي. حدد نظام قطب كهربائي سلبي بحجم مناسب (مقاس 54 أو 56) لرأس المشارك وتأكد من تركيب نظام القطب بشكل صحيح وفقا لنظام 10-2028,34.
    2. ابدأ بغمس قطعة قطن يمكن التخلص منها في العجينة الموصلة ووضعها في فتحات الغطاء ، مع التأكد من فركها بفروة رأس المشارك. يشير المؤشر المقابل للقطب الكهربائي الذي يتحول إلى اللون الأخضر على كمبيوتر جمع بيانات EEG إلى أنه يجمع البيانات المثلى بنجاح.
    3. بعد أن يتحول اللون الإرشادي لجميع الأقطاب الكهربائية على الشاشة ، باستثناء القطبين المستقلين على الوجهين إلى اللون الأخضر (على شاشة الشاشة) ، قم بتطبيق العجينة الموصلة على الأقطاب الكهربائية الجانبية. قم بتوصيل القطب الأيسر بالقرب من العين اليسرى للمشارك ، في منطقة الجفن السفلي ، والقطب الأيمن بالقرب من المعبد الأيمن.
    4. بمجرد أن تصبح جميع الأقطاب الكهربائية خضراء ، ضع شبكة مرنة فوق رأس المشارك لمساعدة غطاء EEG على التوافق بشكل أكثر أمانا وثباتا مع رأس المشارك.
    5. تجهيز المشارك بسماعات رأس سلكية (سماعات توصيل الهواء المحددة المستخدمة في المختبر). أغلق باب التدريع الكهرومغناطيسي وقم بتوجيه تصرفات المشارك من خلال ميكروفون يسمح بالاتصال من الداخل والخارج. بالإضافة إلى ذلك ، راقب حركات المشارك من خلال شاشة خارجية ، مثل تذكيره بعدم تحريك جسمه بشكل كبير ؛ أيضا مراقبة تقدم المشارك في المهام السلوكية من خلال مراقبة البيانات السلوكية.
    6. اطلب من المشارك ارتداء سماعات أذن متصلة بجهاز كمبيوتر المجموعة السلوكية من خلال واجهة صوتية.
  3. تشغيل التجربة كتلة تلو الأخرى بشكل مستقل
    1. على كمبيوتر جمع بيانات EEG ، افتح مسجل BrainVision وانقر فوق مراقب للتحقق مرة أخرى من المعاوقة و Stat / Resume Recording وبدء التسجيل. قم بإنشاء ملف تسجيل EEG جديد وقم بتسميته وفقا لذلك ، على سبيل المثال ، 14_2 ، مما يعني الكتلة الثانية للمشارك رقم 14.
    2. افتح تجربة تشغيل برنامج PsychoPy (الزر الأخضر) للتجربة السلوكية ، وأدخل معرف المشارك (على سبيل المثال ، 14) ورقم الكتلة المقابل (على سبيل المثال ، 2) ، وانقر فوق "موافق " لبدء التجربة.
    3. راقب عن كثب دقة البيانات المبلغ عنها على الشاشة بعد أن يكمل المشارك مرحلة التحقق على كمبيوتر البيانات السلوكية. إذا كانت الدقة أقل من 10 من 12 ، فاطلب من المشارك إعادة الجلسة التدريبية حتى يحقق الدقة المطلوبة قبل الانتقال إلى مرحلة الاختبار.
    4. انتبه جيدا للدقة النهائية للتعرف القديم مقابل الجديد الذي تم الإبلاغ عنه على الشاشة بعد أن يكمل المشارك مرحلة اختبار الكتلة. إذا كانت الدقة منخفضة بشكل استثنائي (على سبيل المثال ، أقل من 50٪) ، استفسر عن الأسباب المحتملة من المشارك.
  4. تجربة ما بعد تخطيط كهربية الدماغ
    1. بعد أن يكمل المشارك جميع الكتل ، ادعهم لغسل شعرهم. نظف غطاء EEG عن طريق إزالة المعجون الموصل المتبقي بفرشاة أسنان ، مع الحرص على عدم تبليل موصلات الإشارة ، ولفها في أكياس بلاستيكية. بمجرد التنظيف ، قم بتعليق غطاء EEG في منطقة جيدة التهوية حتى يجف.
    2. انسخ EEG والبيانات السلوكية على محرك أقراص ثابت محمول ، مما يضمن توافق بيانات EEG والبيانات السلوكية. على سبيل المثال، تتم تسمية بيانات EEG بملفين، 14_2.eeg و14_2.vhdr، والبيانات السلوكية كملف 14_2.xlsx.

4. معالجة بيانات EEG

ملاحظة: تتضمن الأوصاف التالية المعالجة المسبقة لبيانات EEG والتحليل الإحصائي والتصور باستخدام MATLAB و RStudio لمعالجة الدفعات.

  1. المعالجة المسبقة لبيانات EEG باستخدام MATLAB
    1. دمج EEG والبيانات السلوكية
      1. بالنظر إلى أن المشاركين قد يحتاجون إلى إعادة المهمة إذا لم يصلوا إلى الدقة المطلوبة وهي 10/12 أو أعلى ، مما يؤثر على تسمية EEG والبيانات السلوكية ، على سبيل المثال ، قد يصبح 14_2.vhdr 14_2 (1) .vhdr ، قم بتوحيد أسماء الملفات عن طريق إزالة أحرف أخرى غير 14_2. أثناء التكرار من خلال بيانات كل مشارك ، قم بتسمية ملفات البيانات كملف فرعي ، stripped_filename ، .set ، مما يؤدي إلى حفظ ملفات مثل sub14_2.set (تحتوي على بيانات وصفية وروابط لمجموعة بيانات EEG) و sub10_1.fdt (بيانات EEG الفعلية) تلقائيا. يؤدي هذا إلى إعادة تسمية ملفات 14_2.vhdr و 14_2.eeg إلى sub14_2.fdt و sub14_2.set.
      2. استخدم الدالة EEG = pop_mergeset() لدمج البيانات في ملف واحد لكل مشارك ، مع الجمع بين بيانات الكتلة المختلفة بترتيب زمني بدلا من الترتيب العددي للكتل 1،2،3،4.
      3. دمج ملفات بيانات سلوكية متعددة في جدول بيانات واحد لكل مشارك بناء على الترتيب الزمني ، وهو أمر ضروري للمزامنة اللاحقة.
      4. تخصيص التعليمات البرمجية لمزامنة التجارب في إشارات EEG مع التجارب في الإشارات السلوكية. على سبيل المثال ، testing_list = [37:108 ، 145:216 ، 253:324 ، 361:432] تتوافق مع نقاط علامة EEG للكتل الأربع.
      5. قم بتحويل جدول بيانات البيانات السلوكية إلى ملف .txt، مما ينتج عنه جدول يحتوي على بيانات في كل من الصفوف والأعمدة. تتضمن أسماء الأعمدة معظم الأسماء المذكورة في الخطوة 2.1.
      6. أعد تعريف محتوى بيانات EEG عن طريق إضافة معلومات إلى بيانات EEG باستخدام رمز مشابه لما يلي ، على سبيل المثال ، EEG = pop_importepoch(EEG ، behav_txt_path ، {'Epoch' ، "الصوت" ، "المتحدث" ، "الجنس" ، "Confidence_level" ، "old_new_speaker" ، "same_different_prosody" ، "الاستجابة"} ، "timeunit" ، 1 ، "headerlines" ، 1). تدمج هذه العملية بيانات تخطيط كهربية الدماغ والبيانات السلوكية المقابلة لكل مشارك من خلال معالجة الدفعات.
        ملاحظة: تأتي قيم الاستجابة 1 و 0 من البيانات السلوكية ، حيث يمثل 1 حكما صحيحا ، ويمثل 0 حكما غير صحيح.
    2. المعالجة المسبقة لبيانات EEG
      1. للرجوع إليها وإعادة الإشارة إليها29,35 ، اتصل بوظيفة pop_reref لإعادة إحالة بيانات EEG إلى قطب FCz ، مما يضمن حساب كل إشارة بالنسبة إلى قطب FCz. استخدم الدالة pop_reref لإعادة إحالة بيانات EEG إلى القناتين 28 و 29 ، والتي تمثل أقطاب الخشاء الثنائية الموجودة في فروة الرأس الخلفية ، مما يضمن حساب كل إشارة بالنسبة إلى الخشاء الثنائي.
      2. قم بتعيين مرشح ترددات عالية (لإزالة الاتجاهات الخطية) باستخدام EEG = pop_eegfiltnew(EEG ، [] ، 0.1 ، 16500 ، 1 ، [] ، 0) ، وقم بإجراء تصحيح خط الأساس من -500 إلى 0 مللي ثانية باستخدام EEG = pop_rmbase (EEG ، [-500 0]).
      3. فحص التجارب السيئة يدويا: بعد استيراد البيانات باستخدام EEGLAB ، حدد رسم ، ثم انقر فوق بيانات القناة (التمرير) ، واضبط الحد الأقصى للقيمة على 50.
      4. احذف التجارب التي تحتوي على أنواع عضلية مرئية وأنواع أخرى من القطع الأثرية وقم بتمييز الأقطاب الكهربائية السيئة: سيؤدي تحريك الماوس فوق الشكل الموجي للقناة إلى عرض قطبها الكهربائي. سجل جميع الأقطاب الكهربائية التالفة ، وارجع إلى صفحة EEGLAB الرئيسية ، وحدد استيفاء الأقطاب الكهربائية ضمن أدوات ، واختر تحديد من قنوات البيانات ، وحدد الأقطاب الكهربائية التي تحتاج إلى استيفاء ، وقم بالتأكيد باستخدام موافق. احفظ الملف في مجلد جديد.
      5. إجراء تحليل المكونات الرئيسية (PCA) باستخدام EEG = pop_runica(EEG ، "ممتد" ، 1 ، "PCA" ، 30 ، "interupt" ، "on"). رفض ICAs التي بها مشكلات يدويا، وإزالة العناصر من العينين والعضلات وضوضاء القناة، ثم احفظ الملف.
      6. استخدم الدالة pop_eegthresh لتعيين حد من -75 إلى +75 هرتز لإزالة القيم القصوى 34,36,37.
      7. قم بتطبيق pop_eegfiltnew مع تعيين المعلمات (معلمة الإدخال الثالثة) على 30 للاحتفاظ بترددات 30 هرتز وأقلمن 38.
      8. تخصيص التعليمات البرمجية لسرد جميع شروط الاهتمام ، بما في ذلك old_new_speaker = {'قديم' ، 'جديد'} ؛ same_different_prosody = {'نفس'، 'مختلف'}؛ Confidence_level = {'c', 'd'}; والاستجابة = {'1'، '0'}. بعد ذلك ، ادمج هذه الشروط لإنشاء مجموعات بيانات مثل sub1_new_different_c_0 واحفظها كملفات بامتداد txt.
  2. تحليل تخطيط موارد المؤسسات مع RStudio
    1. لتنظيم البيانات ، قم بتحويلها إلى تنسيق طويل. قم باستيراد جميع ملفات .txt إلى RStudio واستخدم وظيفة rbind لإلحاق كل إطار بيانات مؤقت ب alldata ، وإنشاء إطار بيانات كبير يحتوي على جميع بيانات الملف. أعد تسمية عمود الصف في جميع البيانات إلى الوقت للتأكد من دقته. استخدم وظيفة الذوبان لتحويل alldata من تنسيق عريض إلى تنسيق طويل (Data_Long) ، حيث تشغل كل ملاحظة صفا وتتضمن جميع الشروط ذات الصلة ومعلومات القناة.
    2. استخدم وظيفة التصفية من حزمة dplyr لتحديد البيانات المطابقة لشروط معينة: الحكم هو 1. المصدر هو ح. الذاكرة إما قديمة أو جديدة. علم العروض هو ج أو د.
    3. حدد المناطق بناء على قنوات القطب على النحو التالي: الأمامي الأيسر (F3 ، F7 ، FC5 ، F5 ، FT7 ، FC3 ، AF7 ، AF3). وسط اليسار (C3 ، T7 ، CP5 ، C5 ، TP7 ، CP3). الخلفي الأيسر (P3 ، P7 ، P5 ، PO7 ، PO3). الأمامي الإنسي (Fz ، AFz ، FC1 ، FC2 ، F1 ، F2 ، FCz). المركزية الإنسية (CP1 ، CP2 ، تشيكوسلوفاكيا ، C1 ، C2 ، CPz). الخلفي الإنسي (Pz ، O1 ، Oz ، O2 ، P1 ، POz ، P2). الأمامي الأيمن (FC6 ، F4 ، F8 ، FC4 ، F6 ، AF4 ، AF8 ، FT8). اليمين المركزي (CP6 ، C4 ، T8 ، CP4 ، C6 ، TP8). الخلفي الأيمن (P4 ، P8 ، PO4 ، PO8 ، P6). قم بتجميع هذه المناطق في المناطق الأمامية والمركزية والخلفية.
    4. احفظ مساحة العمل لتحميل البيانات اللاحقة. للحفظ ، استخدم setwd (); للتحميل ، استخدم load().
  3. التحليل الإحصائي
    1. لتحليل بيانات EEG عبر جميع الأقطاب الكهربائية ، قم بتصفية مجموعة البيانات لتشمل فقط نقاط البيانات ذات الصلة حيث يكون الحكم هو 1 ، والمصدر هو h ، والذاكرة إما قديمة أو جديدة ، والموضوع ليس فارغا ، والوقت بين 400 و 850 مللي ثانية.
    2. قم بتحديث أسماء مناطق الاهتمام (ROI) استنادا إلى التعيينات المحددة مسبقا. على سبيل المثال ، الأمامي الأيسر والأمامي الإنسي والأمامي الأيمن للأمام.
    3. قم بملاءمة نموذج التأثيرات المختلطة الخطية للبيانات باستخدام lmer من حزمة lme439 ، مع الجهد كمتغير استجابة والذاكرة وعائد الاستثمار كتأثيرات ثابتة ، بما في ذلك الاعتراضات العشوائية للموضوع والقناة: fit_time_window <- lmer (الجهد ~ الذاكرة * عائد الاستثمار + (1 |الموضوع) + (1| قناة) ، البيانات = البيانات). استبدل DATA ببيانات مجمعة وواثقة فقط وبيانات مشكوك فيها فقط بشكل متكرر. انظر مثال على التعليمات البرمجية على OSF32.
      1. احصل على نتائج التحليل من النموذج المجهز: anova (fit_time_window) ، eta_squared (fit_time_window) ، و emmeans (fit_time_window ، المواصفات = زوجي ~ الذاكرة * عائد الاستثمار ، ضبط = "Tukey").
    4. لتحليل بيانات EEG في Pz ، عند تصفية مجموعة البيانات ، اتبع نفس الخطوات المذكورة أعلاه ولكن أضف أيضا الشرط قناة == 'ChPz'. كرر العملية المذكورة أعلاه ، ولكن استخدم lmer (الجهد ~ الذاكرة + (1 |الموضوع)) لتحليل بيانات Pz من 400 إلى 850 مللي ثانية.
    5. لرسم ERPs في Pz (كرر على مجموعة البيانات المدمجة ، بثقة فقط ، والمشكوك فيها فقط) ، قم بتصفية مجموعة البيانات لتشمل فقط نقاط البيانات ذات الصلة حيث يكون الحكم هو 1 ، والمصدر هو h ، والذاكرة إما قديمة أو جديدة ، والموضوع ليس فارغا.
      1. حدد متجه يحتوي على نقاط قطب كهربائي متعددة (بما في ذلك Pz) ، وقم ببادئتها ب Ch لمطابقة اصطلاح تسمية القناة في البيانات. حدد Pz خارج.
      2. حدد الإطار الزمني لتحليل تخطيط موارد المؤسسات: time_window <- c (400 ، 850). حدد القطب محل الاهتمام ، في هذه الحالة ، Pz. حلقة من خلال القطب المحدد وإنشاء المؤامرات كما هو موضح أدناه.
        1. قم بتصفية البيانات لقطب Pz باستخدام مرشح (Channel == k) لعزل نقاط البيانات ذات الصلة.
        2. قم بإنشاء عامل تفاعل لنوع الخط واللون استنادا إلى حالة الذاكرة باستخدام التفاعل (current_channel_data $ Memory) وقم بتسمية الشروط على أنها قديمة وجديدة.
        3. حساب إحصائيات الملخص والخطأ المعياري لقياسات الجهد بمرور الوقت باستخدام الدالة summarySEinside ، مع تحديد الجهد كمتغير قياس والوقت كمتغير داخل.
        4. قم بإنشاء مخطط ERP لقطب Pz ، عن طريق إضافة خلفية للنافذة الزمنية المحددة باستخدام geom_rect مع المعلمات xmin و xmax و ymin و ymax. قم بتضمين شرائط خطأ قياسية مع geom_ribbon ، ورسم متوسط الجهد باستخدام geom_line. قم بتخصيص مظهر الرسم والتسميات باستخدام وظائف مثل scale_x_continuous و scale_y_reverse و scale_linetype_manual و scale_fill_manual و scale_color_manual.
      3. استخدم theme_minimal للنسق الأساسي وقم بتخصيص أحجام النص وموضع وسيلة الإيضاح مع السمة.
  4. التآمر الطبوغرافي مع MATLAB
    1. استيراد البيانات وضبط الشروط ، حدد قائمة الموضوعات من 1 إلى 40 ب subject_list = 1:40. حدد صفيفين فارغين من الخلايا لتخزين البيانات للتصنيفات الصحيحة للشروط القديمة والجديدة: "human_timelocked_old_correct = {}; human_timelocked_new_correct = {}. قم بالتكرار عبر قائمة الموضوعات ، واستورد بيانات كل موضوع ، وقم بتصفيتها بناء على الشروط.
    2. استخراج معلومات الحدث من بيانات EEGLAB الأولية ، وتحديد الأحداث التي تحتوي على استجابة فقط يساوي 1. حدد الإصدارات التجريبية ذات المصدر الذي يساوي h وقم بتحديث بنية البيانات وفقا لذلك. بيانات منفصلة للظروف القديمة والجديدة ، تقتصر على التجارب الصحيحة مع المصدر h ، وإجراء تحليل قفل الوقت.
      1. احسب المتوسط الكلي لكل من الشروط القديمة والجديدة: cfg = [] ؛ grandavg_old_correct = ft_timelockgrandaverage(cfg, human_timelocked_old_correct{:}); grandavg_new_correct = ft_timelockgrandaverage(cfg, human_timelocked_new_correct{:}).
    3. قم بإجراء اختبار التقليب كما هو موضح أدناه.
      1. حدد تكوين الجار باستخدام ملف تخطيط محدد: cfg_neigh = [] ؛ cfg_neigh.method = "المسافة" ؛ cfg_neigh.layout = 'path_to_layout_file'; الجيران = ft_prepare_neighbours (cfg_neigh).
      2. تكوين المعلمات لاختبار التقليب ، بما في ذلك مصفوفة التصميم والطريقة الإحصائية: cfg = [] ؛ cfg.method = "مونت كارلو" ؛ cfg.statistic = 'ft_statfun_indepsamplesT'; cfg.correctm = "الكتلة" ؛ cfg.clusteralpha = 0.05; cfg.clusterstatistic = 'maxsum' ؛ cfg.minnbchan = 2 ؛ cfg.tail = 0 ؛ cfg.clustertail = 0; cfg.alpha = 0.05 ؛ cfg.numrandomization = 1000 ؛ cfg.neighbours = الجيران ؛ cfg.design = [2 * آحاد (1 ، طول (human_timelocked_new_correct)) منها (1 ، طول (human_timelocked_old_correct))] ؛ cfg.ivar = 1. علاوة على ذلك ، راجع الرابط التالي (https://www.fieldtriptoolbox.org/tutorial/cluster_permutation_freq/) للحصول على برامج تعليمية حول استخدام Fieldtrip40.
      3. قم بإجراء الاختبار الإحصائي على متوسط البيانات للظروف القديمة والجديدة: stat = ft_timelockstatistics(cfg, human_timelocked_old_correct{:}, human_timelocked_new_correct{:}).
    4. قم بإجراء تخطيط فاصل زمني مخصص كما هو موضح أدناه.
      1. احسب الفرق بين الشرطين: cfg = [] ؛ cfg.operation = "طرح" ؛ cfg.parameter = "متوسط" ؛ grandavg_difference = ft_math (cfg ، grandavg_old_correct ، grandavg_new_correct).
      2. تحديد النوافذ الزمنية: time_windows = { [0.500، 0.800]٪ LPC}.
      3. قم بإنشاء شكل ورسم الفرق بين الشروط باستخدام ft_topoplotER(cfg_plot ، grandavg_difference).

النتائج

يتميز التأثير القديم / الجديد الكلاسيكي بزيادة كبيرة في نشاط دماغ المستمعين على قطب Pz (بين 300 إلى 700 مللي ثانية) عندما يتطابق محتوى الكلام في جلسة الاختبار مع محتوى جلسة التدريب ، خاصة في حالة المتكلم القديم مقارنة بحالة المتكلم الجديد22. يكشف البروتوكول النقاب عن نسخة محدثة من ?...

Discussion

تقدم الدراسة خط أنابيب لجمع بيانات EEG وتحليلها ، مع التركيز على التعرف على هويات المتحدثين التي تم تعلمها مسبقا. تتناول هذه الدراسة الاختلافات بين مرحلتي التعلم والتعرف ، بما في ذلك الاختلافات في محتوى الكلام22 وعلم العروض10. التصميم قابل للتكيف مع مجموعة من مجالا?...

Disclosures

لا توجد معلومات يمكن الكشف عنها.

Acknowledgements

وحظي هذا العمل بدعم مؤسسة العلوم الطبيعية في الصين (المنحة رقم 31971037)؛ برنامج شوغوانغ المدعوم من مؤسسة شنغهاي لتطوير التعليم ولجنة التعليم في بلدية شنغهاي (المنحة رقم 20SG31)؛ مؤسسة العلوم الطبيعية في شنغهاي (22ZR1460200) ؛ برنامج توجيه المشرف بجامعة شنغهاي للدراسات الدولية (2022113001) ؛ والبرنامج الرئيسي للمؤسسة الوطنية للعلوم الاجتماعية في الصين (المنحة رقم 18ZDA293).

Materials

NameCompanyCatalog NumberComments
64Ch Standard BrainCap for BrainAmpEasycap GmbHSteingrabenstrasse 14 DE-82211https://shop.easycap.de/products/64ch-standard-braincap
Abrasive Electrolyte-GelEasycap GmbHAbralyt 2000https://shop.easycap.de/products/abralyt-2000
actiCHamp PlusBrain Products GmbH64 channels + 8 AUXhttps://www.brainproducts.com/solutions/actichamp/
Audio InterfaceNative Instruments GmbHKomplete audio 6https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/
Foam EartipsNeuronixER3-14 https://neuronix.ca/products/er3-14-foam-eartips
Gel-based passive electrode systemBrain Products GmbHBC 01453https://www.brainproducts.com/solutions/braincap/
High-Viscosity Electrolyte Gel Easycap GmbHSuperVischttps://shop.easycap.de/products/supervisc

References

  1. Larrouy-Maestri, P., Poeppel, D., Pell, M. D. The sound of emotional prosody: Nearly 3 decades of research and future directions. Perspect Psychol Sci. , 17456916231217722 (2024).
  2. Pell, M. D., Kotz, S. A. Comment: The next frontier: Prosody research gets interpersonal. Emotion Rev. 13 (1), 51-56 (2021).
  3. Cummins, N., et al. Multilingual markers of depression in remotely collected speech samples: A preliminary analysis. J Affect Disor. 341, 128-136 (2023).
  4. Cummins, N., Baird, A., Schuller, B. W. Speech analysis for health: Current state-of-the-art and the increasing impact of deep learning. Methods. 151, 41-54 (2018).
  5. Kennedy, E., Thibeault, S. L. Voice-gender incongruence and voice health information-seeking behaviors in the transgender community. Am J Speech-language Pathol. 29 (3), 1563-1573 (2020).
  6. Zäske, R., et al. Electrophysiological correlates of voice memory for young and old speakers in young and old listeners. Neuropsychologia. 116, 215-227 (2018).
  7. Lavan, N., Burton, A. M., Scott, S. K., Mcgettigan, C. Flexible voices: Identity perception from variable vocal signals. Psychonomic Bullet Rev. 26, 90-102 (2019).
  8. Perrachione, T. K., Del Tufo, S. N., Gabrieli, J. D. Human voice recognition depends on language ability. Science. 333 (6042), 595-595 (2011).
  9. Lavan, N., Knight, S., Mcgettigan, C. Listeners form average-based representations of individual voice identities. Nat Comm. 10 (1), 2404 (2019).
  10. Xu, H., Armony, J. L. Influence of emotional prosody, content, and repetition on memory recognition of speaker identity. Quart J Exp Psychol. 74 (7), 1185-1201 (2021).
  11. Jiang, X., Pell, M. D. The sound of confidence and doubt. Speech Comm. 88, 106-126 (2017).
  12. Winters, S. J., Levi, S. V., Pisoni, D. B. Identification and discrimination of bilingual talkers across languages. J Acoustical Soci Am. 123 (6), 4524-4538 (2008).
  13. Orena, A. J., Polka, L., Theodore, R. M. Identifying bilingual talkers after a language switch: Language experience matters. J Acoustical Soc Am. 145 (4), EL303-EL309 (2019).
  14. Xie, X., Myers, E. The impact of musical training and tone language experience on talker identification. J Acoustical Soc Am. 137 (1), 419-432 (2015).
  15. Kadam, M. A., Orena, A. J., Theodore, R. M., Polka, L. Reading ability influences native and non-native voice recognition, even for unimpaired readers. J Acoustical Soc Am. 139 (1), EL6-EL12 (2016).
  16. Fleming, D., Giordano, B. L., Caldara, R., Belin, P. A language-familiarity effect for speaker discrimination without comprehension. Proc Natl Acad Sci. 111 (38), 13795-13798 (2014).
  17. White, K. S., Yee, E., Blumstein, S. E., Morgan, J. L. Adults show less sensitivity to phonetic detail in unfamiliar words, too. J Memory Lang. 68 (4), 362-378 (2013).
  18. Levi, S. Methodological considerations for interpreting the language familiarity effect in talker processing. Wiley Interdiscip Revi: Cognitive Sci. 10 (2), e1483 (2019).
  19. Perrachione, T. K., Frühholz, S., Belin, P. Recognizing Speakers Across Languages. The Oxford Handbook of Voice Perception. , 515-538 (2018).
  20. Lavan, N., Burton, A. M., Scott, S. K., Mcgettigan, C. Flexible voices: Identity perception from variable vocal signals. Psychonomic Bullet Rev. 26 (1), 90-102 (2019).
  21. Zäske, R., Hasan, B. a. S., Belin, P. It doesn't matter what you say: Fmri correlates of voice learning and recognition independent of speech content. Cortex. 94, 100-112 (2017).
  22. Zäske, R., Volberg, G., Kovács, G., Schweinberger, S. R. Electrophysiological correlates of voice learning and recognition. J Neurosci. 34 (33), 10821-10831 (2014).
  23. Lavan, N., Knight, S., Mcgettigan, C. Listeners form average-based representations of individual voice identities. Nat Comm. 10 (1), 1-9 (2019).
  24. Chen, W., Jiang, X. Voice-Cloning Artificial-Intelligence Speakers Can Also Mimic Human-Specific Vocal Expression. Preprints. , (2023).
  25. Pisanski, K., Anikin, A., Reby, D. Vocal size exaggeration may have contributed to the origins of vocalic complexity. Philosoph Trans Royal Soc B. 377 (1841), 20200401 (2022).
  26. Belin, P., Fecteau, S., Bedard, C. Thinking the voice: Neural correlates of voice perception. Trend Cognitive Sci. 8 (3), 129-135 (2004).
  27. . Praat: doing phonetics by computer Available from: https://www.fon.hum.uva.nl/praat/ (2022)
  28. Jiang, X., Pell, M. D. On how the brain decodes vocal cues about speaker confidence. Cortex. 66, 9-34 (2015).
  29. Jiang, X., Gossack-Keenan, K., Pell, M. D. To believe or not to believe? How voice and accent information in speech alter listener impressions of trust. Quart J Exp Psychol. 73 (1), 55-79 (2020).
  30. Rigoulot, S., Pell, M. D. Seeing emotion with your ears: Emotional prosody implicitly guides visual attention to faces. PloS One. 7 (1), e30740 (2012).
  31. Cui, X., Jiang, X., Ding, H. Affective prosody guides facial emotion processing. Curr Psychol. 42 (27), 23891-23902 (2023).
  32. . Memorization-based training and testing paradigm for robust vocal identity recognition in expressive speech using event-related potentials analysis Available from: https://osf.io/6zu83/ (2024)
  33. Brainvision recorder. Available from: https://www.brainproducts.com/downloads/recorder/ (2024)
  34. Jiang, X., Paulmann, S., Robin, J., Pell, M. D. More than accuracy: Nonverbal dialects modulate the time course of vocal emotion recognition across cultures. J Exp Psychol. 41 (3), 597 (2015).
  35. Jiang, X., Pell, M. D. The feeling of another's knowing: How "mixed messages" in speech are reconciled. J Exp Psychol. 42 (9), 1412 (2016).
  36. Zhou, X., et al. Semantic integration processes at different levels of syntactic hierarchy during sentence comprehension: An erp study. Neuropsychologia. 48 (6), 1551-1562 (2010).
  37. Jiang, X., Tan, Y., Zhou, X. Processing the universal quantifier during sentence comprehension: Erp evidence. Neuropsychologia. 47 (8-9), 1799-1815 (2009).
  38. Acunzo, D. J., Mackenzie, G., Van Rossum, M. C. W. Systematic biases in early erp and erf components as a result of high-pass filtering. J Neurosci Meth. 209 (1), 212-218 (2012).
  39. Bates, D. Fitting linear mixed models in r. R. 5 (1), 27-30 (2005).
  40. Oostenveld, R., Fries, P., Maris, E., Schoffelen, J. M. Fieldtrip: Open source software for advanced analysis of meg, eeg, and invasive electrophysiological data. Computat Intelligence Neurosci. 2011, 1-9 (2011).
  41. Coopmans, C. W., Nieuwland, M. S. Dissociating activation and integration of discourse referents: Evidence from erps and oscillations. Cortex. 126, 83-106 (2020).
  42. Humble, D., et al. The jena voice learning and memory test (jvlmt): A standardized tool for assessing the ability to learn and recognize voices. Behavior Res Meth. 55 (3), 1352-1371 (2023).
  43. Holmes, E., To, G., Johnsrude, I. S. How long does it take for a voice to become familiar? Speech intelligibility and voice recognition are differentially sensitive to voice training. Psychol Sci. 32 (6), 903-915 (2021).
  44. Kroczek, L. O. H., Gunter, T. C. Communicative predictions can overrule linguistic priors. Sci Rep. 7 (1), 17581 (2017).
  45. Kroczek, L. O. H., Gunter, T. C. The time course of speaker-specific language processing. Cortex. 141, 311-321 (2021).
  46. Schroeger, A., et al. Atypical prosopagnosia following right hemispheric stroke: A 23-year follow-up study with mt. Cognitive Neuropsychol. 39 (3-4), 196-207 (2022).
  47. Garrido, L., et al. Developmental phonagnosia: A selective deficit of vocal identity recognition. Neuropsychologia. 47 (1), 123-131 (2009).
  48. Schelinski, S., Borowiak, K., Von Kriegstein, K. Temporal voice areas exist in autism spectrum disorder but are dysfunctional for voice identity recognition. Social Cognitive Affective Neurosci. 11 (11), 1812-1822 (2016).
  49. Holle, H., Gunter, T. C. The role of iconic gestures in speech disambiguation: Erp evidence. J Cognitive Neurosci. 19 (7), 1175-1192 (2007).
  50. Regel, S., Coulson, S., Gunter, T. C. The communicative style of a speaker can affect language comprehension? Erp evidence from the comprehension of irony. Brain Res. 1311, 121-135 (2010).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Explore More Articles

210

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Contact Us

Recommend to library

JoVE NEWSLETTERS

Research

Education

Authors

Librarians

ABOUT JoVE

Copyright © 2025 MyJoVE Corporation. All rights reserved