Name: تسليط الضوء على المؤلف: التحقيق في تأثير العروض العاطفية على التعرف على الصوت والإدراك
Uploaded: 2024-08-09T13:40:00
Description: Recognizing familiar speakers from vocal streams is a fundamental aspect of human verbal communication. However, it remains unclear how listeners can ...

وحظي هذا العمل بدعم مؤسسة العلوم الطبيعية في الصين (المنحة رقم 31971037)؛ برنامج شوغوانغ المدعوم من مؤسسة شنغهاي لتطوير التعليم ولجنة التعليم في بلدية شنغهاي (المنحة رقم 20SG31)؛ مؤسسة العلوم الطبيعية في شنغهاي (22ZR1460200) ؛ برنامج توجيه المشرف بجامعة شنغهاي للدراسات الدولية (2022113001) ؛ والبرنامج الرئيسي للمؤسسة الوطنية للعلوم الاجتماعية في الصين (المنحة رقم 18ZDA293).

وافقت لجنة الأخلاقيات التابعة لمعهد اللغويات بجامعة شنغهاي للدراسات الدولية على تصميم التجربة الموضح أدناه. تم الحصول على موافقة مستنيرة من جميع المشاركين لهذه الدراسة.
1. إعداد المكتبة الصوتية والتحقق من صحتها
<ol><li>تسجيل الصوت وتحريره<ol><li>قم بإنشاء قاعدة بيانات...

دراسة EEG حول التعرف على المتحدثين المألوفين في الكلام التعبيري

تقدم الدراسة خط أنابيب لجمع بيانات EEG وتحليلها ، مع التركيز على التعرف على هويات المتحدثين التي تم تعلمها مسبقا. تتناول هذه الدراسة الاختلافات بين مرحلتي التعلم والتعرف ، بما في ذلك الاختلافات في محتوى الكلام22 وعلم العروض10. التصميم قابل للتكيف مع مجموعة من مجالا?...

التدفقات الصوتية البشرية غنية بالمعلومات ، مثل العاطفة 1,2 ، والحالة الصحية 3,4 ، والجنس البيولوجي5 ، وسن6 ، والأهم من ذلك ، الهوية الصوتية الفردية 7,8. أشارت الدراسات إلى أن المستمعين البشريين لديهم قدرة قوية على التعرف على هويات أقرانهم وتمييزها من خلال الأصوات ، والتغلب على الاختلافات داخل المتحدث حول التمثيل القائم على متوسط هوية المتحدث في الفضاء الصوتي9. تحدث هذه الاختلافات عن طريق التلاعب الصوتي (التردد الأساسي وطول المسالك الصوتية ، أي F0 و VTL) الذي لا يتوافق مع النوايا البراغماتيةالواضحة 9 ، وعروض العاطفة10 ، والثقة الصوتية التي تنقل شعور المتحدثين بمعرفة11. ركزت التجارب السلوكية على العديد من العوامل التي تؤثر على أداء المستمعين في التعرف على المتحدثين ، بما في ذلك التلاعب المرتبط باللغة8،12،13 ، والخصائص المتعلقة بالمشاركين مثل تجربة الموسيقى أو القدرة على القراءة14،15 ، والتكيفات المتعلقة بالمحفزات مثل الكلام العكسي أو اللاكلمات16،17 ؛ يمكن العثور على المزيد في مراجعات الأدبيات18,19. حققت بعض التجارب الحديثة في كيفية تقويض الاختلاف الفردي لتمثيل هوية المتحدث دقة التعرف ، مع الأخذ في الاعتبار الجوانب بما في ذلك التعبير العاطفي المرتفع مقابل المنخفض16 والعروض المحايدة مقابل العروض المخيفة5 ؛ المزيد من السيناريوهات المحتملة مفتوحة لمزيد من التحقيق ، على النحو المقترح في مراجعة20.
بالنسبة للفجوة البحثية الأولى ، تقترح الدراسة أن الأسس العصبية لتحديد المتحدث لم تستكشف بعد بشكل كامل كيف يتحدى الاختلاف داخل المتحدث أنشطة دماغ المستمعين. على سبيل المثال ، في مهمة التعرف على المتحدث المستندة إلى التصوير بالرنين المغناطيسي الوظيفي بواسطة Zäske et al. ، أظهر التلفيف الصدغي العلوي الخلفي الأيمن للمشاركين (pSTG) ، والتلفيف الجبهي السفلي / الأوسط الأيمن (IFG / MFG) ، والتلفيف الجبهي الإنسي الأيمن ، والمذنب الأيسر تنشيطا منخفضا عند تحديده بشكل صحيح على أنه متحدث قديم مقابل متحدث جديد ، بغض النظر عن كون المحتوى اللغوي متماثلا أو مختلفا21. ومع ذلك ، فإن دراسة سابقة لتخطيط كهربية الدماغ (EEG) أجراها Zäske et al. لم تلاحظ هذا التأثير القديم / الجديد عندما تم تقديم اختلاف هوية المتحدث من خلال نصوص مختلفة22. على وجه التحديد ، كان المكون الإيجابي الأكبر والمتأخر (LPC) الذي يتراوح من 300 إلى 700 مللي ثانية ، والذي تم اكتشافه عند قطب Pz عندما واجه المستمعون متحدثهم المدرب المألوف الذي يعبر عن نفس النص (أي سماع إعادة بمحتوى لغوي غير متنوع) ، غائبا عندما قدم المتحدثون نصوصا جديدة. 
دعما للتأكيد الذي قدمه Zäske et al.21 ، تشك هذه الدراسة في أنه لا يزال من الممكن ملاحظة تأثير قديم / جديد على الرغم من الاختلافات في المحتوى اللغوي بين جلسات التدريب والاختبار في تحليلات الإمكانات المتعلقة بالحدث (ERP). ينبع هذا الأساس المنطقي من فكرة أن غياب التأثير القديم / الجديد في Zäske et al.22 ، في ظل ظروف تم فيها استخدام نصوص مختلفة ، يمكن أن يعزى إلى عدم وجود جلسة فحص إضافية أثناء مهمة التدريب لضمان تعلم الهوية الشامل والفعال ، على النحو الذي اقترحه Lavan et al.23. وبالتالي ، فإن الهدف الأول من الدراسة هو فحص هذه الفرضية والتحقق من صحتها. تهدف هذه الدراسة إلى اختبار ذلك عن طريق إضافة جلسة فحص إلى نموذج اختبار التدريب22. 
سؤال رئيسي آخر تهدف هذه الدراسة إلى معالجته هو قوة تحديد المتحدث في وجود عروض الكلام. اقترحت الدراسات السلوكية السابقة أن المستمعين يكافحون بشكل خاص للتعرف على المتحدثين عبر عروض مختلفة ، مما يشير إلى الدور التعديلي للسياق الإيجابي - كان أداء المستمعين ضعيفا في ظروف العروض المختلفة لاختبار التدريب. تهدف هذه الدراسة إلى اختبار ذلك من خلال تعريض المستمعين للتعرف على المتحدثين المألوفين إما في العروض الواثقة أو المشكوك فيها24. تتوقع هذه الدراسة أن تساعد الاختلافات المرصودة في تخطيط موارد المؤسسات في تفسير كيفية تأثير عروض الكلام على التعرف على الهوية. 
الهدف الأساسي من الدراسة الحالية هو التحقيق في قوة التأثير القديم / الجديد في التعرف على المتحدث ، وتحديدا فحص ما إذا كانت هناك اختلافات في التعرف على المتحدثين في العروض الواثقة مقابل المشكوك فيها. أجرى شو وأرموني10 دراسة سلوكية باستخدام نموذج اختبار التدريب ، وتشير النتائج التي توصلوا إليها إلى أن المستمعين لا يمكنهم التغلب على الاختلافات العروضية (على سبيل المثال ، تم تدريبهم على التعرف على المتكلم في علم العروض المحايد واختباره على علم العروض المخيف) ويمكنهم فقط تحقيق دقة أقل من مستوىالصدفة 10. يشير التحليل الصوتي إلى أن المتحدثين الذين يعبرون عن حالات عاطفية متنوعة يرتبطون بتعديل VTL / F0 ؛ على سبيل المثال ، يتميز علم العروض الواثق بطول VTL وانخفاض F0 ، في حين أن العكس صحيح بالنسبة للعروض المشكوك فيها11,24. يأتي دليل آخر من الدراسة التي أجراها Lavan et al.23 ، والتي أكدت أن المستمعين يمكنهم التكيف مع تغييرات VTL و F0 للمتحدث وتشكيل تمثيلات متوسطة للمتكلمين. توفق هذه الدراسة بين أنه ، من منظور البيانات السلوكية ، من المرجح أن يظل المستمعون يتعرفون على هوية المتكلم عبر العروض (على سبيل المثال ، تم تدريبهم على التعرف على واحد في علم العروض الواثق ولكن تم اختباره في علم العروض المشكوك فيه ؛ تم الإبلاغ عنه في مخطوطة منفصلة قيد الإعداد). ومع ذلك ، فإن الارتباطات العصبية لتحديد المتحدث ، وتحديدا قابلية تعميم التأثير القديم / الجديد الذي لاحظه Zäske et al.22 ، لا تزال غير واضحة. ومن ثم ، فإن الدراسة الحالية ملتزمة بالتحقق من متانة التأثير القديم / الجديد في العروض الواثقة مقابل المشكوك فيها كسياقات للاختبار.
تقدم الدراسة خروجا عن نماذج البحث السابقة في دراسات التأثيرات القديمة / الجديدة. بينما ركزت الأبحاث السابقة على كيفية تأثير التعرف على المتكلم القديم / الجديد على الإدراك ، فإن هذه الدراسة توسع هذا من خلال دمج مستويين من الثقة (الثقة مقابل الشك) في النموذج (وبالتالي ، دراسة 2 + 2). هذا يسمح لنا بالتحقيق في التعرف على المتحدث في سياقات عروض الكلام الواثقة والمشكوك فيها. يتيح النموذج استكشاف متانة التأثيرات القديمة / الجديدة. تعمل تحليلات تأثيرات الذاكرة ومناطق الاهتمام (ROI) ضمن سياقات الكلام الواثقة والمشكوك فيها كدليل على هذا التحقيق. 
إجمالا ، تهدف الدراسة إلى تحديث فهم ارتباطات EEG للتعرف على الصوت ، مع الفرضيات القائلة بأن LPC الموسع لتأثير EEG القديم / الجديد يمكن ملاحظته حتى عندما يكون 1) المحتوى اللغوي ليس هو نفسه ، و 2) مع وجود عروض واثقة مقابل مشكوك فيها. بحثت هذه الدراسة في الفرضيات من خلال نموذج من ثلاث خطوات. أولا ، خلال مرحلة التدريب ، أنشأ المشاركون ارتباطات بين ثلاثة أصوات وأسمائهم المقابلة. بعد ذلك ، في مرحلة التحقق ، تم تكليفهم بتحديد الاسم المقابل لصوت من مجموعة مختارة من ثلاثة مرشحين. يهدف هذا الفحص ، بعد Lavan et al.23 ، إلى التغلب على عدم كفاية التعرف على المتحدث القديم ، مما أدى إلى التأثير القديم / الجديد غير الملحوظ عندما اختلف النص في مرحلتي التدريب والاختبار6 ، ولم يتمكن المتحدثون من التعرف على المتحدثين عبر العروض المحايدة والمخيفة10. أخيرا ، في مرحلة الاختبار ، ميز المشاركون بين ثلاثة أصوات قديمة وثلاثة أصوات جديدة في مهمة الاختيار القسري البديلة ، مع تقديم عروض الكلام على أنها إما واثقة أو مشكوك فيها. تم جمع بيانات EEG باستخدام نظام EEG المكون من 64 قناة وخضعت للمعالجة المسبقة قبل التحليل. تم إجراء التحليل الإحصائي وتحليل الإمكانات المرتبطة بالحدث (ERP) في RStudio ، بينما تم استخدام MATLAB لتحليل طبوغرافيا الدماغ.
فيما يتعلق بتفاصيل التصميم ، تقترح هذه الدراسة تجربة تعلم هوية المتحدث التي تتحكم في ارتفاع المتكلم ، والذي يرتبط ب VTL ويؤثر على انطباعات من يتحدث23. يؤثر هذا الجانب أيضا على الانطباعات الاجتماعية ، مثل الهيمنة المتصورة25 ، وقد يتفاعل تكوين الانطباع عالي المستوى هذا مع فك تشفير هوية المتحدث26.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>64Ch Standard BrainCap for BrainAmp</td>
			<td>Easycap GmbH</td>
			<td>Steingrabenstrasse 14 DE-82211</td>
			<td>https://shop.easycap.de/products/64ch-standard-braincap</td>
		</tr>
		<tr>
			<td>Abrasive Electrolyte-Gel</td>
			<td>Easycap GmbH</td>
			<td>Abralyt 2000</td>
			<td>https://shop.easycap.de/products/abralyt-2000</td>
		</tr>
		<tr>
			<td>actiCHamp Plus</td>
			<td>Brain Products GmbH</td>
			<td>64 channels + 8 AUX</td>
			<td>https://www.brainproducts.com/solutions/actichamp/</td>
		</tr>
		<tr>
			<td>Audio Interface</td>
			<td>Native Instruments GmbH</td>
			<td>Komplete audio 6</td>
			<td>https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/</td>
		</tr>
		<tr>
			<td>Foam Eartips</td>
			<td>Neuronix</td>
			<td>ER3-14&#160;</td>
			<td>https://neuronix.ca/products/er3-14-foam-eartips</td>
		</tr>
		<tr>
			<td>Gel-based passive electrode system</td>
			<td>Brain Products GmbH</td>
			<td>BC 01453</td>
			<td>https://www.brainproducts.com/solutions/braincap/</td>
		</tr>
		<tr>
			<td>High-Viscosity Electrolyte Gel&#160;</td>
			<td>Easycap GmbH</td>
			<td>SuperVisc</td>
			<td>https://shop.easycap.de/products/supervisc</td>
		</tr>
	</tbody>
</table>

memorization-based training and testing paradigm for robust vocal identity recognition in expressive speech using event-related potentials analysis

يعد التعرف على المتحدثين المألوفين من التدفقات الصوتية جانبا أساسيا من التواصل اللفظي البشري. ومع ذلك ، لا يزال من غير الواضح كيف لا يزال بإمكان المستمعين تمييز هوية المتحدث في الكلام التعبيري. تطور هذه الدراسة نهجا قائما على الحفظ للتعرف على هوية المتحدث الفردي وخط أنابيب تحليل بيانات مخطط كهربية الدماغ (EEG) المصاحب ، والذي يراقب كيفية تعرف المستمعين على المتحدثين المألوفين والتمييز بين المتحدثين غير المألوفين. تلتقط بيانات EEG العمليات المعرفية عبر الإنترنت أثناء التمييز بين المتحدث الجديد والقديم بناء على الصوت ، مما يوفر مقياسا في الوقت الفعلي لنشاط الدماغ ، ويتغلب على حدود أوقات رد الفعل وقياسات الدقة. ويتألف النموذج من ثلاث خطوات: ينشئ المستمعون ارتباطات بين ثلاثة أصوات وأسمائهم (التدريب)؛ ويقوم المستمعون بالربط بين ثلاثة أصوات وأسمائهم (التدريب)؛ ويقوم المستمعون بالربط بين ثلاثة أصوات وأسمائهم (التدريب)؛ ويقوم المستمعون بالربط بين ثلاثة أصوات وأسمائهم (التدريب يشير المستمعون إلى الاسم المقابل لصوت من ثلاثة مرشحين (التحقق) ؛ يميز المستمعون بين ثلاثة أصوات قديمة وثلاثة أصوات جديدة في مهمة الاختيار القسري البديلة (الاختبار). كان عرض الكلام في الاختبار إما واثقا أو مشكوكا فيه. تم جمع بيانات EEG باستخدام نظام EEG المكون من 64 قناة ، تليها المعالجة المسبقة واستيرادها إلى RStudio لتخطيط موارد المؤسسات والتحليل الإحصائي و MATLAB لتضاريس الدماغ. أظهرت النتائج أن المكون الإيجابي المتأخر الموسع (LPC) قد تم استنباطه في المتكلم القديم مقارنة بحالة المتكلم الجديد في نافذة 400-850 مللي ثانية في Pz ومجموعة أخرى واسعة من الأقطاب الكهربائية في كلا العرضين. ومع ذلك ، كان التأثير القديم / الجديد قويا في الأقطاب الكهربائية المركزية والخلفية للإدراك الإيجابي المشكوك فيه ، في حين أن الأقطاب الكهربائية الأمامية والمركزية والخلفية مخصصة لحالة العروض الواثقة. تقترح هذه الدراسة أن تصميم التجربة هذا يمكن أن يكون بمثابة مرجع للتحقيق في تأثيرات ربط الإشارات الخاصة بالمتحدث في سيناريوهات مختلفة (على سبيل المثال ، التعبير المجازي) والأمراض في مرضى مثل phonagnosia.

Human vocal streams are rich in information, such as emotion1,2, health status3,4, biological sex5, age6, and, more importantly, the individual vocal identity7,8. Studies have suggested that human listeners have a robust capacity to recognize and differentiate their peers' identities through voices, overcoming within-speaker variations around speaker identity's average-based representation in the acoustic space9. Such variations are brought about by acoustic manipulation (fundamental frequency and vocal tract length, i.e., F0 and VTL) that corresponds to no clear pragmatic intentions9, emotion prosodies10, and vocal confidence that conveys speakers' feeling of knowing11. Behavioral experiments have focused on many factors that influence listeners' performance in recognizing the talkers, including language-related manipulations8,12,13, participants-related characteristics such as music experience or reading ability14,15, and stimuli-related adaptions like backward speech or nonwords16,17; more can be found in literature reviews18,19. A few recent experiments have investigated how individual variation of the speaker identity representation might undermine the recognition accuracy, considering aspects including high versus low emotional expressiveness16 and neutral versus fearful prosodies5; more possible scenarios open for further investigation, as suggested by a review20. 
For the first research gap, the study proposes that the neurological underpinnings of speaker identification have yet to fully explore how within-speaker variation challenges listeners' brain activities. For example, in an fMRI-based speaker recognition task by Z&#228;ske et al., participants' right posterior superior temporal gyrus (pSTG), right inferior/middle frontal gyrus (IFG/MFG), right medial frontal gyrus, and left caudate showed reduced activation when correctly identified as old versus new talkers, regardless of the linguistic content being the same or different21. However, an earlier electroencephalography (EEG) study by Z&#228;ske et al. did not observe this old/new effect when speaker identity variation was introduced through different texts22. Specifically, a larger, late positive component (LPC) ranging from 300 to 700 ms, detected at the Pz electrode when listeners encountered their familiar trained talker expressing the same text (i.e., hearing a replay with non-varied linguistic content), was absent when the talkers delivered new texts. 
In support of the assertion made by Z&#228;ske et al.21, this study suspects that an old/new effect can still be observed despite differences in linguistic content between training and testing sessions in event-related potential (ERP) analyses. This rationale stems from the notion that the absence of the old/new effect in Z&#228;ske et al.22, under conditions where different texts were used, may be attributed to the lack of an additional check session during the training task to ensure thorough and effective identity learning, as suggested by Lavan et al.23. Consequently, the first objective of the study is to examine and validate this hypothesis. This study aims to test this by adding a checking session to the training-testing paradigm22. 
Another key question this study aims to address is the robustness of speaker identification in the presence of speech prosody. Previous behavioral studies have suggested that listeners particularly struggle to recognize talkers across different prosodies, which indicates a modulatory role of prosodic context - listeners underperformed in the different training-testing prosody conditions. This study aims to test this by exposing listeners to recognize familiar talkers in either confident or doubtful prosodies24. This study expects that the observed ERP differences will help explain how speech prosody influences identity recognition. 
The core objective of the current study is to investigate the robustness of the old/new effect in speaker recognition, specifically examining whether there are differences in recognizing talkers in confident versus doubtful prosodies. Xu and Armony10 performed a behavioral study using a training-testing paradigm, and their findings suggest that listeners cannot overcome prosodic differences (e.g., trained to recognize a talker in neutral prosody and tested on fearful prosody) and can only achieve accuracy lower than chance level10. Acoustic analysis indicates that speakers expressing varied emotive states are associated with VTL/F0 modulation; for example, confident prosody is characterized by lengthened VTL and lower F0, whereas the opposite is true for doubtful prosody11,24. Another piece of evidence comes from the study by Lavan et al.23, which confirmed that listeners can adapt to VTL and F0 changes of the speaker and form average-based representations of the talkers. This study reconciles that, from a behavioral data perspective, listeners are likely to still recognize the talker's identity across prosodies (e.g., trained to recognize one in confident prosody but tested in doubtful prosody; reported in a separate manuscript in preparation). Yet, the neural correlates of speaker identification, specifically the generalizability of the old/new effect observed by Z&#228;ske et al.22, remain unclear. Hence, the current study is committed to validating the robustness of the old/new effect in confident versus doubtful prosodies as contexts for testing. 
The study introduces a departure from previous research paradigms in old/new effects studies. While past research focused on how old/new talker recognition influences perception, this study extends this by incorporating two confidence levels (confident versus doubtful) into the paradigm (thus, a 2+2 study). This allows us to investigate speaker recognition within the contexts of confident and doubtful speech prosodies. The paradigm enables the exploration of the robustness of old/new effects. The analyses of memory effects and regions of interest (ROI) within both confident and doubtful speech contexts serve as evidence for this investigation. 
Altogether, the study aims to update the understanding of the EEG correlates of voice recognition, with the hypotheses that the enlarged LPC of the EEG old/new effect is observable even when 1) the linguistic content is not the same, and 2) with the presence of confident versus doubtful prosody. This study investigated the hypotheses through a three-step paradigm. Firstly, during the training phase, participants established associations between three voices and their corresponding names. Subsequently, in the checking phase, they were tasked with identifying the name corresponding to a voice from a selection of three candidates. This checking, following Lavan et al.23, aims to overcome insufficient old speaker familiarization, which led to the unobserved old/new effect when the text in the training and testing phases differed6, and talkers could not recognize talkers across neutral and fearful prosodies10. Finally, in the testing phase, participants distinguished between three old and three new speaker voices in a two-alternative forced-choice task, with speech prosody presented as either confident or doubtful. EEG data were collected using a 64-channel EEG system and underwent preprocessing before analysis. Statistical analysis and event-related potential (ERP) analysis were conducted in RStudio, while MATLAB was utilized for brain topography analysis.
Regarding design details, this study proposes a speaker identity learning experiment that controls for the talker's height, which is related to VTL and influences impressions of who is talking23. This aspect also influences social impressions, such as perceived dominance25, and such higher-level impression formation might interact with decoding speaker identity26.

تسليط الضوء على المؤلف: التحقيق في تأثير العروض العاطفية على التعرف على الصوت والإدراك

نموذج التدريب والاختبار القائم على الحفظ للتعرف القوي على الهوية الصوتية في الكلام التعبيري باستخدام تحليل الإمكانات المتعلقة بالحدث

For over 50 years, scientists have been intrigued by how we recognize voices. Our recent study explores how emotional prosodies affect this process. Despite differences in prosodies, we found that the overall old-new effect is robust, indicating that our brains consistently distinguish familiar and unfamiliar voices.Current experimental challenges in speaker identification arise from the commonly used training testing paradigm in the past, which is not suitable for studying detailed variables affecting speaker identity processing. Ensuring that the training is thorough and effective is crucial to address this challenge. Our fundings reveal that while the LPC, or the old-new effect, shows differences between confident and doubtful processes, it remains robust overall.Our paradigm is well suited for investigating the processing of familiar and unfamiliar objects with internal variations. My lab focuses on voice perception, including how pragmatically marked emotions are expressed and perceived and how vocal information has an impact on listeners. We use EEGs and fMRI to measure these factors with a key focus on social factors such as accent or whether the talker is AI.This study on JoVE supports our future research in these areas.

يتميز التأثير القديم / الجديد الكلاسيكي بزيادة كبيرة في نشاط دماغ المستمعين على قطب Pz (بين 300 إلى 700 مللي ثانية) عندما يتطابق محتوى الكلام في جلسة الاختبار مع محتوى جلسة التدريب ، خاصة في حالة المتكلم القديم مقارنة بحالة المتكلم الجديد22. يكشف البروتوكول النقاب عن نسخة محدثة من ?...

تقدم الدراسة نموذج اختبار التدريب للتحقيق في الآثار القديمة / الجديدة للإمكانات المتعلقة بالحدث في سيناريوهات عروضية واثقة ومشكوك فيها. تكشف البيانات عن مكون إيجابي متأخر محسن بين 400-850 مللي ثانية في Pz والأقطاب الكهربائية الأخرى. يمكن لخط الأنابيب هذا استكشاف عوامل تتجاوز علم الكلام وتأثيرها على تحديد الهدف المرتبط بالإشارة.

Recognizing familiar speakers from vocal streams is a fundamental aspect of human verbal communication. However, it remains unclear how listeners can ...

memorization-based-training-testing-paradigm-for-robust-vocal

Research

JoVE Journal

Behavior

Memorization-Based Training and Testing Paradigm for Robust Vocal Identity Recognition in Expressive Speech Using Event-Related Potentials Analysis

Recognizing familiar speakers from vocal streams is a fundamental aspect of human verbal communication. However, it remains unclear how listeners can still discern the speaker's identity in expressive speech. This study develops a memorization-based individual speaker identity recognition approach and an accompanying electroencephalogram (EEG) data analysis pipeline, which monitors how listeners recognize familiar speakers and tell unfamiliar ones apart. EEG data captures online cognitive processes during new versus old speaker distinction based on voice, offering a real-time measure of brain activity, overcoming limits of reaction times and accuracy measurements. The paradigm comprises three steps: listeners establish associations between three voices and their names (training); listeners indicate the name corresponding to a voice from three candidates (checking); listeners distinguish between three old and three new speaker voices in a two-alternative forced-choice task (testing). The speech prosody in testing was either confident or doubtful. EEG data were collected using a 64-channel EEG system, followed by preprocessing and imported into RStudio for ERP and statistical analysis and MATLAB for brain topography. Results showed an enlarged late positive component (LPC) was elicited in the old-talker compared to the new-talker condition in the 400-850 ms window in the Pz and other wider range of electrodes in both prosodies. Yet, the old/new effect was robust in central and posterior electrodes for doubtful prosody perception, whereas the anterior, central, and posterior electrodes are for confident prosody condition. This study proposes that this experiment design can serve as a reference for investigating speaker-specific cue-binding effects in various scenarios (e.g., anaphoric expression) and pathologies in patients like phonagnosia.

The study introduces a training-testing paradigm to investigate old/new effects of event-related potentials in confident and doubtful prosodic scenarios. Data reveals an enhanced late positive component between 400-850 ms at Pz and other electrodes. This pipeline can explore factors beyond speech prosody and their influence on cue-binding target identification.

Preparing the Venue and Participants for Electroencephalography (EEG)

To begin, assign participant IDs and ask participants to wash and dry their hair within one hour before participating in the experiment. Mix the electrolyte gel and abrasive electrolyte gel in a one-to-three ratio, adding a small amount of water. Stir the mixture evenly in a container with a spoon.Prepare fine-tipped cotton swabs and a dry EEG cap. Now ask the participant to sit comfortably in a chair and inform them that the experimenter will apply the EEG cap. Provide the participant with instructions about the experimental tasks and an informed consent form for the experiment.Obtain the participant's signature before proceeding with the preparation phase. Next, connect the EEG cap to the amplifier, which in turn connects to the EEG data acquisition computer. Use an additional monitor to check the color indicators on the 64 electrodes, as this study uses a passive cap.Open BrainVision Recorder and import a customized workspace file that has defined the recording parameters. Click on Monitor to check the impedance. Ask the participant to sit upright in a chair.Select an appropriately sized gel-based passive electrode system for the participant's head. Now dip a disposable cotton swab into the conductive paste and apply it to the holes of the cap, making sure to rub against the participant's scalp. An electrode's corresponding indicator turning green on the EEG data collection computer signifies that it is successfully collecting optimal data.Once the indicative color for all electrodes on the screen except for the two independent sided electrodes turn green, apply the side electrodes to attach the left electrode near the participant's left eye and the right electrode near the right temple. Once all electrodes are green, place an elastic net over the participant's head to help the EEG cap fit more securely and stably against the participant's head. Then equip the participant with wired headphones.Close the electromagnetic shielding door and guide the participant's actions through a microphone that allows communication inside and outside. Additionally, monitor the participant's movements through an external monitor, reminding them not to move their body significantly. Also, monitor the participant's progress in behavioral tasks through a behavioral data monitor.Ask the participant to wear earphones connected to the behavioral collection computer through an audio interface.

إعداد المكان والمشاركين لتخطيط كهربية الدماغ (EEG)

Performing the Encephalography Experiment Block-by-Block Independently

To begin, create a new EEG recording file on the EEG data collection computer. Open brain vision recorder and click on monitor to double check the impedance followed by stat or resume recording. Open the PsychoPy program's run experiment for the behavioral experiment.Enter the participant's ID and the corresponding block number and click okay to start the experiment. Closely monitor the accuracy of data reported on the screen after the participant completes the check phase on the behavioral data computer. Pay close attention to the final reported accuracy of old versus new recognition.After the participant has completed all blocks, invite them to wash their hair. To clean the EEG cap, remove the residual conductive paste with a toothbrush and wrap them in plastic bags. Once cleaned, hang the EEG cap in a well-ventilated area to dry.Copy the EEG and behavioral data onto a portable hard drive, ensuring that the EEG data and behavioral data correspond.