이 연구는 중국 자연 과학 재단 (Grant No. 31971037)의 지원을 받았습니다. 상하이 교육 발전 재단 (Shanghai Education Development Foundation)과 상하이시 교육위원회 (Shanghai Municipal Education Committee)가 지원하는 Shuguang 프로그램 (보조금 번호 20SG31); 상하이 자연과학재단(22ZR1460200); Shanghai International Studies University (2022113001)의 감독자지도 프로그램; 중국 국가사회과학재단(National Social Science Foundation of China)의 주요 프로그램(보조금 번호 18ZDA293).

표현적 연설에서 친숙한 화자를 인식하는 EEG 연구

공개할 정보는 없습니다.

이 연구는 EEG 데이터 수집 및 분석을 위한 파이프라인을 제시하며, 이전에 학습된 화자 정체성을 인식하는 데 중점을 둡니다. 본 연구는 학습 단계와 인식 단계 간의 차이를 다루는데, 여기에는 말하기 내용22 과 운율10의 차이도 포함된다. 이 디자인은 대명사 및 아나포릭 처리(anaphoric processing)와 같은 심리언어학을 포함한 다양한 연구 분야에 적용할 수 있다(<su...

인간의 발성에는 감정(emotion)1,2, 건강 상태3,4, 생물학적 성(biological sex)5, 나이(age)6, 그리고 더 중요하게는 개인의 발성 정체성(vocal identity)7,8과 같은 정보가 풍부하다. 연구에 따르면 인간 청취자는 목소리를 통해 동료의 정체성을 인식하고 구별할 수 있는 강력한 능력을 가지고 있으며, 음향 공간에서 화자 정체성의 평균 기반 표현을 둘러싼 화자 내 변동을 극복한다9. 이러한 변화는 명확한 실용적 의도9, 감정 운율(emotion prosodies)10, 화자의 앎감을 전달하는 목소리 자신감(vocal confidence)11에 해당하는 음향 조작(기본 주파수 및 성도 길이, 즉 F0 및 VTL)에 의해 발생한다. 행동 실험은 언어 관련 조작8,12,13, 음악 경험 또는 읽기 능력과 같은 참가자 관련 특성14,15, 거꾸로 말하기 또는 비단어와 같은 자극 관련 적응16,17 등 청취자가 화자를 인식하는 데 영향을 미치는 많은 요인에 초점을 맞췄다. 더 많은 것은 문헌 검토18,19에서 찾을 수 있습니다. 최근의 몇몇 실험에서는 화자의 정체성 표현의 개인적 차이가 어떻게 인식 정확도를 저해할 수 있는지를 조사했으며, 이는 높은 감정 표현력과 낮은 감정 표현력(high and low emotional expressiveness)16, 중립적 표현력과 두려운 표현력(neutral versus fearful prosodies5)을 포함한 여러 측면을 고려했다. 리뷰20에서 제안한 바와 같이 추가 조사를 위해 더 많은 가능한 시나리오가 열려 있습니다.
첫 번째 연구 격차에 대해, 이 연구는 화자 식별의 신경학적 토대가 화자 내 변이가 청취자의 뇌 활동에 어떻게 도전하는지 아직 완전히 탐구하지 않았다고 제안합니다. 예를 들어, Zäske et al.의 fMRI 기반 화자 인식 과제에서 참가자의 우측 후방상측두이랑(pSTG), 우측 하측/중전두회(IFG/MFG), 우측 내측 전두이랑, 좌측 미상이랑은 언어 내용이 같거나 다르는지에 관계없이 오래된 화자와 새로운 화자로 올바르게 식별되었을 때 활성화가 감소한 것으로 나타났다21. 그러나 Zäske et al.의 초기 뇌파 검사(EEG) 연구에서는 화자 정체성 변이가 다른 텍스트를 통해 도입되었을 때 이러한 구/신 효과를 관찰하지 못했다22. 구체적으로, 청취자가 동일한 텍스트를 표현하는 친숙하고 훈련된 발화자를 만났을 때(즉, 다양하지 않은 언어 내용의 재생을 들었을 때) Pz 전극에서 감지된 300ms에서 700ms에 이르는 더 큰 LPC(Late Positive Component)는 발화자가 새로운 텍스트를 전달할 때 없었습니다. 
Zäske et al.21의 주장을 뒷받침하기 위해 이 연구는 ERP(Event-Related Potential) 분석에서 교육 세션과 테스트 세션 간의 언어 내용의 차이에도 불구하고 이전/새로운 효과가 여전히 관찰될 수 있다고 의심합니다. 이 이론적 근거는 다른 텍스트가 사용된 조건에서 Zäske et al.22에서 구/신 효과가 없는 것은 Lavan et al.23이 제안한 것처럼 철저하고 효과적인 정체성 학습을 보장하기 위해 훈련 과제 중에 추가 점검 세션이 부족했기 때문일 수 있다는 개념에서 비롯됩니다. 결과적으로 이 연구의 첫 번째 목표는 이 가설을 조사하고 검증하는 것입니다. 본 연구는 훈련-테스팅 패러다임22에 체크 세션(checking session)을 추가하여 이를 검증하는 것을 목표로 한다. 
이 연구가 다루고자 하는 또 다른 핵심 질문은 언어 운율이 있을 때 화자 식별의 견고성입니다. 이전의 행동 연구는 청취자가 서로 다른 운율에 걸쳐 화자를 인식하는 데 특히 어려움을 겪는다는 것을 시사했는데, 이는 운율 맥락의 조절적 역할, 즉 청취자는 다양한 훈련 테스트 운율 조건에서 저조한 성과를 보였습니다. 본 연구는 청자가 자신감 있는 또는 의심스런 운율에서 친숙한 화자를 인식하도록 노출시킴으로써 이를 검증하는 것을 목표로 한다24. 이 연구는 관찰된 ERP 차이가 음성 운율이 ID 인식에 미치는 영향을 설명하는 데 도움이 될 것으로 기대합니다. 
본 연구의 핵심 목적은 화자 인식에서 구/신 효과의 견고성을 조사하고, 특히 자신감 있는 운율과 의심스러운 운율에서 발화자를 인식하는 데 차이가 있는지 여부를 조사하는 것입니다. Xu와 Armony10은 훈련-테스트 패러다임을 사용하여 행동 연구를 수행했으며, 그들의 연구 결과는 청취자가 운율 차이를 극복할 수 없으며(예: 중립 운율에서 발화자를 인식하도록 훈련받은 후 두려운 운율에서 테스트) 확률 수준10 미만의 정확도만 달성할 수 있음을 시사합니다. 음향 분석에 따르면 다양한 감정 상태를 표현하는 스피커는 VTL/F0 변조와 관련이 있습니다. 예를 들어, 자신감 있는 운율은 VTL이 길어지고 F0가 낮아지는 것이 특징인 반면, 의심스런 운율11,24의 경우 그 반대입니다. 또 다른 증거는 Lavan et al.23의 연구에서 나온 것으로, 청취자는 화자의 VTL 및 F0 변화에 적응하고 화자의 평균 기반 표현을 형성할 수 있음을 확인했습니다. 이 연구는 행동 데이터 관점에서 청취자가 운율 전반에 걸쳐 화자의 정체성을 여전히 인식할 가능성이 있음을 조정합니다(예: 자신감 있는 운율에서 자신을 인식하도록 훈련받았지만 의심스러운 운율에서 테스트됨, 준비 중인 별도의 원고에 보고됨). 그러나 화자 식별의 신경 상관 관계, 특히 Zäske et al.22이 관찰한 이전/새로운 효과의 일반화 가능성은 여전히 불분명합니다. 따라서 현재 연구는 테스트를 위한 맥락으로 확신에 찬 운율과 의심스러운 운율에서 이전/새로운 효과의 견고성을 검증하는 데 전념하고 있습니다.
이 연구는 구/신 효과 연구에서 기존 연구 패러다임에서 벗어난 것을 소개합니다. 과거의 연구는 오래된/새로운 화자 인식이 인식에 미치는 영향에 초점을 맞췄지만, 이 연구는 패러다임에 두 가지 자신감 수준(확신 대 의심)을 통합함으로써 이를 확장했습니다(따라서 2+2 연구). 이를 통해 우리는 자신감 있고 의심스러운 언어 운율의 맥락에서 화자 인식을 조사할 수 있습니다. 이 패러다임은 이전/새로운 효과의 견고성을 탐구할 수 있게 해줍니다. 자신감 있는 음성 맥락과 의심스러운 음성 맥락 모두에서 기억 효과와 관심 영역(ROI)에 대한 분석은 이 조사의 증거로 사용됩니다. 
전체적으로, 이 연구는 1) 언어 내용이 동일하지 않고 2) 확신 대 의심 운율이 있는 경우에도 EEG 이전/새 효과의 확대된 LPC가 관찰 가능하다는 가설을 통해 음성 인식의 EEG 상관 관계에 대한 이해를 업데이트하는 것을 목표로 합니다. 본 연구는 3단계 패러다임을 통해 가설을 조사하였다. 첫째, 훈련 단계에서 참가자들은 세 가지 목소리와 그에 해당하는 이름 사이의 연관성을 확립했습니다. 그 후, 확인 단계에서 그들은 3명의 후보 중에서 선택한 음성에 해당하는 이름을 식별하는 임무를 맡았습니다. Lavan et al.23에 따른 이러한 점검은 훈련 단계와 테스트 단계의텍스트가 다를 때 관찰되지 않는 오래된 화자 친숙화(old speaker familiarization)가 불충분하고6, 발화자가 중립적이고 두려운 운율(prosodies)을 가로지르는 발화자를 인식할 수 없을 때 관찰되지 않는 오래된 화자에 대한 친숙함을 극복하는 것을 목표로 한다10. 마지막으로, 테스트 단계에서 참가자들은 두 가지 대안 강제 선택 과제에서 세 가지 기존 화자 목소리와 세 가지 새로운 화자 목소리를 구별했으며, 언어 운율은 자신감 있거나 의심스러운 것으로 제시되었습니다. EEG 데이터는 64채널 EEG 시스템을 사용하여 수집되었으며 분석 전에 전처리를 거쳤습니다. 통계 분석과 ERP(Event-related Potential) 분석은 RStudio에서 수행되었으며, MATLAB은 뇌 지형 분석에 활용되었습니다.
디자인 세부사항과 관련하여, 본 연구는 VTL과 관련이 있고 말하는 사람에 대한 인상에 영향을 미치는 화자의 키를 조절하는 화자 정체성 학습 실험을 제안한다23. 이러한 측면은 또한 인지된 지배력(perceived dominance)25과 같은 사회적 인상에 영향을 미치며, 이러한 높은 수준의 인상 형성은 화자 정체성(화자 정체성)26을 해독하는 것과 상호작용할 수 있다.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>64Ch Standard BrainCap for BrainAmp</td>
			<td>Easycap GmbH</td>
			<td>Steingrabenstrasse 14 DE-82211</td>
			<td>https://shop.easycap.de/products/64ch-standard-braincap</td>
		</tr>
		<tr>
			<td>Abrasive Electrolyte-Gel</td>
			<td>Easycap GmbH</td>
			<td>Abralyt 2000</td>
			<td>https://shop.easycap.de/products/abralyt-2000</td>
		</tr>
		<tr>
			<td>actiCHamp Plus</td>
			<td>Brain Products GmbH</td>
			<td>64 channels + 8 AUX</td>
			<td>https://www.brainproducts.com/solutions/actichamp/</td>
		</tr>
		<tr>
			<td>Audio Interface</td>
			<td>Native Instruments GmbH</td>
			<td>Komplete audio 6</td>
			<td>https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/</td>
		</tr>
		<tr>
			<td>Foam Eartips</td>
			<td>Neuronix</td>
			<td>ER3-14&#160;</td>
			<td>https://neuronix.ca/products/er3-14-foam-eartips</td>
		</tr>
		<tr>
			<td>Gel-based passive electrode system</td>
			<td>Brain Products GmbH</td>
			<td>BC 01453</td>
			<td>https://www.brainproducts.com/solutions/braincap/</td>
		</tr>
		<tr>
			<td>High-Viscosity Electrolyte Gel&#160;</td>
			<td>Easycap GmbH</td>
			<td>SuperVisc</td>
			<td>https://shop.easycap.de/products/supervisc</td>
		</tr>
	</tbody>
</table>

memorization-based training and testing paradigm for robust vocal identity recognition in expressive speech using event-related potentials analysis

음성 스트림에서 친숙한 화자를 인식하는 것은 인간의 언어 의사 소통의 기본 측면입니다. 그러나 청취자가 어떻게 표현 언어에서 화자의 정체성을 식별할 수 있는지는 여전히 불분명합니다. 이 연구는 암기 기반 개별 화자 정체성 인식 접근 방식과 수반되는 뇌파(EEG) 데이터 분석 파이프라인을 개발하여 청취자가 친숙한 화자를 인식하고 낯선 화자를 구별하는 방법을 모니터링합니다. EEG 데이터는 음성을 기반으로 새로운 화자와 기존 화자를 구분하는 동안 온라인 인지 과정을 캡처하여 뇌 활동을 실시간으로 측정하고 반응 시간 및 정확도 측정의 한계를 극복합니다. 패러다임은 세 단계로 구성됩니다 : 청취자는 세 가지 목소리와 그들의 이름 (훈련) 사이의 연관성을 설정합니다. 청취자는 세 명의 후보의 음성에 해당하는 이름을 나타냅니다(확인). 청취자는 두 가지 대안 강제 선택 작업(테스트)에서 세 가지 이전 화자 목소리와 세 가지 새로운 화자 목소리를 구별합니다. 테스트에서 언어 운율은 자신감이 있거나 의심스러웠습니다. EEG 데이터는 64채널 EEG 시스템을 사용하여 수집한 다음 전처리를 거쳐 ERP 및 통계 분석을 위한 RStudio와 뇌 지형학을 위한 MATLAB으로 가져왔습니다. 결과는 Pz의 400-850ms 창 및 두 프로소디의 다른 더 넓은 범위의 전극에서 새로운 토커 조건과 비교하여 올드 토커에서 확대된 후기 양성 성분(LPC)이 유도되었음을 보여주었습니다. 그러나 이전/새 효과는 의심스런 운율 인식을 위해 중앙 및 후방 전극에서 강력했던 반면, 전방, 중앙 및 후방 전극은 확신 있는 운율 상태를 위한 것입니다. 이 연구는 이 실험 설계가 다양한 시나리오(예: 혐기성 표현) 및 발성아증과 같은 환자의 병리에서 화자별 신호 결합 효과를 조사하기 위한 참고 자료 역할을 할 수 있음을 제안합니다.

Human vocal streams are rich in information, such as emotion1,2, health status3,4, biological sex5, age6, and, more importantly, the individual vocal identity7,8. Studies have suggested that human listeners have a robust capacity to recognize and differentiate their peers' identities through voices, overcoming within-speaker variations around speaker identity's average-based representation in the acoustic space9. Such variations are brought about by acoustic manipulation (fundamental frequency and vocal tract length, i.e., F0 and VTL) that corresponds to no clear pragmatic intentions9, emotion prosodies10, and vocal confidence that conveys speakers' feeling of knowing11. Behavioral experiments have focused on many factors that influence listeners' performance in recognizing the talkers, including language-related manipulations8,12,13, participants-related characteristics such as music experience or reading ability14,15, and stimuli-related adaptions like backward speech or nonwords16,17; more can be found in literature reviews18,19. A few recent experiments have investigated how individual variation of the speaker identity representation might undermine the recognition accuracy, considering aspects including high versus low emotional expressiveness16 and neutral versus fearful prosodies5; more possible scenarios open for further investigation, as suggested by a review20. 
For the first research gap, the study proposes that the neurological underpinnings of speaker identification have yet to fully explore how within-speaker variation challenges listeners' brain activities. For example, in an fMRI-based speaker recognition task by Z&#228;ske et al., participants' right posterior superior temporal gyrus (pSTG), right inferior/middle frontal gyrus (IFG/MFG), right medial frontal gyrus, and left caudate showed reduced activation when correctly identified as old versus new talkers, regardless of the linguistic content being the same or different21. However, an earlier electroencephalography (EEG) study by Z&#228;ske et al. did not observe this old/new effect when speaker identity variation was introduced through different texts22. Specifically, a larger, late positive component (LPC) ranging from 300 to 700 ms, detected at the Pz electrode when listeners encountered their familiar trained talker expressing the same text (i.e., hearing a replay with non-varied linguistic content), was absent when the talkers delivered new texts. 
In support of the assertion made by Z&#228;ske et al.21, this study suspects that an old/new effect can still be observed despite differences in linguistic content between training and testing sessions in event-related potential (ERP) analyses. This rationale stems from the notion that the absence of the old/new effect in Z&#228;ske et al.22, under conditions where different texts were used, may be attributed to the lack of an additional check session during the training task to ensure thorough and effective identity learning, as suggested by Lavan et al.23. Consequently, the first objective of the study is to examine and validate this hypothesis. This study aims to test this by adding a checking session to the training-testing paradigm22. 
Another key question this study aims to address is the robustness of speaker identification in the presence of speech prosody. Previous behavioral studies have suggested that listeners particularly struggle to recognize talkers across different prosodies, which indicates a modulatory role of prosodic context - listeners underperformed in the different training-testing prosody conditions. This study aims to test this by exposing listeners to recognize familiar talkers in either confident or doubtful prosodies24. This study expects that the observed ERP differences will help explain how speech prosody influences identity recognition. 
The core objective of the current study is to investigate the robustness of the old/new effect in speaker recognition, specifically examining whether there are differences in recognizing talkers in confident versus doubtful prosodies. Xu and Armony10 performed a behavioral study using a training-testing paradigm, and their findings suggest that listeners cannot overcome prosodic differences (e.g., trained to recognize a talker in neutral prosody and tested on fearful prosody) and can only achieve accuracy lower than chance level10. Acoustic analysis indicates that speakers expressing varied emotive states are associated with VTL/F0 modulation; for example, confident prosody is characterized by lengthened VTL and lower F0, whereas the opposite is true for doubtful prosody11,24. Another piece of evidence comes from the study by Lavan et al.23, which confirmed that listeners can adapt to VTL and F0 changes of the speaker and form average-based representations of the talkers. This study reconciles that, from a behavioral data perspective, listeners are likely to still recognize the talker's identity across prosodies (e.g., trained to recognize one in confident prosody but tested in doubtful prosody; reported in a separate manuscript in preparation). Yet, the neural correlates of speaker identification, specifically the generalizability of the old/new effect observed by Z&#228;ske et al.22, remain unclear. Hence, the current study is committed to validating the robustness of the old/new effect in confident versus doubtful prosodies as contexts for testing. 
The study introduces a departure from previous research paradigms in old/new effects studies. While past research focused on how old/new talker recognition influences perception, this study extends this by incorporating two confidence levels (confident versus doubtful) into the paradigm (thus, a 2+2 study). This allows us to investigate speaker recognition within the contexts of confident and doubtful speech prosodies. The paradigm enables the exploration of the robustness of old/new effects. The analyses of memory effects and regions of interest (ROI) within both confident and doubtful speech contexts serve as evidence for this investigation. 
Altogether, the study aims to update the understanding of the EEG correlates of voice recognition, with the hypotheses that the enlarged LPC of the EEG old/new effect is observable even when 1) the linguistic content is not the same, and 2) with the presence of confident versus doubtful prosody. This study investigated the hypotheses through a three-step paradigm. Firstly, during the training phase, participants established associations between three voices and their corresponding names. Subsequently, in the checking phase, they were tasked with identifying the name corresponding to a voice from a selection of three candidates. This checking, following Lavan et al.23, aims to overcome insufficient old speaker familiarization, which led to the unobserved old/new effect when the text in the training and testing phases differed6, and talkers could not recognize talkers across neutral and fearful prosodies10. Finally, in the testing phase, participants distinguished between three old and three new speaker voices in a two-alternative forced-choice task, with speech prosody presented as either confident or doubtful. EEG data were collected using a 64-channel EEG system and underwent preprocessing before analysis. Statistical analysis and event-related potential (ERP) analysis were conducted in RStudio, while MATLAB was utilized for brain topography analysis.
Regarding design details, this study proposes a speaker identity learning experiment that controls for the talker's height, which is related to VTL and influences impressions of who is talking23. This aspect also influences social impressions, such as perceived dominance25, and such higher-level impression formation might interact with decoding speaker identity26.

저자 스포트라이트: Investigating the Impact of Emotional Prosodies on Voice Recognition and Perception

이벤트 관련 전위 분석을 사용하여 표현 음성에서 강력한 음성 정체성 인식을 위한 암기 기반 교육 및 테스트 패러다임

For over 50 years, scientists have been intrigued by how we recognize voices. Our recent study explores how emotional prosodies affect this process. Despite differences in prosodies, we found that the overall old-new effect is robust, indicating that our brains consistently distinguish familiar and unfamiliar voices.Current experimental challenges in speaker identification arise from the commonly used training testing paradigm in the past, which is not suitable for studying detailed variables affecting speaker identity processing. Ensuring that the training is thorough and effective is crucial to address this challenge. Our fundings reveal that while the LPC, or the old-new effect, shows differences between confident and doubtful processes, it remains robust overall.Our paradigm is well suited for investigating the processing of familiar and unfamiliar objects with internal variations. My lab focuses on voice perception, including how pragmatically marked emotions are expressed and perceived and how vocal information has an impact on listeners. We use EEGs and fMRI to measure these factors with a key focus on social factors such as accent or whether the talker is AI.This study on JoVE supports our future research in these areas.

고전적인 구/신 효과는 테스트 세션의 음성 내용이 훈련 세션의 내용과 일치할 때, 특히 새로운 발화자 조건(22)과 비교하여 이전 발화자 조건에서 Pz 전극(300 내지 700ms 사이)에서 청취자의 뇌 활동이 크게 증가하는 것이 특징이다. 이 프로토콜은 이 효과의 업데이트된 버전을 공개합니다: 첫째, 400에서 850ms 사이의 새로운 발화자 상태와 비교하여 이전 상태에 대한 Pz 전극과 전체 ?...

이 연구는 확신에 차고 의심스런 운율 시나리오에서 이벤트 관련 잠재력의 오래된/새로운 효과를 조사하기 위한 훈련-테스트 패러다임을 소개합니다. 데이터는 Pz 및 기타 전극에서 400-850ms 사이의 향상된 후기 양성 성분을 보여줍니다. 이 파이프라인은 음성 운율 이상의 요인과 신호 바인딩 대상 식별에 미치는 영향을 탐색할 수 있습니다.

Recognizing familiar speakers from vocal streams is a fundamental aspect of human verbal communication. However, it remains unclear how listeners can ...

memorization-based-training-testing-paradigm-for-robust-vocal

Research

JoVE Journal

Behavior

Memorization-Based Training and Testing Paradigm for Robust Vocal Identity Recognition in Expressive Speech Using Event-Related Potentials Analysis

617 조회수.  Shanghai International Studies University. 50년 넘게 과학자들은 우리가 목소리를 인식하는 방식에 흥미를 느껴 왔습니다. 우리의 최근 연구는 감정적 운율이 이 과정에 어떻게 영향을 미치는지 탐구한다. 운율의 차이에도 불구하고 우리는 전반적인 오래된 것과 새로운 것 효과가 강하다는 것을 발견했으며, 이는 우리의 뇌가 익숙한 목소리와 익숙하지 않은 목소리를 일관되게 구별한다는 것...

비디오: 저자 스포트라이트: Investigating the Impact of Emotional Prosodies on Voice Recognition and Perception

Recognizing familiar speakers from vocal streams is a fundamental aspect of human verbal communication. However, it remains unclear how listeners can still discern the speaker's identity in expressive speech. This study develops a memorization-based individual speaker identity recognition approach and an accompanying electroencephalogram (EEG) data analysis pipeline, which monitors how listeners recognize familiar speakers and tell unfamiliar ones apart. EEG data captures online cognitive processes during new versus old speaker distinction based on voice, offering a real-time measure of brain activity, overcoming limits of reaction times and accuracy measurements. The paradigm comprises three steps: listeners establish associations between three voices and their names (training); listeners indicate the name corresponding to a voice from three candidates (checking); listeners distinguish between three old and three new speaker voices in a two-alternative forced-choice task (testing). The speech prosody in testing was either confident or doubtful. EEG data were collected using a 64-channel EEG system, followed by preprocessing and imported into RStudio for ERP and statistical analysis and MATLAB for brain topography. Results showed an enlarged late positive component (LPC) was elicited in the old-talker compared to the new-talker condition in the 400-850 ms window in the Pz and other wider range of electrodes in both prosodies. Yet, the old/new effect was robust in central and posterior electrodes for doubtful prosody perception, whereas the anterior, central, and posterior electrodes are for confident prosody condition. This study proposes that this experiment design can serve as a reference for investigating speaker-specific cue-binding effects in various scenarios (e.g., anaphoric expression) and pathologies in patients like phonagnosia.

The study introduces a training-testing paradigm to investigate old/new effects of event-related potentials in confident and doubtful prosodic scenarios. Data reveals an enhanced late positive component between 400-850 ms at Pz and other electrodes. This pipeline can explore factors beyond speech prosody and their influence on cue-binding target identification.

연구

행동분석학

Preparing the Venue and Participants for Electroencephalography (EEG)

To begin, assign participant IDs and ask participants to wash and dry their hair within one hour before participating in the experiment. Mix the electrolyte gel and abrasive electrolyte gel in a one-to-three ratio, adding a small amount of water. Stir the mixture evenly in a container with a spoon.Prepare fine-tipped cotton swabs and a dry EEG cap. Now ask the participant to sit comfortably in a chair and inform them that the experimenter will apply the EEG cap. Provide the participant with instructions about the experimental tasks and an informed consent form for the experiment.Obtain the participant's signature before proceeding with the preparation phase. Next, connect the EEG cap to the amplifier, which in turn connects to the EEG data acquisition computer. Use an additional monitor to check the color indicators on the 64 electrodes, as this study uses a passive cap.Open BrainVision Recorder and import a customized workspace file that has defined the recording parameters. Click on Monitor to check the impedance. Ask the participant to sit upright in a chair.Select an appropriately sized gel-based passive electrode system for the participant's head. Now dip a disposable cotton swab into the conductive paste and apply it to the holes of the cap, making sure to rub against the participant's scalp. An electrode's corresponding indicator turning green on the EEG data collection computer signifies that it is successfully collecting optimal data.Once the indicative color for all electrodes on the screen except for the two independent sided electrodes turn green, apply the side electrodes to attach the left electrode near the participant's left eye and the right electrode near the right temple. Once all electrodes are green, place an elastic net over the participant's head to help the EEG cap fit more securely and stably against the participant's head. Then equip the participant with wired headphones.Close the electromagnetic shielding door and guide the participant's actions through a microphone that allows communication inside and outside. Additionally, monitor the participant's movements through an external monitor, reminding them not to move their body significantly. Also, monitor the participant's progress in behavioral tasks through a behavioral data monitor.Ask the participant to wear earphones connected to the behavioral collection computer through an audio interface.

뇌파 검사(EEG)를 위한 장소 및 참가자 준비

Performing the Encephalography Experiment Block-by-Block Independently

To begin, create a new EEG recording file on the EEG data collection computer. Open brain vision recorder and click on monitor to double check the impedance followed by stat or resume recording. Open the PsychoPy program's run experiment for the behavioral experiment.Enter the participant's ID and the corresponding block number and click okay to start the experiment. Closely monitor the accuracy of data reported on the screen after the participant completes the check phase on the behavioral data computer. Pay close attention to the final reported accuracy of old versus new recognition.After the participant has completed all blocks, invite them to wash their hair. To clean the EEG cap, remove the residual conductive paste with a toothbrush and wrap them in plastic bags. Once cleaned, hang the EEG cap in a well-ventilated area to dry.Copy the EEG and behavioral data onto a portable hard drive, ensuring that the EEG data and behavioral data correspond.