Sign In

A subscription to JoVE is required to view this content. Sign in or start your free trial.

In This Article

  • Summary
  • Abstract
  • Introduction
  • Protocol
  • Representative Results
  • Discussion
  • Acknowledgements
  • Materials
  • References
  • Reprints and Permissions

Summary

В исследовании представлена парадигма обучения-тестирования для изучения старых/новых эффектов потенциалов, связанных с событиями, в уверенных и сомнительных просодических сценариях. Данные показывают усиленный поздний положительный компонент между 400-850 мс на Pz и других электродах. Этот конвейер может исследовать факторы, выходящие за рамки речевой просодии, и их влияние на идентификацию мишени.

Abstract

Узнавание знакомых говорящих из голосовых потоков является фундаментальным аспектом вербальной коммуникации человека. Тем не менее, остается неясным, как слушатели все еще могут различить личность говорящего в экспрессивной речи. В этом исследовании разрабатывается основанный на запоминании подход к распознаванию личности индивидуального говорящего и сопутствующий конвейер анализа данных электроэнцефалограммы (ЭЭГ), который отслеживает, как слушатели узнают знакомых говорящих и различают незнакомых. Данные ЭЭГ фиксируют когнитивные процессы в режиме онлайн во время различения новых и старых говорящих на основе голоса, предлагая измерение активности мозга в режиме реального времени, преодолевая ограничения времени реакции и точных измерений. Парадигма состоит из трех этапов: слушатели устанавливают ассоциации между тремя голосами и их именами (обучение); слушатели указывают имя, соответствующее голосу, из трех кандидатов (проверка); Слушатели различают три старых и три новых голоса говорящих в задаче с двумя альтернативами с принудительным выбором (тестирование). Голосовая просодия при тестировании была либо уверенной, либо сомнительной. Данные ЭЭГ были собраны с помощью 64-канальной системы ЭЭГ с последующей предварительной обработкой и импортированы в RStudio для ERP и статистического анализа и MATLAB для топографии мозга. Результаты показали, что у староговорящего человека был вызван увеличенный поздний положительный компонент (LPC) по сравнению с состоянием новоговорящего в окне 400-850 мс в Pz и других более широком диапазоне электродов в обоих просодиях. Тем не менее, старый/новый эффект был устойчивым в центральном и заднем электродах для сомнительного восприятия просодии, в то время как передний, центральный и задний электроды обеспечивают уверенное состояние просодии. Данное исследование предполагает, что этот дизайн эксперимента может служить эталоном для изучения специфичных для говорящего эффектов связывания сигналов в различных сценариях (например, анафорическая экспрессия) и патологий у пациентов, таких как фонагнозия.

Introduction

Человеческие голосовые потоки богаты информацией, такой как эмоции 1,2, состояние здоровья 3,4, биологический пол5, возраст6 и, что более важно, индивидуальная голосовая идентичность 7,8. Исследования показали, что слушатели-люди обладают устойчивой способностью узнавать и дифференцировать идентичность своих сверстников с помощью голосов, преодолевая внутриговорящие вариации вокруг среднего представления идентичности говорящего в акустическом прос....

Protocol

Комитет по этике Института лингвистики Шанхайского университета международных исследований одобрил описанную ниже схему эксперимента. Для участия в этом исследовании было получено информированное согласие всех участников.

1. Подготовка и валидация аудиотеки

Representative Results

Классический эффект «старый/новый» характеризуется значительным увеличением мозговой активности слушателей на Pz-электроде (от 300 до 700 мс), когда содержание речи в тестовой сессии совпадает с речевым во время учебной сессии, особенно в состоянии старого говорящего по сравнению с новым .......

Discussion

В исследовании представлен конвейер для сбора и анализа данных ЭЭГ, уделяя особое внимание распознаванию ранее изученных идентичностей говорящих. В этом исследовании рассматриваются различия между фазами обучения и узнавания, в том числе различия в содержании речи22 и

Acknowledgements

Работа выполнена при поддержке Фонда естественных наук Китая (грант No 31971037); программа «Шугуан» при поддержке Шанхайского фонда развития образования и Шанхайского муниципального комитета по образованию (грант No 20SG31); Шанхайский фонд естественных наук (22ZR1460200); Программа ориентации супервайзеров Шанхайского университета международных исследований (2022113001); и Крупная программа Национального фонда социальных наук Китая (грант No 18ZDA293).

....

Materials

NameCompanyCatalog NumberComments
64Ch Standard BrainCap for BrainAmpEasycap GmbHSteingrabenstrasse 14 DE-82211https://shop.easycap.de/products/64ch-standard-braincap
Abrasive Electrolyte-GelEasycap GmbHAbralyt 2000https://shop.easycap.de/products/abralyt-2000
actiCHamp PlusBrain Products GmbH64 channels + 8 AUXhttps://www.brainproducts.com/solutions/actichamp/
Audio InterfaceNative Instruments GmbHKomplete audio 6https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/
Foam EartipsNeuronixER3-14 https://neuronix.ca/products/er3-14-foam-eartips
Gel-based passive electrode systemBrain Products GmbHBC 01453https://www.brainproducts.com/solutions/braincap/
High-Viscosity Electrolyte Gel Easycap GmbHSuperVischttps://shop.easycap.de/products/supervisc

References

  1. Larrouy-Maestri, P., Poeppel, D., Pell, M. D. The sound of emotional prosody: Nearly 3 decades of research and future directions. Perspect Psychol Sci. , 17456916231217722 (2024).
  2. Pell, M. D., Kotz, S. A. Comment:....

Explore More Articles

210

This article has been published

Video Coming Soon

JoVE Logo

Privacy

Terms of Use

Policies

Research

Education

ABOUT JoVE

Copyright © 2025 MyJoVE Corporation. All rights reserved