Основанная на запоминании парадигма обучения и тестирования для надежного распознавания вокальной идентичности в экспрессивной речи с использованием анализа потенциалов, связанных с событиями

Summary

В исследовании представлена парадигма обучения-тестирования для изучения старых/новых эффектов потенциалов, связанных с событиями, в уверенных и сомнительных просодических сценариях. Данные показывают усиленный поздний положительный компонент между 400-850 мс на Pz и других электродах. Этот конвейер может исследовать факторы, выходящие за рамки речевой просодии, и их влияние на идентификацию мишени.

Abstract

Узнавание знакомых говорящих из голосовых потоков является фундаментальным аспектом вербальной коммуникации человека. Тем не менее, остается неясным, как слушатели все еще могут различить личность говорящего в экспрессивной речи. В этом исследовании разрабатывается основанный на запоминании подход к распознаванию личности индивидуального говорящего и сопутствующий конвейер анализа данных электроэнцефалограммы (ЭЭГ), который отслеживает, как слушатели узнают знакомых говорящих и различают незнакомых. Данные ЭЭГ фиксируют когнитивные процессы в режиме онлайн во время различения новых и старых говорящих на основе голоса, предлагая измерение активности мозга в режиме реального времени, преодолевая ограничения времени реакции и точных измерений. Парадигма состоит из трех этапов: слушатели устанавливают ассоциации между тремя голосами и их именами (обучение); слушатели указывают имя, соответствующее голосу, из трех кандидатов (проверка); Слушатели различают три старых и три новых голоса говорящих в задаче с двумя альтернативами с принудительным выбором (тестирование). Голосовая просодия при тестировании была либо уверенной, либо сомнительной. Данные ЭЭГ были собраны с помощью 64-канальной системы ЭЭГ с последующей предварительной обработкой и импортированы в RStudio для ERP и статистического анализа и MATLAB для топографии мозга. Результаты показали, что у староговорящего человека был вызван увеличенный поздний положительный компонент (LPC) по сравнению с состоянием новоговорящего в окне 400-850 мс в Pz и других более широком диапазоне электродов в обоих просодиях. Тем не менее, старый/новый эффект был устойчивым в центральном и заднем электродах для сомнительного восприятия просодии, в то время как передний, центральный и задний электроды обеспечивают уверенное состояние просодии. Данное исследование предполагает, что этот дизайн эксперимента может служить эталоном для изучения специфичных для говорящего эффектов связывания сигналов в различных сценариях (например, анафорическая экспрессия) и патологий у пациентов, таких как фонагнозия.

Introduction

Человеческие голосовые потоки богаты информацией, такой как эмоции ^1,2, состояние здоровья ^3,4, биологический пол⁵, возраст⁶ и, что более важно, индивидуальная голосовая идентичность ^7,8. Исследования показали, что слушатели-люди обладают устойчивой способностью узнавать и дифференцировать идентичность своих сверстников с помощью голосов, преодолевая внутриговорящие вариации вокруг среднего представления идентичности говорящего в акустическом прос....

Protocol

Комитет по этике Института лингвистики Шанхайского университета международных исследований одобрил описанную ниже схему эксперимента. Для участия в этом исследовании было получено информированное согласие всех участников.

1. Подготовка и валидация аудиотеки

Discussion

В исследовании представлен конвейер для сбора и анализа данных ЭЭГ, уделяя особое внимание распознаванию ранее изученных идентичностей говорящих. В этом исследовании рассматриваются различия между фазами обучения и узнавания, в том числе различия в содержании речи²² и

Materials

Name	Company	Catalog Number	Comments
64Ch Standard BrainCap for BrainAmp	Easycap GmbH	Steingrabenstrasse 14 DE-82211	https://shop.easycap.de/products/64ch-standard-braincap
Abrasive Electrolyte-Gel	Easycap GmbH	Abralyt 2000	https://shop.easycap.de/products/abralyt-2000
actiCHamp Plus	Brain Products GmbH	64 channels + 8 AUX	https://www.brainproducts.com/solutions/actichamp/
Audio Interface	Native Instruments GmbH	Komplete audio 6	https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/
Foam Eartips	Neuronix	ER3-14	https://neuronix.ca/products/er3-14-foam-eartips
Gel-based passive electrode system	Brain Products GmbH	BC 01453	https://www.brainproducts.com/solutions/braincap/
High-Viscosity Electrolyte Gel	Easycap GmbH	SuperVisc	https://shop.easycap.de/products/supervisc