Изучение воспроизведения жестов в условиях проблем коммуникации

Резюме

В этой статье мы представляем протокол, который манипулирует видимостью собеседника для изучения его влияния на производство жестов в межличностном общении. Этот протокол является гибким в зависимости от выполняемых задач, проверяемых жестов и модальностей связи. Он идеально подходит для групп населения с коммуникативными проблемами, таких как изучающие второй язык и люди с расстройствами аутистического спектра.

Аннотация

Понимание того, почему говорящие изменяют жесты рук при разговоре с собеседниками, дает ценную информацию о том, как эти жесты способствуют межличностному общению в личном и виртуальном контекстах. Существующие протоколы манипулируют видимостью говорящих и их собеседников в тандеме в контексте лицом к лицу, чтобы изучить влияние видимости на создание жестов при сложной коммуникации. В этих протоколах говорящие выполняют такие задачи, как разучивание слов с незнакомого второго языка или рассказ о событиях мультяшных виньеток собеседнику, который является либо другим участником, либо сообщником. При выполнении этих задач выступающие являются видимыми или невидимыми для своего собеседника, а говорящий – видимым или невидимым для участника. В задаче на изучение слова говорящие и собеседники, видимые друг другу, производят больше репрезентативных жестов, которые передают смысл через форму руки и движение, а также дейктических (указывающих) жестов, чем говорящие и собеседники, которые не видны друг другу. В протоколе нарративного пересказа подростки с расстройством аутистического спектра (РАС) делали больше жестов при разговоре с видимыми собеседниками, чем с невидимыми собеседниками. Основным преимуществом текущего протокола является его гибкость с точки зрения изучаемых задач, популяций и жестов, а также текущий протокол может быть реализован как в видеоконференциях, так и в личных контекстах. Таким образом, текущий протокол имеет потенциал для улучшения понимания производства жестов, выясняя его роль в межличностной коммуникации в популяциях с коммуникативными проблемами.

Введение

Жесты совместной речи (ранее жесты) - осмысленные движения рук, производимые одновременно с речью, - способствуют межличностному общению, передавая информацию, дополняющую вербальное содержание¹. Согласно наиболее широко используемой таксономии ^2,3, жесты можно разделить на три категории: репрезентативные жесты, которые передают референты через их форму и движение (например, взмахи руками вперед и назад для передачи полета); жесты бита, которые передают акцент с помощью простых точечных движений (например, перемещение доминирующей руки немного вниз в сочетании с каждым словом во фразе «прямо сейчас»); и дейктические жесты, которые привлекают внимание к присутствию или отсутствию объекта с помощью указания (например, поворот большого пальца назад, чтобы указать на что-то позади себя). Репрезентативные жесты можно разделить на две дополнительные категории: иконические жесты, которые передают конкретные референты (например, птицу), и метафорические жесты, которые передают метафорические референты (например, экстаз). Поскольку жест и речь возникают из одного и того же концептуального содержания, они тесно связаны по смыслу ^4,5. Выступая в качестве знакового визуального средства коммуникации, жесты могут помочь компенсировать возникающие проблемы с пониманием устной речи⁶, будь то из-за индивидуальных факторов, таких как ограниченное владение языком, на котором говорят ^7,8, или факторов окружающей среды, таких как трудности с восприятием речи ^9,10. Таким образом, жесты являются неотъемлемой частью понимания межличностного общения в личном и виртуальном контекстах, обеспечивая понимание того, как говорящие и слушатели передают и понимают информацию мультимодально.

Было разработано несколько структурированных интерактивных заданий для измерения того, как жест влияет на межличностное общение. Эти задания включают в себя интервью, в которых участники отвечают на вопросы, описывая свой личный опыт^11,12; описание изображения, в котором участникам представлено статическое изображение для описания^13,14; решение головоломок, в котором участники описывают, как решить головоломку путем правильной пространственной ориентации компонентов^15,16; предоставление указаний, в котором участникам дается указание указать направление в незнакомое для слушателей место 17,18,19; и повествовательный пересказ, в котором участники смотрят мультфильм, изображающий последовательность событий, а затем пересказывают их 20,21,22. Многие из задач, использованных в вышеупомянутых исследованиях, включают пространственное содержание и действие, которое с особой эффективностью передает жест 15,23,24,25. В заданиях для упомянутых выше исследований участники обычно произносят жесты в сочетании с языком, а также оценивается информация, передаваемая с помощью жестов, и ее связь с одновременно производимым языком. В качестве альтернативы участники могут просмотреть запись того, как кто-то жестикулирует (или не жестикулирует) и произносит речь при выполнении одного из этих заданий, после чего оценивается понимание участников. Все эти задачи могут выполняться как виртуально, так и лично, что позволяет собирать данные от широкого круга участников и сравнивать их между методами.

Влияние жестов на межличностное общение было реализовано с участием широкого круга участников. Особый интерес вызвали группы населения с коммуникативными проблемами, в том числе дети^{младшего возраста} 26,27,28,29,30, пользователи второго языка (L2) ^8,31,32,33, лица с расстройствами аутистического спектра (РАС)^20,21,22,34, лица со специфическими особенностями Нарушения речи 35,36,37, лица с афазией ^12,38, лица с черепно-мозговой травмой³⁹ и лица с заиканием^40,41. Эта работа показала, что, хотя многие из этих групп населения могут использовать жесты для облегчения общения, некоторые, такие как люди с расстройством аутистического спектра, могут столкнуться с трудностями при использовании жестов для эффективного общения. Полученные данные свидетельствуют о том, что это может быть связано с тем, в какой степени эти группы населения принимают во внимание дизайн аудитории и сигналы окружающей среды, подчеркивая практические последствия этих объяснений для влияния жестов на коммуникацию.

Ключевой особенностью, позволяющей получить представление о влиянии жестов на межличностное общение, является видимость собеседника. Вопрос, имеющий большое значение в области исследования жестов, заключается в том, в какой степени участники жестикулируют для собственной выгоды, указывая на разгрузку когнитивных операций на тело, по сравнению с пользой для своих собеседников, указывающей на использование жеста для общения. Этот вопрос был исследован путем изучения влияния (не)видимости собеседника на воспроизведение жестов в контекстах лицом к лицу посредством использования непрозрачной перегородки^26,42, а также в телефонных контекстах¹³ и виртуальных контекстах⁴³. В целом, результаты этой работы показывают, что, хотя говорящие жестикулируют в своих интересах, они производят больше репрезентативных жестов при общении с видимыми, чем с невидимыми собеседниками, в то время как производство жестов ритма одинаково независимо от видимости собеседника. Таким образом, они предполагают, что репрезентативный жест облегчает коммуникацию в различных контекстах, предполагая, что говорящие учитывают точку зрения своих собеседников и соответствующим образом модифицируют свои жесты. Несмотря на то, что предыдущее исследование, изучающее влияние видимости собеседника, сыграло важную роль в понимании вклада жестов в межличностную коммуникацию, оно было сосредоточено на английском как первом языке (L1) в типично развивающихся популяциях, поэтому неясно, можно ли распространить полученные результаты на группы населения с коммуникативными проблемами. Две такие группы — это учащиеся L2, которые могут испытывать трудности с общением с помощью речи на изучаемом языке, и дети с РАС, чьи вербальные и невербальные коммуникации являются ненормальными. Кроме того, в немногих исследованиях изучалось влияние видимости собеседника на производство жестов в виртуальных контекстах, которые позволяют отделить влияние видимости собеседника на участника от эффекта видимости участника для собеседника, поэтому воспроизводимость результатов из этих контекстов в настоящее время неясна. Наконец, некоторые исследования были сосредоточены на влиянии видимости собеседника на производство конкретных типов жестов, поэтому неясно, влияет ли видимость собеседника на производство других типов жестов аналогичным образом.

Описанные ниже протоколы манипулируют видимостью собеседника для изучения воспроизведения жестов в сложных обстоятельствах: заучивание слов L2 и пересказ повествования людьми с РАС. Протокол изучения слов L2 объединяет исследования, изучающие влияние наблюдения за жестами на обучение слову L2, с исследованиями, изучающими вклад жестов в коммуникацию через интерактивную парадигму изучения слов. В этой парадигме участники, незнакомые с целевым языком, изучают слова на нем, а затем обучают этим словам других участников, незнакомых с изучаемым языком, что позволяет изучить влияние видимости собеседника на производство жестов на самых ранних стадиях усвоения L2 в разговорном контексте. Парадигма пересказа мультфильмов использует широко используемую задачу нарративного пересказа, в которой наблюдаются различия в воспроизведении жестов при манипулировании видимостью собеседника с новой популяцией: подростками с РАС. Эта популяция представляет интерес, потому что языковое развитие, включая производство жестов, созревает к подростковому возрасту, а РАС влечет за собой трудности с вербальной и невербальной коммуникацией, включая жесты, а также с недостаточной чувствительностью к коммуникативным потребностям собеседников. Вместе эти протоколы дают представление о том, в какой степени производство жестов зависит от речи и, наоборот, может компенсировать ее, когда межличностное общение затруднено.

Основываясь на выводах, демонстрирующих, как видимость слушателя влияет на воспроизведение жестов носителями английского языка L1 13,26,42,43, было высказано предположение, что участники будут производить больше общих жестов и больше репрезентативных жестов при обсуждении слов L2 с видимым, чем невидимым собеседником. Основываясь на результатах, демонстрирующих аномалии в производстве жестов при РАС^20,44, была выдвинута гипотеза о том, что подростки с РАС будут производить меньше общих жестов, а также меньше репрезентативных и дейктических жестов, чем типично развивающиеся подростки. Более того, основываясь на результатах^, показывающих, что РАС влечет за собой трудности с восприятием перспективы, была выдвинута гипотеза о том, что производство жестов подростками с РАС не будет существенно отличаться в присутствии видимых и невидимых собеседников. Наконец, было предсказано взаимодействие между диагнозом и видимостью, таким образом, что производство жестов не будет отличаться по видимости у подростков с РАС, но будет отличаться от видимости у подростков с ТД.

Access restricted. Please log in or start a trial to view this content.

протокол

Все участники дали письменное согласие, а все протоколы были утверждены институциональными наблюдательными советами принимающего учреждения. Протоколы заучивания слов L2 и пересказа мультфильмов были реализованы в исследованиях, на которых основаны репрезентативные результаты^21,33. Несмотря на то, что до настоящего времени эти протоколы проводились только в очном контексте, в настоящее время проводится соответствующий протокол, манипулирующий видимостью собеседника и участника независимо друг от друга, не описанный здесь, чтобы обеспечить понимание воспроизводимости в этом контексте, с планами его распространения на группы населения с проблемами коммуникации, такие как люди с РАС.

1. Участники

ПРИМЕЧАНИЕ: При соблюдении необходимых ограничений по характеристикам участников для каждого исследования, выборки должны быть репрезентативными для более широкой популяции, насколько это возможно.

1. Набор участников для протокола изучения L2 word
   1. Наберите участников в возрасте 18 лет и старше с нормальным или скорректированным к нормальному зрению и нормальным слухом, которые являются носителями английского языка L1. Чтобы убедиться в том, что в исследовании изучается влияние жестов на начальную стадию усвоения L2 слов, набирают участников без какого-либо знания венгерского языка, изучаемого языка.
2. Набор участников для протокола пересказа мультфильмов
   1. Набирайте участников в возрасте, способном выполнить экспериментальную задачу (10-20 лет в Morett et ^al.21.) с диагнозом РАС или типично развивающимися (ТД).
      1. Чтобы убедиться в том, что участники смогут успешно выполнить экспериментальное задание, наберите участников, которые являются носителями английского языка L1, имеют нормальное или скорректированное до нормального зрение и нормальный слух, а также имеют полный IQ 85 или выше, измеренный до или во время исследования с помощью стандартизированной^{оценки.}
      2. Чтобы убедиться, что в исследовании изучается специфическое влияние РАС на производство жестов, наберите участников с РАС без эпилепсии, менингита, энцефалита, диабета, детского дезинтегративного расстройства или первазивного расстройства развития (PDD-NOS).
      3. Чтобы убедиться, что генерация жестов при РАС может быть сравнена с типичной стимуляцией жестов, наберите участников с ТД без сопутствующих психических расстройств или родственников первой степени родства с диагнозом первазивных нарушений развития.

2. Обзор манипуляций с видимостью

1. Набирайте участников в пары, если будут изучены эффекты производства и наблюдения за спонтанными жестами, как в протоколе изучения слов L2. Набирайте участников индивидуально в координации с научным сотрудником, выступающим в качестве участника, если будут изучены только эффекты производства спонтанных жестов, как в протоколе пересказа мультфильмов.
2. Предоставьте участникам форму информированного согласия с информацией об исследовании, чтобы они могли подписать его и ответить на любые вопросы о нем, стараясь не раскрывать направленность исследования на производство жестов. Соберите бланк после того, как участники его подпишут.
3. Для участников, набранных в пары, используйте метод отбора, такой как подбрасывание монеты, чтобы определить, кто из участников будет выступать в качестве оратора, кто будет говорить большую часть времени в экспериментальном задании, а кто будет выступать в качестве собеседника, кто будет больше всего слушать и время от времени взаимодействовать с говорящим в экспериментальном задании. Для участников, набираемых индивидуально с научным сотрудником, действующим в качестве участника, используйте фиксированный метод отбора, такой как подбрасывание монеты, чтобы гарантировать, что участник всегда выступает в качестве оратора, а научный сотрудник всегда выступает в качестве собеседника.
4. В половине экспериментальных сеансов установите непрозрачную перегородку между говорящим и собеседником, чтобы они не могли видеть лицо или руки друг друга.
5. Объясните участникам, что они будут делать в экспериментальном задании и ответьте на любые вопросы по нему. Сообщите участникам, что их речь будет записана на аудио, указав на микрофон, используемый для этой цели. Чтобы избежать влияния осведомленности о видеозаписи на воспроизведение жестов, не сообщайте участникам о том, что они будут записываться на видео, и следите за тем, чтобы видеокамера, используемая для этой цели, не была видна участникам.
6. Начните запись видео и аудио нажатием соответствующих кнопок. Выполните экспериментальную задачу, чтобы добиться речи и жестов от говорящего и участвующего собеседника, если таковые имеются.
7. Если используется дизайн для внутренних участников, удалите непрозрачный разделитель, если он использовался в первой итерации, или поместите его между говорящим и собеседником, если он не использовался в первой итерации.
8. Повторяйте экспериментальное задание по мере необходимости, пока не будут исчерпаны все стимулы.
9. Остановите запись видео и аудио нажатием соответствующих кнопок. Сообщите участникам, что основное внимание в исследовании уделялось жестам и что они были записаны на видео, и при желании предложите удалить их видео перед анализом данных.
10. Ответьте на любые вопросы участников и поблагодарите их за участие, прежде чем отмахнуться от них.

3. Протокол изучения слов L2

1. Видео и аудио записывают говорящего и собеседника, чтобы впоследствии можно было проанализировать произнесение речи и жестов во время экспериментальной задачи.
   1. Поместите настольный микрофон между динамиком и собеседником для записи звука. Разместите видеокамеру сбоку между говорящим и собеседником под углом 90° и убедитесь, что она не видна участникам.
   2. Кроме того, убедитесь, что и говорящий, и собеседник находятся в поле зрения видеокамеры и что экран компьютера не виден в поле зрения видеокамеры, чтобы сохранить слепоту к условиям, в которых слова L2 представлены в анализе.
2. Используя компьютер, покажите слово L2 с целевого языка на слух говорящему через наушники, чтобы убедиться, что оно неслышно собеседнику, чтобы говорящий мог впоследствии научить его собеседнику. В то же время покажите говорящему либо видео, на котором носитель языка L1 произносит слово L2 и делает репрезентативный жест, передающий его значение с помощью текста слова L2 в нижней части экрана, либо слово L2 в виде текста в центре экрана без видео.
3. После паузы в 500 мс предъявите говорящему перевод L1 слова L2 в виде текста в центре экрана в течение 2000 мс.
4. Попросите объясняющего объяснить собеседнику слово L2 и его значение с помощью речи и/или жестов.
5. Попросите динамик нажать кнопку, чтобы продолжить, когда все будет готово. После того, как говорящий это сделает, произнесите еще одно слово L2. Повторяйте этот процесс до тех пор, пока все 20 слов L2 не будут представлены в случайном порядке.
6. По отдельности проверьте знание говорящим и собеседником слов L2, представленных в экспериментальном задании, представив каждое слово L2 в виде текста и предложив им произнести его перевод L1 или пропустить слово, если они не помнят его перевода.

4. Протокол пересказа мультфильмов

1. Если IQ участника ранее не измерялся с помощью стандартизированной оценки IQ, проведите ее, чтобы убедиться, что его IQ составляет 85 или выше.
2. Записывайте участников видео и аудио, чтобы впоследствии можно было проанализировать их речь и жесты. Поставьте перед участником настольный микрофон для записи звука. Поместите камеру с одной стороны от участника под углом 90° и убедитесь, что камера не видна участнику.
3. Подарите участнику первую половину мультфильма Looney Tunes «Canary Row». Эта половина мультфильма содержит несколько виньеток, в которых кот Сильвестр безуспешно пытается поймать птицу Твити.
4. Поручите участнику пересказать собеседнику события первой половины мультфильма настолько подробно, насколько он сможет вспомнить. Проинструктируйте собеседника слушать пересказ участника, побуждая его говорить больше, если он краток.
5. Повторите шаги 4.1. и 4.2. для второй половины видео Canary Row, которое содержит еще несколько виньеток, в которых кот Сильвестр пытается, но не может поймать птицу Твити.

5. Транскрипция и кодирование

ПРИМЕЧАНИЕ: Чтобы свести к минимуму систематическую ошибку, по возможности расшифровывайте и кодируйте данные вслепую, не зная, какие участники и испытания были отнесены к каким условиям. В идеале расшифровщики и кодировщики не должны привлекаться к сбору данных.

1. Расшифруйте всю речь участников орфографически вручную с помощью соответствующего программного обеспечения в соответствии со стандартизированной схемой, такой как CHAT⁴⁷, для подсчета слов. Расшифровывайте всю вербальную информацию, такую как филлеры и исправления, но не расшифровывайте паузы.
2. Определите и закодируйте все жесты участников, чтобы получить счетчик для каждого типа жестов. Определите жесты от паузы до паузы и разделите их на четыре типа на основе таксономии^{Макнейла 2,3}: иконический, метафорический, битовый и дейктический. Обратите внимание, что некоторые жесты могут быть классифицированы как более одного типа.
3. Вычислите количество жестов на сто слов, разделив количество репрезентативных жестов на количество слов и умножив его на 100 для каждой виньетки.
4. Иметь независимого кодировщика кода участника жестов для 25% данных. Согласуйте процент вычислений для данных, закодированных обоими кодировщиками, и убедитесь, что он составляет не менее 80 %, чтобы обеспечить достаточную надежность посредника.

Access restricted. Please log in or start a trial to view this content.

Результаты

Изучение слов L2
Реализация: Результаты, представленные ниже, основаны на данных, собранных от 52 здоровых участников (21 мужчина, 31 женщина; возраст: M = 20,15, SD = 1,73, диапазон = 18-28) в соответствии с протоколом, описанным выше. Вся речь и жесты кодировал...

Access restricted. Please log in or start a trial to view this content.

Обсуждение

Текущий протокол манипулирует видимостью говорящего и собеседника друг для друга, давая представление о его влиянии на производство жестов в сложных обстоятельствах: заучивание слов L2 и пересказ повествования подростками с РАС. Этот протокол может быть реализован к...

Access restricted. Please log in or start a trial to view this content.

Материалы

Name	Company	Catalog Number	Comments
Computer	Apple	Z131	24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone	Tonor	B07GVGMW59
ELAN	The Language Archive		Software application used to transcribe speech and gesture
Video Recorder	Vjianger	B07YBCMXJJ	FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence	Pearson	158981561	Used to verify full scale IQ ≥ 80 in Morett et al. (2016)