Натуралистическая установка для представления реальных людей и живых действий в исследованиях экспериментальной психологии и когнитивной нейробиологии

Резюме

Это исследование представляет собой натуралистическую экспериментальную установку, которая позволяет исследователям представлять стимулы действия в реальном времени, получать данные о времени отклика и отслеживании мыши, в то время как участники реагируют после каждого дисплея стимула, а также менять участников между экспериментальными условиями с помощью уникальной системы, включая специальный прозрачный экран с органическим светодиодом (OLED) и манипулирование светом.

Аннотация

Восприятие действий других имеет решающее значение для выживания, взаимодействия и общения. Несмотря на десятилетия исследований когнитивной нейробиологии, посвященных пониманию восприятия действий, мы все еще далеки от разработки системы компьютерного зрения, вдохновленной нейронами, которая приближается к восприятию действий человека. Основная проблема заключается в том, что действия в реальном мире состоят из разворачивающихся во времени событий в пространстве, которые происходят «здесь и сейчас» и могут быть реализованы. Напротив, визуальное восприятие и исследования когнитивной нейробиологии на сегодняшний день в значительной степени изучали восприятие действий с помощью 2D-дисплеев (например, изображений или видео), в которых отсутствует присутствие актеров в пространстве и времени, поэтому эти дисплеи ограничены в обеспечении действенности. Несмотря на растущий объем знаний в этой области, эти проблемы должны быть преодолены для лучшего понимания фундаментальных механизмов восприятия действий других людей в реальном мире. Цель этого исследования - представить новую установку для проведения натуралистических лабораторных экспериментов с живыми актерами в сценариях, которые приближаются к реальным условиям. Основным элементом установки, используемой в этом исследовании, является прозрачный экран с органическими светодиодами (OLED), через который участники могут наблюдать за живыми действиями физически присутствующего актера, в то время как время их презентации точно контролируется. В данной работе эта установка была проверена в поведенческом эксперименте. Мы считаем, что установка поможет исследователям выявить фундаментальные и ранее недоступные когнитивные и нейронные механизмы восприятия действия и станет основой для будущих исследований, изучающих социальное восприятие и познание в натуралистических условиях.

Введение

Фундаментальным навыком выживания и социального взаимодействия является способность воспринимать и осмысливать действия других людей и взаимодействовать с ними в окружающей среде. Предыдущие исследования, проведенные за последние несколько десятилетий, внесли значительный вклад в понимание фундаментальных принципов того, как люди воспринимают и понимают действия других 1,2,3,4,5,6,7,8,9,10,11 . Тем не менее, учитывая сложность взаимодействий и обстоятельства, в которых они происходят, существует очевидная необходимость в дальнейшем развитии совокупности знаний в натуралистических условиях, чтобы достичь более полного понимания этого сложного навыка в условиях повседневной жизни.

В естественной среде, такой как наша повседневная жизнь, восприятие и познание проявляют воплощенные, встроенные, расширенные и активные характеристики¹². В отличие от интерналистских описаний функций мозга, которые, как правило, недооценивают роль тела и окружающей среды, современные подходы к воплощенному познанию сосредоточены на динамической связи мозга, тела и окружающей среды. С другой стороны, большинство исследований в области социальной психологии, когнитивной психологии и нейробиологии восприятия действий склонны предполагать, что использование хорошо контролируемых и упрощенных планов экспериментов в лабораторных условиях (например, изображений или видео в компьютеризированных задачах) дает результаты, которые могут быть обобщены для более сложных сценариев, таких как взаимодействия в реальном мире 1,2,3,4,5,6,7 ^,8,9,10,11. Это предположение гарантирует, что надежные и надежные данные могут быть получены при многих обстоятельствах. Тем не менее, хорошо известная проблема заключается в том, что достоверность моделей, полученных в результате тщательно контролируемых экспериментов, ограничена при проверке в реальном контексте¹³. Следовательно, были проведены дальнейшие исследования 13,14,15,16,17,18,19,20,21,22 для рассмотрения экологической и внешней валидности стимулов и экспериментальных проектов в различных областях исследований.

В этом исследовании предлагается новый метод изучения того, как люди воспринимают и оценивают действия других людей, используя живые действия, выполняемые реальным, физически присутствующим актером. Используются сценарии, похожие на реальные контексты, в то время как экспериментаторы контролируют возможные мешающие факторы. Это исследование представляет собой форму «натуралистического лабораторного исследования» в рамках Matusz et al.14, которое можно рассматривать как промежуточный этап между «классическим лабораторным исследованием», в котором используется максимальный контроль над стимулами и окружающей средой, часто за счет естественности, и «полностью натуралистическим исследованием реального мира», целью которого является максимизация естественности за счет контроля над стимуляцией и окружающей средой ¹⁴. Исследование направлено на удовлетворение потребности в эмпирических исследованиях на этом уровне в исследованиях восприятия действий, чтобы преодолеть разрыв между результатами, полученными в традиционных лабораторных экспериментах с высокой степенью экспериментального контроля, и результатами, полученными в исследованиях, проведенных в совершенно неограниченных, естественных условиях.

Контролируемые и неограниченные эксперименты
Экспериментальный контроль является эффективной стратегией разработки экспериментов для проверки конкретной гипотезы, поскольку он позволяет исследователям изолировать целевые переменные от вероятных смешивающих факторов. Это также позволяет пересмотреть одну и ту же гипотезу с определенными уровнями поправок, таких как использование слегка или полностью разных стимулов в одном и том же дизайне или тестирование одних и тех же стимулов в альтернативных экспериментальных установках. Систематическое исследование с помощью контролируемых экспериментов является традиционной формой методологии в исследованиях в когнитивной науке и соответствующих областях. Контролируемые эксперименты по-прежнему помогают установить совокупность знаний о фундаментальных принципах когнитивных процессов в различных областях исследований, таких как внимание, память и восприятие. Тем не менее, недавние исследования также признали ограниченность традиционных лабораторных экспериментов с точки зрения обобщения результатов в реальных условиях, и исследователям было рекомендовано проводить исследования в улучшенных экологических условиях 13,14,15,16,17,18,19,20,21 . Этот сдвиг направлен на решение двух важных вопросов, касающихся несоответствия между традиционными лабораторными экспериментами и реальными условиями. Во-первых, мир за пределами лаборатории менее детерминирован, чем в экспериментах, что ограничивает репрезентативную силу систематических экспериментальных манипуляций. Во-вторых, человеческий мозг обладает высокой адаптивностью, и это часто недооценивается из-за практических ограничений разработки и проведения экспериментальных исследований²². Понятие «экологическая обоснованность»^23,24 было использовано для рассмотрения методов решения этого вопроса. Этот термин обычно используется для обозначения предпосылки для обобщения экспериментальных результатов в реальный мир за пределами лабораторного контекста. Экологическая валидность также интерпретируется как относящаяся к проверке практически натуралистических экспериментальных установок с неограниченными стимулами, чтобы гарантировать, что дизайн исследования аналогичен реальным сценариям²⁵. Из-за высокой степени вариативности в трактовке этого термина требуется понимание преимуществ и ограничений альтернативных методологий и выбора стимулов.

Уровни натурализма в стимулах и дизайне экспериментов
Предыдущие работы в области экспериментальной психологии и когнитивной нейробиологии использовали широкий спектр стимулов с различными уровнями натурализма²⁶. Большинство исследователей предпочитают использовать статические изображения или короткие динамические видеоролики, потому что эти стимулы легче подготовить, чем те, которые могут имитировать реальное действие или событие. Несмотря на свои преимущества, эти стимулы не позволяют исследователям измерять условное поведение среди социальных агентов. Иными словами, они не поддаются действию и не имеют социальной доступности²⁷. В последние годы была разработана альтернатива этим неинтерактивным стимулам: анимация виртуальных аватаров в реальном времени. Эти аватары позволяют исследовать взаимодействие между аватарами и их пользователями. Тем не менее, использование виртуальных аватаров подвержено меньшим опасениям пользователей, особенно когда они не кажутся особенно привлекательными с точки зрения их реалистичного и условного поведения²⁶. Поэтому в настоящее время наблюдается больший интерес к использованию реальных социальных стимулов в экспериментальных исследованиях. Хотя для их проектирования, записи и анализа данных может потребоваться современное оборудование и сложный анализ данных, они являются лучшими кандидатами для понимания натуралистического поведения и познания человека.

В настоящем исследовании предложена методология использования реальных социальных стимулов в лабораторных условиях. Это исследование направлено на изучение того, как люди воспринимают и оценивают действия других людей в условиях с повышенной экологической обоснованностью по сравнению с традиционными лабораторными экспериментами. Мы разработали и описали новую установку, в которой участники подвергаются воздействию реальных актеров, которые физически присутствуют и находятся с ними в одной среде. В этом протоколе измеряется время реакции участников и траектории мышей, что требует точного определения времени предъявления стимулов и строгого контроля за экспериментальными условиями в этой улучшенной экологической среде. Таким образом, экспериментальная парадигма выделяется среди структур, присутствующих в литературе, поскольку естественность стимулов максимизируется без ущерба для контроля над окружающей средой. Ниже в протоколе представлены шаги по созданию такой системы, а затем приводятся репрезентативные результаты для выборочных данных. Наконец, представлено обсуждение значения парадигмы, ограничений и планов модификаций.

Экспериментальный дизайн
Прежде чем перейти к разделу протокола, мы опишем параметры, используемые в настоящем исследовании, и представим детали стимулов вместе с дизайном эксперимента.

Параметры в исследовании
Это исследование направлено на то, чтобы измерить, как тип актера и класс действий, которые они выполняют, влияют на процессы восприятия разума участников. В протоколе процесс восприятия разума измеряется в двух основных измерениях, а именно в агентности и опыте, как предлагалось в предыдущих исследованиях²⁸. Верхние и нижние границы этих двух измерений также включены, как недавно было представлено Li et ^al.29.

Структура исследования была вдохновлена однокатегорической версией³⁰ широко используемой неявной ассоциативной задачи (IAT)³¹. В этой задаче время отклика участников, когда они сопоставляют концепцию атрибута с целевой концепцией, используется в качестве показателя силы их неявных ассоциаций для этих двух понятий. В адаптации этой неявной задачи участникам представляются живые действия, выполняемые реальными актерами, и требуется сопоставить их с целевыми концепциями. Целевыми концепциями являются верхний и нижний уровни агентства или измерения опыта, в зависимости от блока эксперимента.

Подводя итог, можно сказать, что независимыми переменными являются Actor Type и Action Class. Тип актера имеет два уровня (т.е. два разных актера, Актер1 и Актер2, выступающие в исследовании). Класс действия имеет два уровня: класс действия1 и класс действия2, и каждый класс содержит четыре действия. Участники оценивают двух акторов отдельно в четырех блоках (по одному актору в каждом блоке), и в каждом блоке акторы выполняют все действия в уравновешенном порядке. Участники проводят оценки по двум заранее определенным и вынужденным измерениям: агентству и опыту. Четыре блока в эксперименте: (1) Actor1 в блоке агентства, (2) Actor2 в блоке агентства, (3) Actor1 в блоке опыта и (4) Actor2 в блоке опыта. Порядок блоков также уравновешен между участниками, так что блоки с одним и тем же агентом никогда не следуют друг за другом.

Помимо ответов участников, записывается время отклика и координаты x-y беспроводной мыши, которую они используют, когда они движутся к одному из двух вариантов ответа. Таким образом, зависимыми переменными являются реакция и время отклика (RT) участников, а также измерения максимального отклонения (MD) и площади под кривой (AUC), полученные с помощью компьютерного отслеживания мышью. Переменная реакция категориальна; он может быть высоким или низким, и, поскольку оценки проводятся в одном из заданных блоков, ответы также могут быть помечены как «Высокая агентность», «Низкая агентность», «Высокий опыт» или «Низкий опыт». Время отклика является непрерывной переменной; Его единицей измерения являются секунды, и это относится к времени, прошедшему между началом представления действия и возникновением щелчка мыши по одному из вариантов ответа. MD траектории является непрерывной переменной и относится к наибольшему перпендикулярному отклонению между траекторией участника (участников) и идеализированной траекторией (прямой). AUC траектории также является непрерывной переменной и относится к геометрической области между траекторией участника (участников) и идеализированной траекторией³².

Стимулы и дизайн эксперимента
В настоящем исследовании используется трехэтапный эксперимент. Для анализа используются измерения из третьей части; Первые две части служат подготовкой к заключительной части. Ниже мы опишем каждую часть эксперимента вместе с экспериментальными стимулами и гипотезами.

В части 1 эксперимента (часть лексического обучения) участники завершают учебную сессию, чтобы понять концепции свободы воли и опыта, а также уровни способностей, представленные словами «высокий» и «низкий». Для выбора понятий (n = 12), которые будут использоваться в данном учебном занятии, некоторые из авторов настоящей работы провели нормативное исследование³³. Поскольку настоящее исследование планировалось проводить на родных языках участников, концепции также были переведены на турецкий язык перед нормализацией. Понятия были отобраны из числа тех, которые были тесно связаны с Высоким (n = 3) и Низким (n = 3) концами двух измерений (по шесть понятий для каждого). Эта часть имеет решающее значение, поскольку ожидается, что понимание участниками концепций будет направлять их процессы оценки.

В части эксперимента 2 (часть идентификации действия) участники наблюдают за теми же восемью действиями, выполняемыми Актером1 и Актером2 одно за другим, и сообщают экспериментатору о том, что это за действие. Этот раздел служит проверкой манипуляций; Представляя все действия, когда оба актера их выполняют, можно убедиться, что участники понимают действия и знакомы с актерами, прежде чем они начнут неявный тест, где им нужно быстро оценить. Действия, выбранные для класса действия 1 и класса действия 2, - это действия, которые имели самые высокие баллы H и уровни достоверности (четыре разных примера действий в каждом классе действий) в соответствии с результатами двух нормативных исследований (N = 219) для каждого состояния актора, проведенных некоторыми авторами (рукопись находится в стадии подготовки). Все действия выполняются в течение равного промежутка времени в 6 с.

Это продолжающееся исследование, и оно имеет некоторые другие компоненты; Однако гипотезы для описанных выше разделов заключаются в следующем: (i) тип субъекта будет влиять на зависимые переменные; Actor2 будет давать более длинные RT, более высокие MD и большие AUC по сравнению с Actor1; (ii) тип действия повлияет на зависимые измерения; Класс действия 1 даст более длинные RT, более высокие MD и большие AUC по сравнению с классом действия 2; (iii) зависимые измерения для высоких и низких ответов для одного и того же актора и класса действий будут различаться в зависимости от измерений блока: агентность и опыт.

протокол

Протоколы экспериментов в этом исследовании были одобрены Комитетом по этике исследований с участием людей Билькентского университета. Все участники, включенные в исследование, были старше 18 лет, и они прочитали и подписали форму информированного согласия перед началом исследования.

1. Общие этапы проектирования

ПРИМЕЧАНИЕ: Рисунок 1A (вид сверху) и рисунок 1B и рисунок 1C (вид спереди и сзади) демонстрируют планировку лаборатории; Эти цифры были созданы с учетом исходной лабораторной установки и конфигурации, разработанной для этого конкретного исследования. На рисунке 1A показана компоновка лаборатории сверху. На этом рисунке можно увидеть светодиодные светильники на потолке и кабинете актера. Система плотных штор делит комнату пополам и помогает манипулировать светом, предотвращая утечку света в переднюю часть комнаты (зону участника). На рисунке 1В представлен вид лаборатории с точки зрения экспериментатора. Участник сидит прямо перед OLED-экраном, и с помощью прозрачного дисплея он может наблюдать за живыми действиями, выполняемыми актерами. Они дают свои ответы, используя ответное устройство (беспроводную мышь) перед ними. Экспериментатор может одновременно наблюдать за актером через дисплей участника (OLED-экран) и кадры, поступающие с камеры видеонаблюдения. На рисунке 1С показано закулисье исследования (Actor Area) с камерой видеонаблюдения и персональным компьютером (PC) Actor, которые не видны участнику. Кадры с камеры видеонаблюдения отправляются на компьютер с камерой, чтобы установить связь между актерами и экспериментатором. Актерский компьютер отображает актеру порядок блоков и информацию о следующем действии, чтобы эксперимент протекал без перерыва. Актеры могут быстро проверить следующее действие, в то время как участники реагируют на действие в предыдущем испытании.

Рисунок 1: Натуралистическая лабораторная установка . (A) Вид сверху вниз на натуралистическую лабораторную установку. (B) Задняя и лицевая стороны натуралистической экспериментальной установки с точки зрения участника. (C) Задняя и лицевая стороны натуралистической экспериментальной установки с точки зрения актера. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

1. Спроектируйте установку, которая включает в себя три компьютера, в том числе (1) основной рабочий стол управления (ПК Experimenter), (2) ноутбук актера (ПК Actor) и (3) ПК с камерой, одно беспроводное устройство ответа (мышь участника), два дисплея, схему освещения и камеру видеонаблюдения (см. Рисунок 2A для системной схемы установки этого исследования).
   ПРИМЕЧАНИЕ: ПК экспериментатора будет использоваться экспериментатором для запуска сценариев эксперимента, ПК актера будет использоваться актером для отслеживания блоков эксперимента и порядка действий в блоках, а третье устройство, ПК с камерой, будет подключено к камере видеонаблюдения, расположенной в зоне актера и используемой экспериментатором для наблюдения за кулисами.
2. Подключите отдельные дисплеи (один для демонстрации стимулов [Дисплей участника], который является OLED-экраном) и экран для наблюдения за экспериментом, ответным устройством и цепью освещения (через провода или беспроводные соединения) к компьютеру экспериментатора (см. рис. 2A).
3. Подключите компьютер экспериментатора и компьютер актера по беспроводной сети, чтобы передать актерам информацию, связанную со статусом эксперимента (например, «идентификатор следующего действия — приветствие»).
4. Спроектируйте и создайте схему освещения, которая (см. Рисунок 2B для печатной платы) может управляться микроконтроллером для включения и выключения светодиодов.
   ПРИМЕЧАНИЕ: На рисунке 3A показано непрозрачное использование OLED-экрана, используемого в исследовании, с точки зрения экспериментатора. Для обеспечения непрозрачности фон экрана настраивается на белый (RGB: 255, 255, 255), а весь свет в комнате (как в Зоне участника, так и в Зоне актера) выключен. Участник видит фиксацию перед стимулами. На рисунке 3B показано прозрачное использование цифрового экрана в исследовании с точки зрения экспериментатора. Чтобы обеспечить прозрачность, фон экрана настраивается на черный (RGB: 0, 0, 0), а светодиодная подсветка на потолке включается. Участник наблюдает за актером. На рисунке 3C показано непрозрачное использование цифрового экрана в исследовании. Для обеспечения непрозрачности фон экрана настраивается на белый (RGB: 255, 255, 255), а весь свет в комнате выключен. Участнику предоставляется экран оценки, чтобы дать ответ. Им нужно перетащить курсор в левый верхний или правый верхний угол экрана (один из двух вариантов ответа, высокий или низкий) с помощью беспроводной мыши. Записывается их траектория мыши и время отклика.
5. Подключите микроконтроллер к ПК Experimenter.
6. Храните скрипты, выполняющие эксперимент, на компьютере экспериментатора.
   ПРИМЕЧАНИЕ: На рисунке 4A показано закулисье (зона актера) во время эксперимента. Переднее освещение комнаты (зона участника) выключено, и на ПК актера отображается название действия, которое будет выполнено актером. На рисунке 4B показан актерский кабинет, в котором актеры могут дождаться своей очереди и переодеться. Кабинет актера не виден с точки зрения участника, и, поскольку используется система занавесов, актеры могут использовать любой вход, который они хотят. Во время эксперимента флуоресцентные лампы, отображаемые на рисунке, выключены.

Рисунок 2: Системная и электрическая схема . (А) Системная схема натуралистической экспериментальной установки. (B) Электрическая схема световой цепи, поддерживающей OLED-экран во время эксперимента. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 3: OLED-экран с точки зрения экспериментатора. (A) Непрозрачное использование цифрового OLED-экрана с точки зрения экспериментатора. (B) Прозрачное использование цифрового OLED-экрана с точки зрения экспериментатора. (C) Непрозрачное использование цифрового OLED-экрана с точки зрения экспериментатора в течение периода отклика. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 4: Закулисье эксперимента. (A) За кулисами во время эксперимента. (B) Кабинет актера находится в задней части OLED-экрана, в котором актеры могут ждать своей очереди, чтобы быть видимыми во время эксперимента. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

2. Проектирование и реализация схемы освещения

1. Шаги, которые необходимо выполнить перед питанием устройств/компонентов схемы
   1. Чтобы изменить состояние светодиодов, установленных за кулисами (Actor Area), предоставьте компьютеру Experimenter возможность переключать светодиоды в положение ВКЛ или ВЫКЛ.
   2. Для передачи цифровых команд, которые будут отправляться с ПК Experimenter по USB-кабелю, выберите микроконтроллерное устройство, которое может принимать цифровые входы и генерировать цифровой выход (см. Таблицу материалов для микроконтроллера, используемого в этом исследовании).
   3. Выберите конкретный USB-порт ПК Experimenter для подключения к USB-входу микроконтроллера с помощью USB-кабеля. Не включайте компьютер, пока не убедитесь, что все соединения успешно установлены.
   4. Включите коммутационный модуль для увеличения амплитуды выходного сигнала (около 3,3 В), генерируемого микроконтроллером.
   5. Подключите назначенный контакт цифрового выхода (для этого эксперимента назначенный вывод — D9) и контакты заземления микроконтроллера к модулю коммутации.
   6. Для запуска нагрузки (светодиодов) включите мощный модуль полевого транзистора металл-оксид-полупроводник (МОП-транзистор) (или модуль МОП-транзисторов), который управляется сигналом, генерируемым коммутационным модулем, и подключите сигнальные контакты модуля МОП-транзистора к соответствующей паре сигнал-земля на коммутационном модуле.
   7. Подсоедините контакты парника модуля MOSFET к нагрузке.
   8. Для подачи регулируемого постоянного напряжения на модули (и косвенно, на светодиоды) включите светодиодный источник питания, который принимает вход сети переменного тока (AC) и генерирует постоянное постоянное напряжение в цепи.
   9. Подключите выходы светодиодного источника питания к входам питания как модуля MOSFET, так и модуля коммутации.
2. Шаги, которые необходимо выполнить после подключения компонентов схемы
   1. Подключите USB-кабель к выбранному USB-порту компьютера Experimenter.
   2. Создайте последовательный канал связи между микроконтроллером и программной средой, работающей на ПК Experimenter (см. подраздел Подключение микроконтроллера к ПК Experimenter).
   3. Подключите блок питания светодиода к сетевому входу переменного тока.

3. Программирование эксперимента

ПРИМЕЧАНИЕ: Создайте три основных экспериментальных сценария (ExperimentScript1.m [Файл дополнительного кодирования 1], ExperimentScript2.m [Файл дополнительного кодирования 2] и ExperimentScript3.m [Файл дополнительного кодирования 3]), а также несколько функций (RecordMouse.m [Файл дополнительного кодирования 4], InsideROI.m [Файл дополнительного кодирования 5], RandomizeTrials.m [Файл дополнительного кодирования 6], RandomizeBlocks.m [Файл дополнительного кодирования 7], GenerateResponsePage.m [файл дополнительного кодирования 8], GenerateTextures.m [файл дополнительного кодирования 9], ActorMachine.m [файл дополнительного кодирования 10], MatchIDtoClass.m [файл дополнительного кодирования 11] и RandomizeWordOrder.m [файл дополнительного кодирования 12]) для проведения эксперимента.

ПРИМЕЧАНИЕ: Пожалуйста, обратитесь к соответствующим скриптам для получения подробных объяснений.

1. Рандомизация пробных и блочных ордеров
   1. Определите и создайте две функции для рандомизации пробных ордеров (RandomizeTrials.m) и блоковых ордеров (RandomizeBlocks.m), которые принимают параметры рандомизации (например, идентификатор участника) в качестве входных данных и возвращают массив псевдорандомизированных последовательностей.
   2. Подробные сведения о том, как генерируются рандомизированные последовательности, см. в скриптах RandomizeBlocks.m (строки 2-24) и RandomizeTrials.m (строки 3-26).
2. Отслеживание ответа (RecordMouse, InsideRoi)
   1. Создайте функцию, которая отслеживает и записывает траекторию мыши участников и время, прошедшее во время эксперимента (см. RecordMouse.m).
   2. Создайте вспомогательную функцию, чтобы проверить, лежат ли выбранные координаты внутри допустимых областей или нет (см. скрипт InsideRoi.m).
3. Генерация текстур для инструкций и отзывов (GenerateTextures.m, GenerateResponsePage.m)
   1. Подготовьте инструкции, связанные с экспериментом, и отзывы, связанные с испытаниями, в виде изображений.
   2. Сохраните содержимое этих изображений в файл .mat (см. файл ExperimentImages.mat [Файл дополнительного кодирования 13]).
   3. Загрузите файл .mat в рабочую область (см. строку 25 GenerateTextures.m) после создания экранного окна.
   4. Создайте отдельную текстуру и ее идентификатор для каждого изображения (см. строки 27-165 GenerateTextures.m).
   5. Определите функцию для рисования связанных текстур страницы ответа для каждого сценария эксперимента (см. раздел GenerateResponsePage.m).
4. Подключение компьютера актера к компьютеру экспериментатора по протоколу TCP/IP
   1. Создайте сокет TCP-сервера в скрипте (см. строку 174 ExperimentScript2.m), работающем на компьютере Experimenter.
   2. Создайте соответствующий сокет TCP-клиента в скрипте (см. строку 16 ActorMachine.m), запущенном на компьютере Actor.
   3. Отправьте сведения о предстоящем блоке или пробной версии актерам из сценария (см. строки 207, 229 и 278 в ExperimentScript2.m или строки 136, 141, 153, 159 и 297 в ExperimentScript3.m), запущенного на компьютере Experimenter.
   4. Отобразите полученную информацию от ПК «Экспериментатор» в экранном окне ПК «Актер» (см. строки 31-47 в ActorMachine.m).
5. Подключение микроконтроллера к ПК Experimenter
   1. Подключите микроконтроллер к определенному USB-порту (например, PORT 9) для управления состоянием (ВКЛ или ВЫКЛ) установленных светодиодов за кулисами.
   2. Установите последовательную связь между микроконтроллером и компьютером Experimenter (см. строку 185 сценария ExperimentScript2.m).
   3. Отправьте логический высокий сигнал (1) на микроконтроллер из сценария, запущенного на компьютере Experimenter (см. строку 290 в ExperimentScript2.m или строку 311 в сценариях ExperimentScript3.m), чтобы включить светодиоды при отображении действий через USB-кабель.
   4. Отправьте логический сигнал низкого уровня (0) на микроконтроллер из сценария, запущенного на ПК Experimenter (см. строку 292 в ExperimentScript2.m или строку 314 в сценариях ExperimentScript3.m), чтобы выключить светодиоды, когда участник должен дать ответ.

4. Ход выборочного эксперимента

1. Этапы перед экспериментом
   1. Убедитесь, что все устройства в лаборатории (ПК экспериментатора, ПК с камерой, ПК актера и дисплей участника) питаются от ИБП.
   2. Подключите микроконтроллер Lightning к компьютеру Experimenter с помощью кабеля USB, чтобы он автоматически включался при включении компьютера Experimenter.)
   3. Включите компьютер Experimenter и проверьте, подключен ли он к сети Wi-Fi 5 ГГц.
   4. Выберите звуковое устройство (динамики в таблице материалов) в качестве устройства вывода звука ПК Experimenter.
   5. Включите дисплей участника и установите настройки громкости на 80%.
   6. Установите параметры экрана компьютера Experimenter для нескольких мониторов. Расширьте дисплей экспериментального компьютера на дисплей участника. Дисплей ПК экспериментатора будет равен 1, а дисплей участника — 2.
   7. Включите компьютер Actor и проверьте, подключен ли он к сети Wi-Fi 5 ГГц.
   8. Подключите камеру видеонаблюдения к компьютеру Actor с помощью USB-кабеля, чтобы она автоматически включалась при включении компьютера Actor.
   9. Включите компьютер с камерой и откройте приложение камеры на рабочем столе. Убедитесь, что каждый актер, его движения, а также его вход и выход в кабинет видны с камеры.
   10. Убедитесь, что все компьютеры, дисплеи и устройства (устройство отклика [беспроводная мышь участника], динамики, клавиатура и мышь компьютеров Experimenter PC и Actor PC, а также микроконтроллер Lightning) работают правильно.
   11. Пригласите участника в другую комнату; Предоставив краткую информацию об исследовании, предоставьте форму согласия и дайте участнику подписать ее.
   12. Попросите участника вытащить число из сумки и скажите ему, что это число будет его идентификатором участника на протяжении всего исследования.
   13. Позвольте участнику заполнить онлайн-демографическую форму, указав свой анонимный идентификатор участника.
       ПРИМЕЧАНИЕ: Очень важно, чтобы участники не видели актеров перед экспериментом. Таким образом, эти документы заполняются в другой комнате, а не в основной экспериментальной комнате, чтобы актеры могли делать перерывы между участниками.
2. Этапы эксперимента
   1. Откройте программное обеспечение эксперимента на компьютере Experimenter, откройте сценарий ExperimentScript1.m и запустите его.
   2. Заполните ID участника и возраст; затем сценарий запустит первую часть эксперимента (первым видимым стимулом будет крест в центре дисплея участника).
   3. Откройте программное обеспечение эксперимента на компьютере с актером и откройте сценарий ActorMachine.m.
   4. Поместите компьютер с камерой рядом с компьютером экспериментатора и убедитесь, что кадры, поступающие с камеры видеонаблюдения, не видны участнику.
   5. Поприветствуйте участника в главной комнате эксперимента и позвольте ему занять место перед дисплеем участника.
   6. Скажите участнику, чтобы он расположился так, чтобы крест находился посередине и прямо перед собой.
   7. Кратко расскажите о частях эксперимента, обратившись к пояснениям и продолжительности, написанным на доске.
   8. Выключите весь свет в экспериментальной комнате.
3. Эксперимент часть 1:
   1. Скажите участнику, что он завершит лексическое/концептуальное обучение в первой части эксперимента. Предупредите их о том, чтобы они были осторожны и следовали инструкциям, чтобы они могли пройти обучение.
   2. Скажите участнику, что эксперимент можно начинать, когда он будет готов.
   3. Нажмите кнопку ESC , когда участник скажет, что готов к первой части.
      ПРИМЕЧАНИЕ: С этого момента участник будет продвигаться по эксперименту, читая инструкции на дисплее участника и выбирая один из вариантов. Они получат обратную связь относительно своих правильных и неправильных ответов, чтобы они могли хорошо прогрессировать в обучении. Сопоставление будет продолжаться до тех пор, пока участники не достигнут минимального порога (80%) в течение 10 повторений блоков.
   4. Когда участник завершит обучающую часть, нажмите кнопку ESC и скажите участнику, что экспериментатор берет на себя управление мышью, чтобы начать вторую часть эксперимента.
4. Эксперимент часть 2:
   1. Откройте сценарий ExperimentScript2.m и дождитесь приглашения Ожидание компьютера актера.
   2. Позвоните в колокольчик при появлении запроса, чтобы один из актеров мог запустить сценарий на компьютере актера, чтобы включить соединение с компьютером экспериментатора.
   3. Дождитесь подсказки Эксперимент Часть 2 будет готова.
   4. Скажите участнику, что теперь экран будет прозрачным, пока он наблюдает за некоторыми короткими действиями через него.
   5. Предупредите их, чтобы они внимательно следили за каждым действием, и сообщите им, что они должны сказать вслух, что это за действие.
   6. Скажите участнику, что эксперимент можно начинать, когда он будет готов.
   7. Нажмите кнопку ESC , когда участник скажет, что готов к первой части.
      ПРИМЕЧАНИЕ: Участник проходит инструкцию и наблюдает за первым действием. Actor1 выполняет действия при включении светодиодных индикаторов и проверяет следующее действие из командной строки на компьютере Actor при выключении света. Когда каждое действие завершится, на экране компьютера Experimenter появится диалоговое окно.
   8. Введите то, что участник говорит о действии в диалоговом окне, и введите 1 или 0 во втором диалоговом окне в зависимости от правильной или неправильной идентификации действия соответственно.
      ПРИМЕЧАНИЕ: Эти шаги будут повторены восемь раз для первого актера, и фоновая музыка начнет играть, когда актерам придет время поменяться местами.
   9. Посмотрите закулисье с камеры видеонаблюдения на ПК с камерой.
   10. Нажмите кнопку ESC, чтобы начать идентификацию Actor2, когда актер машет руками в сторону камеры видеонаблюдения жестом «Я готов».
   11. Повторяйте шаги 4.4.7 и 4.4.8 вместе с участником до тех пор, пока те же восемь действий не будут идентифицированы во время их выполнения Actor2.
   12. Когда участник увидит предупреждение « Идентификация завершена » и выйдет из части, щелкнув стрелку, нажмите кнопку ESC и сообщите участнику, что экспериментатор берет на себя управление мышью, чтобы начать третью часть эксперимента.
5. Эксперимент часть 3:
   1. Откройте сценарий ExperimentScript3.m.
   2. Скажите участнику, что он будет наблюдать за действиями обоих актеров, а затем он нажмет на вариант, который он считает подходящим.
      ПРИМЕЧАНИЕ: Участники будут оценивать действия актеров в четырех блоках. В двух блоках Actor1 будет выполнять действия, а в двух других Actor2 будет выполнять те же действия. В двух блоках участники будут оценивать действия, приписывая высокие или низкие возможности агентства, а в двух других они будут приписывать высокие или низкие возможности опыта.
   3. Нажмите кнопку ESC , когда участник скажет, что готов к третьей части.
      ПРИМЕЧАНИЕ: Участник проходит инструкцию, и они начинают с первого блока. Актеры выполняют действия при свете, и пока участники дают свои ответы, экран становится непрозрачным, и свет выключается, чтобы актеры могли видеть, какое действие будет следующим. Когда каждый блок закончится, актеры поменяются местами в соответствии с подсказками на ПК актера.
   4. Проверьте, все ли идет хорошо за кулисами и правильный ли актер проводит правильные действия во время блоков.
   5. Нажмите кнопку ESC , чтобы начать следующий блок, когда правый актер машет руками жестом «Я готов» после замены актеров.
   6. Повторяйте шаги 4.5.4 и 4.5.5 в сотрудничестве с участником и актером, пока не будут завершены четыре блока.
   7. Когда участник увидит, что эксперимент окончен, подскажите спасибо, нажмите кнопку ESC .
   8. Поблагодарите участника и, подведя итоги и собрав подписи, отправьте участника.

На рисунке 5 показана выборка испытания с точки зрения участника. На рисунке 5A показан участник, смотрящий на курсор в центре экрана в его непрозрачном использовании. На рисунке 5B показан участник, наблюдающий за стимулами живого действия через экран. На рисунке 5C показан экран оценки, представленный участнику после стимулов, в котором ему нужно перетащить мышь на одну из двух альтернатив в каждом верхнем углу экрана.

Рисунок 5: OLED-экран с точки зрения участника. (A) Непрозрачное использование цифрового OLED-экрана с точки зрения участника во время фиксации экрана. (B) Прозрачное использование цифрового OLED-экрана с точки зрения участника во время презентации живого выступления. (C) Непрозрачное использование цифрового OLED-экрана с точки зрения участника в течение периода ответа. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

5. Предварительная обработка и анализ данных

1. Сегментация данных по условиям
   1. Считайте все файлы данных участников в рабочую область программной среды.
   2. Определите условия для группировки данных (два класса действий [Action Class1 и Action Class2] x два актора [Actor1 и Actor2] x два измерения [Агент и Опыт] x два уровня [Высокий и Низкий]).
   3. Разделите данные на четыре основные группы: «Высокий уровень агентства», «Низкий уровень агентства», «Высокий опыт» и «Низкий уровень опыта».
   4. Разделите эти основные группы на четыре подгруппы (два актера x два класса действий).
   5. Прокрутите каждый файл данных, чтобы сгруппировать испытания, принадлежащие к одной из четырех ранее определенных подгрупп.
   6. Храните соответствующую информацию об испытании (время отклика, перемещение курсора и моменты времени, в которые осуществляется выборка положения курсора) в отдельных структурах данных для каждой подгруппы.
   7. Выйдите из цикла, когда все испытания будут сгруппированы.
2. Визуализация траекторий
   1. После сегментации данных выполните следующие действия, чтобы визуализировать траектории мыши.
   2. Чтобы применить временную интерполяцию к траекториям отклика, для каждого испытания выберите 101 пару (x,y) из массива траекторий, чтобы каждая подгруппа данных имела испытания с равным числом временных шагов.
      ПРИМЕЧАНИЕ: Привязывая количество пар к 101, обязательно следуйте соглашению³², чтобы провести правильную нормализацию времени. Следовательно, добейтесь нормализации времени, используя следующее уравнение, где n — количество выборок в массиве траекторий:
      
   3. Вычислите сумму пар (x,y) в каждом из 101 момента времени, а затем разделите полученный результат на общее количество испытаний этой подгруппы, чтобы получить средние значения для каждой подгруппы (например, Experience Low Actor1 или Experience Low Actor2).
   4. Примените операцию масштабирования к значениям строк, чтобы визуализировать средние траектории.
      ПРИМЕЧАНИЕ: 2D-координатная плоскость предполагает, что обе оси увеличиваются от нулевой точки, расположенной в левом нижнем углу окна (при условии, что координаты являются положительными целыми числами), тогда как формат пикселей принимает верхний левый угол окна в качестве эталона (например, нулевая точка). Таким образом, примените операцию масштабирования для y-координат (соответствующих значениям строк в пиксельном формате) выборочных местоположений путем извлечения выборочной y-координаты каждого испытания из значения общего числа строк.
   5. Нанесите соответствующие подгруппы на один и тот же рисунок для сравнения.
      ПРИМЕЧАНИЕ: Каждая траектория начинается в центре прямоугольника, расположенного внизу по центру, обозначенного как START, и заканчивается внутри прямоугольников, расположенных в верхнем левом или верхнем правом углах.

6. Условия, которые могут привести к сбою системы, и меры предосторожности

ПРИМЕЧАНИЕ: В случае сбоя системы крайне важно иметь физический знак (звонок в колокольчик), чтобы сообщить актеру о сбое и предупредить его, чтобы он оставался в месте, невидимом для участника.

1. Сбои из-за сетевого подключения
   1. Если один из компьютеров подключен к другой сети, запрос на подключение TCP/IP завершится ошибкой, и система покажет ошибку. Чтобы избежать этого, убедитесь, что компьютеры Experimenter и Actor находятся в одном диапазоне одной и той же беспроводной сети.
   2. Чтобы убедиться, что оба компьютера остаются в одной сети, сотрите ранее подключенные беспроводные сети с обоих компьютеров.
   3. Установите статические IP-адреса для устройств в выбранной сети, так как IP-адреса в сети могут изменяться без предварительного уведомления.
   4. Любое кратковременное отключение (например, из-за отключения электроэнергии, интернета и т. д.) к сети может привести к сбою сценария. В этих обстоятельствах систему необходимо перезагрузить с самого начала, чтобы восстановить соединение TCP/IP.
      ПРИМЕЧАНИЕ: Требование статических IP-адресов для устройств может быть выполнено интернет-провайдером. Некоторые порты могут быть отключены операционной системой или оборудованием на данном устройстве; Следовательно, порты, которые будут использоваться в эксперименте, должны быть открыты и не должны иметь активного подключения до тех пор, пока не будет запущен сценарий эксперимента.
2. Сбои из-за сбоев программного обеспечения
   1. Программная среда может аварийно завершить работу из-за неудачных подключений (например, подключение к последовательному порту, соединение TCP/IP, подключение дисплея и т. д.), что может привести к потере данных. Чтобы преодолеть это, разделите основной сценарий эксперимента на несколько сценариев. Например, если есть блок, который нужно выполнить до того, как актеры начнут выполнять действия, нет необходимости создавать сервер на ПК Экспериментатора во время этого блока. Сервер может быть создан, когда блок, который включает в себя действия и, таким образом, требует связи между Experimenter PC и Actor PC, вот-вот запустится.

Результаты

Сравнение времени отклика (RT)
Настоящее исследование является продолжающимся проектом, поэтому в качестве репрезентативных результатов представлены данные основной части эксперимента (Experiment Part 3). Эти данные получены от 40 участников, в том числе 23 женщин и 17 мужчин, в возраст...

Обсуждение

Всеобъемлющая цель настоящего исследования состоит в том, чтобы внести свой вклад в наше понимание того, как человеческое высокоуровневое визуальное восприятие и познание работают в реальных жизненных ситуациях. Это исследование было сосредоточено на восприятии действий и предложил...

Материалы

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)