Войдите в систему

Для просмотра этого контента требуется подписка на Jove Войдите в систему или начните бесплатную пробную версию.

В этой статье

  • Резюме
  • Аннотация
  • Введение
  • протокол
  • Результаты
  • Обсуждение
  • Раскрытие информации
  • Благодарности
  • Материалы
  • Ссылки
  • Перепечатки и разрешения

Резюме

This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners’ engagement during a task.

Аннотация

In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: behavioral, emotional and cognitive. They observed that individual types of engagement had not been studied in conjunction, and little information was available about interactions or synergy between the dimensions; consequently, more studies would contribute to creating finely tuned teaching interventions. Benefiting from the recent technological advances in neurosciences, this paper presents a recently developed methodology to gather and synchronize data on multidimensional engagement during learning tasks. The technique involves the collection of (a) electroencephalography, (b) electrodermal, (c) eye-tracking, and (d) facial emotion recognition data on four different computers. This led to synchronization issues for data collected from multiple sources. Post synchronization in specialized integration software gives researchers a better understanding of the dynamics between the multiple dimensions of engagement. For curriculum developers, these data could provide informed guidelines for achieving better instruction/learning efficiency. This technique also opens up possibilities in the field of brain-computer interactions, where adaptive learning or assessment environments could be developed.

Введение

Участие играет решающую роль в процессе обучения. Для Кларка и Майер 2 ", все обучение требует привлечения", независимо от доставки информации. Чжан и др. 3 также предположил, что более активное участие студент может улучшить результаты обучения, такие как решение проблем и навыков критического мышления. Определение взаимодействия остается проблемой. В их обзоре литературы, Фредрикс, Блюменфельд и Париж 1 определяется участие в его многогранности: "Поведенческие участие опирается на идеи участия; она включает в себя участие в академических и социальных или внеклассных мероприятий. (...) Эмоциональное взаимодействие охватывает положительные и отрицательные реакции на учителей, одноклассников, ученых и школу, и предполагается создать связь с объекта и влияние готовности, чтобы сделать работу. Наконец, познавательный участие опирается на идеи психического инвестиций; она включает в себя заботу и готовность приложить усилия NECобходимо понять сложные идеи и мастер трудные навыки ".

Фредрикс, Блюменфельд и Париж 1 также заявил, что основное внимание на поведение, эмоции и познания, в рамках концепции взаимодействия, могут обеспечить более богатый характеристику обучения. Эти авторы отметили, что надежный корпус исследований посвящено каждый компонент взаимодействия по отдельности, но эти компоненты не были изучены в сочетании. Они также отметили, что имеется мало информации о взаимодействии между размерами и что больше исследования могут внести свой вклад в планирование точно настроенные вмешательства обучения. В качестве первого шага в этом направлении, эта статья описывает методологию исследования, которая была разработана для сбора и анализа количественных и качественных данных, синхронно, на поведенческом, эмоциональном и когнитивном участия в процессе обучения задач.

Приведение нейронаук в образовании

BehavIOR, и, следовательно, поведенческая участие, уже давно центре внимания исследований в области образования: научно-исследовательские проекты, ориентированные в основном на изменения в знаниях и поведении, происходящих в течение длительных периодов времени, между пре- и пост-тестов, а на интервалах часов, недель , месяцев или лет. Дискриминация между поведенческой, эмоциональной, когнитивной и взаимодействия остается проблемой, потому что последние два измерения систематически не наблюдается извне. Познание и эмоции должны быть либо выведены из наблюдений или оценены с самоотчетов. С внешней точки зрения, по-прежнему трудно определить, является ли пытаются получить их работу как можно быстрее или с помощью стратегии обучения глубоко уровне освоить конкретное содержание студенты. На самом деле, Фредрикс, Блюменфельд и Париж 1 не удалось найти каких-либо опубликованных исследований, используя прямые, объективных мер познавательной взаимодействия.

Последние технологические разработки вполе нейронаук создали новые возможности для исследований в области образования. Новые методы сбора данных и алгоритмы анализа, разработанные в области нейро эргономики, кажется, очень перспективным для качественных и количественных исследований в процессе обучения задач. Другие дисциплины, такие как экономика, психология, маркетинг и эргономики, были с помощью нейрофизиологических измерений для оценки когнитивных участие в течение некоторого времени 4-8. Нейрофизиологические меры, в сочетании с эффективными алгоритмами анализа, позволяют изучать явление, не нарушая его. По своей природе, самоотчета вопросников абстрагироваться студентов из обучения. Нейрофизиологические исследования позволяют мер конструкций будет осуществляться в более подлинных условий обучения. Эти инструменты включают в себя оборудование для мониторинга сердечного ритма, частоту дыхания, артериальное давление, температуру тела, диаметр зрачка, Электрическое сопротивление, электроэнцефалография (ЭЭГ) и т.д..

Сбор данных по синхронному на поведенческих, эмоциональных и когнитивных Обручальное

Как представитель результаты после использования этого протокола, этот документ будет представлять частичные результаты исследования, в котором учащиеся должны были решить, на экране компьютера, десять проблем в механической физики. Эти проблемы были разработаны в предыдущей работе 9. Нейрофизиологические данные были собраны в то время как учащиеся решали проблемы и отдыха во время 45 с перерыва, с закрытыми глазами, после каждой задачи.

Как упоминалось выше, данные о поведении обручальные состоят из программного обеспечения взаимодействий (движения мыши и клики), глаз взглядом, производительности и ответы на вопросы, производимых ученика, взаимодействующей с системой, а решению задачи 1. Глаз отслеживания система была использована для сбора программного обеспечения взаимодействия и данные глаз взгляд. Данные о производительности (время, чтобы решить проблему, корректность ответов) были собраны наОпрос сайт, который был использован, чтобы представить задачу. Этот веб-сайт был также использован для сбора данных самоотчета, собранные с анкетой взято из Брэдли и Лэнг 10. Эмоциональная участие включает в себя характеристику эмоций. По Ланг 11, эмоции характеризуются в терминах валентности (приятный / неприятный) и возбуждение (спокойствие / вызвали). Данные Эмоциональная обручальные были собраны соответственно, с использованием автоматического распознавания лица программное обеспечение, что эмоции количественно эмоциональную валентность и электродермальной активности кодер / датчик для возбуждения 12,13. Электрическое сопротивление (ЭДА) относится к записанной электрического сопротивления между двумя электродами, когда очень слабый электрический ток устойчиво передаваемых между ними. Cacioppo, Tassinary и Berntson 14 показали, что сопротивление записывается варьируется в зависимости от возбуждения субъекта. Таким образом, психофизиологические данные, такие как валентности или возбуждения, которые рассматриваются как коррелятов эмоциональной вовлеченности.

Наконец, познавательные данные обручальные собираются через электроэнцефалографии (ЭЭГ). Меры ЭЭГ, на волосистой части головы, синхронизированы электрической активности групп нейронов в головном мозге. Электрические сигналы, записанные от головы часто колебательная и состоит из частотных составляющих. По соглашению, эти частоты сгруппированы в последовательности, известной как полосы. Например, альфа, бета и тета полосы находятся в центре этого исследования. По Нейрологическая исследований 14, эти полосы отражают различные когнитивные способности обработки в определенных областях мозга. Таким образом, анализ спектральной плотности мощности (PSD) конкретных частот, в сочетании с многочисленными исследованиями 7,15 на бдительности и внимания, позволяет исследователям количественно познавательную участие во задачей. Как отметил Микулка др. 16, исследования показали прямую связь между бета-активности и познавательной бдительности и косвенного отношения между альфа-апд тета активность и бдительность. Таким образом, Папа, Богарт и Bartoleme 7 разработан индекс обручальное, который вычисляет PSD трех полос: бета / (альфа-тета +). Это соотношение было подтверждено в других исследованиях по привлечению 16,17,18. Чтобы охарактеризовать когнитивное взаимодействие с течением времени, быстрое преобразование Фурье (БПФ) преобразует сигнал ЭЭГ от каждого активного сайта (F3, F4, O1, O2) в спектре мощности. Индекс обручальное ЭЭГ в момент времени T вычисляется в среднем на каждого соотношения обручальное в скользящем окне 20 сек предыдущего времени T. Эта процедура повторяется каждую секунду, и новый скользящее окно используется для обновления индекса.

Поскольку цель этой методологии, чтобы обеспечить богатый анализ многочисленных параметров зацепления, синхронизации данных имеет решающее значение. Как Леже и др. 19 Напомню, производители оборудования настоятельно рекомендуем использовать только один компьютер в инструмент измерения, чтобы гарантировать их точность указанной леНовичок. Таким образом, когда используются несколько компьютеров, синхронизация между компьютерами становится записи важный шаг. Записи не могут все быть запущен в то же самое время, и каждый поток данных имеет конкретные сроки (например, с 0 глаза отслеживания ≠ 0 сек ЭЭГ или физиологических данных). Это чрезвычайно важно: разбежка между потоками данных означает ошибки в количественной оценке каждого измерения силы. Есть различные способы синхронизации параллельных физиологические и поведенческие записи. Эти методы могут быть разделены на две основные подходы; прямые и косвенные 20. Протокол, представленные в следующем разделе на основе косвенного подхода, где внешнее устройство, syncbox, используемого для отправки логику транзистор транзистор (TTL) сигналы для всех записывающего оборудования (как показано на рисунке 1). Поскольку каждый элемент оборудования имеет различное время начала, TTL маркеры записываются в лог-файлы с относительной задержка. Маркеры затем используются, чтобы выровнять сигналы и тем самым обеспечить правильную синхронизацию после каждой записи. Поведенческая программа анализа, который позволяет интегрировать внешний файл используется для повторной синхронизации график каждого потока данных и выполнить количественный и качественный анализ каждого измерения силы.

figure-introduction-9838
Рисунок 1. Архитектура системы сбора данных. Лабораторная среда, в которой поведенческий (глаз слежения), эмоциональная (EDA и лица эмоции) и когнитивные данные (ЭЭГ) обручальные собраны содержит много компьютеров. Это поднимает проблему синхронизации для данных, на которые ссылается на своих компьютерных часов. Для того, чтобы проанализировать все данные в то же время отсчета, установки лаборатории включает в себя syncbox, который посылает сигналы TTL для всех потоков данных.НК "> Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Чтобы оценить точность методики в плане синхронизации, 45 сек пауза были введены перед каждым из механических проблем физики. Во время этих пауз, испытуемые должны были расслабиться и закрыть глаза. Как видно в других исследованиях 4,9,16,17,18, эти паузы следует вызвать значительные изменения в собранные сигнала: два зрачка точки в глаз отслеживания сразу исчезают (поведенческой участия) и немедленное падение познавательной взаимодействия (ЭЭГ Сигнал) наблюдается. Эти специфические компоненты сигнала используются для оценки общей правильности синхронизации. Недавняя публикация статей, которые полностью или частично полагаются на эту процедуру синхронизации, в области информационных систем 19, человек-машина взаимодействий 21 и образования 9, 22, свидетельствует о его эффективности.

протокол

Этот протокол получил сертификат этический комитет от institutionnel де-ла-Recherche АВЭК де êtres humains (CIER) De L'Университет Квебека в Монреале (UQAM), которая была одобрена HEC-Montreal для Tech3Lab научно-исследовательский центр. Протокол описывает каждый из конкретных шагов, которые выполняются в нашей тестовой среде и оборудования. Хотя точные пути программного обеспечения предоставляются разъяснения методологии, этот метод передаче и могут быть воспроизведены с другой фирменной глаз слежения, автоматического распознавания лица эмоции, электрокожное деятельности и электроэнцефалографии оборудования и программного обеспечения.

1. Настройка Лаборатории окружающей среды

  1. Включите глаз трекера, усилитель ЭЭГ, четыре записи компьютеров и громкоговорителей.
  2. Подготовьте установку записывающего оборудования:
    1. Подготовка установки ЭЭГ с требуемого материала в соответствии с recomme производителяnded процедуры. Подготовка программного обеспечения ЭЭГ для предстоящего участника. Запустите программу глаз отслеживания и создать новый профиль участника в программе. Запустите программу для записи видео и камеры.
    2. Запустите программу синхронизации с конкретной подпрограммы, созданной для проекта с маркерами на 60 сек. Начните физиологическое обеспечение измерения (запись Электрическое сопротивление) и откройте конкретный формат, созданный для проекта. Отрегулируйте стул участника к самом высоком уровне.

2. Участник Подготовка

  1. Попросите участников прочитать и подписать этическую форму согласия.
  2. Провести измерения черепа для ЭЭГ:
    1. Найти место Cz на голове участника (по 10 - 20 справочных систем). Погрузитесь в сети ЭЭГ в солевом растворе (хлорида калия) (см шаг 1.2.1) и запустить таймер (10 мин) в соответствии со стандартами производителя.
  3. Читайте цель исследования и действия в эксперименте на участника, "Цель данного исследования состоит в наблюдении свою деятельность мозга, пока вы отвечаете проблемы физики. Во-первых, мы установим датчики, то вам будет предложено решить 10 задач по физике Ньютона на компьютере. Мы просим вас сделать перерыв 45 сек после каждого проблема с закрытыми глазами. После каждой проблемы, вам будет предложено, чтобы проголосовать за ваш оценку проблемы ".
  4. Расскажите тему, что общая продолжительность эксперимента будет 90 мин.
  5. Установите физиологические датчики, в соответствии с рекомендациями завода-изготовителя: два желатинированную датчики на верхней части левой стороны.
  6. Установите крышку ЭЭГ, в соответствии с рекомендациями завода-изготовителя и выполнить проверку сопротивления с порогом в 40 кОм (в соответствии с требованиями завода-изготовителя).

3. Сбор данных

  1. Убедитесь, что все программное обеспечение для записи готов к запуску в синхронности:
    1. Физиология (данные EDA): Нажмите кнопку "Пуск".
    2. Запись видео: Нажмите кнопку "Открыть".
    3. Глаз слежения: Нажмите кнопку "на удержание".
    4. ЭЭГ: Нажмите кнопку "Запись".
    5. Программное обеспечение для синхронизации: Нажмите кнопку "Зеленый круг".
  2. Глаз взгляд калибровка:
    1. Выполните пять пунктов на экране калибровку и наблюдать участника, пока он / она следующим образом красные точки (нажмите "Сервис / Настройки / Калибровка ...»). Повторите эту процедуру до тех пор, пока достаточная точность достигается, в соответствии со стандартами производителя.
  3. Инструкции задача проекта на экране участника: спросите, если он / она имеет какие-либо вопросы после прочтения их, и если он / она готова начать эксперимент.
  4. Попросите участников, чтобы решить 10 ньютонов рфизики.Померяться проблемы.
  5. При необходимости, выполнить проверку сопротивления во время одного из 45 с перерывами (не раньше, чем задачи 5).
  6. Убедитесь, что участник принимает на себя полную 45 с перерыв перед каждой проблемы (для определения базового уровня).

4. Конец сбора данных

  1. Остановите сбор данных на всех компьютерах и удалить датчики от участника.

5. После Участник оставил

  1. Очистите крышку ЭЭГ с бактерицидное и привести в порядок оборудование, в соответствии с рекомендациями завода-изготовителя. Сохраните все файлы данных, собранных и создать резервную копию на FTP-сервер.
  2. Заполните таблицу участника: обратите внимание, какого-либо конкретного события или проблемы во время сбора данных. Стереть все куки из браузера.

6. Данные Предварительная обработка и экспорт в интеграции программного обеспечения

  1. ЭЭГ
    1. Импорт данных ЭЭГ в программное обеспечение для анализа данных ЭЭГ:
      1. Создайте три пустые папки на компьютере с именем "Сырье данные", "История" и "Экспорт", чтобы вставить необработанные данные ЭЭГ во вновь созданный файл исходных данных.
      2. В программном обеспечении анализа данных ЭЭГ, нажмите "Файл / Новый проект ..." и выбрать место сырое данных, нажав кнопку Обзор, затем выберите только что созданный файл исходных данных. Выберите местоположение "Истории" и "Экспорт" папки таким же образом.
      3. Нажмите "ОК". (Окно должно содержать все данные ЭЭГ участника).
    2. Предварительная обработка сигнала мозга:
      1. Применить фильтр и выемку (нажмите «Трансформации / IIR фильтры ..."). В окне, включите низкую отсечку на 1,5 Гц с наклоном 12 дБ и высокой отсечки при 50 Гц с наклоном 12 дБ. Также включить метку на частоте 60 Гц.
      2. Потому что усилитель постоянного тока используется, округ Колумбия detrend сигнал (Нажмите "Transformations / DC Detrend ... "и позволяют" в зависимости от времени "на 100 мс до маркера и 100 мс до подключения постоянного тока).
      3. Выполните проверку данных сырье (Нажмите кнопку "трансформации / Raw осмотр данных ..." и выберите полу-автоматическое удаление артефактов). Выберите следующие: максимальное напряжение 60 мкВ / мс; Макс-мин: 200 мкВ в 200 мс интервала; Амплитуда: -400 до +400 мкВ).
      4. Выполните автоматическую ICA с классической sphering для удаления ока (миографических артефакты не должны быть удалены, потому что их диапазон находится за пределами частот интересов). (Нажмите "Преобразования / ICA ...". В конце МКА, процесс обратный МКА).
      5. Re ссылке ("Преобразования / Re-ссылки ...") сигнала и выберите «общий средний".
      6. Экспорт (нажмите "Экспорт / Экспорт данных Generic ...") сигнала и маркеры в текстовом формате (выберите ".vhdr"; коробка) для возможного Matlab построения индекса зацепления. Также выберите "файл заголовка записи" и "Записать файл маркер" коробки.
    3. Импорт сигнал в Matlab.
      1. Начните Matlab и типа "eeglab", так графического интерфейса пользователя появляется EEGLab и импорт данных для одного участника за один раз. В GUI, выберите пункт меню "Файл / Импорт данных / Использование EEGLab функции и плагины / из мозга Vis Rec .vhdr файл".
      2. В окне командной вставить скрипт 16, который генерирует индекс обручальное.
        Примечание: когнитивный сценарий взаимодействие вычисляется среднее значение каждого / (альфа + тета) отношение бета пределах скользящего окна 20 с предыдущего времени Т. Эта процедура повторяется каждый второй и новое скользящее окно используется для обновления индекса.
    4. В MS Excel, открыть текстовый файл индекса зацепления, который генерируется в конце сценарию Matlab и применить г-СКОРе нормализация данных ЭЭГ, чтобы межпредметных сравнение. (Для каждого значения, вычислить эту формулу в Excel: Z = (значение - среднее общее) / общее стандартное отклонение).
    5. Сохраните Z-счет индекса участие сигнал в файле CSV в MS Excel. (Меню Файл / Сохранить как ... и выберите CSV в формате типа).
    6. Повторите процедуру, начиная с шага (6.1.2.2.) Для каждого участника.
  2. Физиология:
    1. Импорт данных EDA в физиологическом программного обеспечения для анализа данных.
    2. Применить эти параметры для предварительной обработки физиологической сигнал:
      1. Применить логарифмическое преобразование для нормализации распределения проводимости в соответствии Venables и Кристи методом 23.
      2. Квартира сигнал на 10 сек окно 24 скольжения.
    3. В физиологическом программного обеспечения, вычислить Z-счет нормализации на данные EDA, чтобы межпредметных сравнение. (Z = (значение - общее среднее) / общая стандартное отклонение).
      1. Выделите все данные с курсором из канала EDA.
      2. В верхнем меню выберите канал EDA, и выберите "означает" получить среднее значение общей канала. Кроме выбора канала EDA и "StdDev", чтобы получить значение стандартного отклонения от общего канала.
      3. Чтобы вычислить уравнение Z-счет, нажмите кнопку "трансформации / Waveform Math ..." и выберите канал EDA в Источник 1. Выберите "-" (минус) в окне математической операции и выберите K в источнике 2. Выберите "New назначения" в меню назначения и введите среднее значение канала EDA (см шаг 6.2.3.2). Выберите "Transform всю волну", нажмите ОК и нажмите кнопку "трансформации / Waveform Math ...". Выберите канал EDA-K в источнике 1, выберите "/" (деление) в окне математической операции, выберите К в источнике 2, выберите "Новый пункт назначения" в пункт назначения и хог значение стандартного отклонения канала EDA (шаг 6.2.3.2). Выберите "Transform всю волну" и нажмите кнопку ОК.
    4. Экспорт сигнал (возбуждения) в файле CSV. (Меню Файл / Сохранить как ... и выберите CSV в формате типа).
  3. Автоматическое распознавание лица эмоции:
    1. Импорт видео данные из записи на носитель в автоматическом программном обеспечении распознавания эмоций на лице. (Нажмите "Файл / Новый / ... Участник ...". После выбора нового участника в меню проекта, нажав на нее, нажмите "Файл / Создать / анализ / видео ...". Нажмите на лупу рядом с анализа 1 и выберите нужный видео файл.
      1. Выберите автономный анализ для "каждого третьего кадра" и активировать "непрерывный калибровки".
      2. Экспорт валентных данные в файл CSV. (Нажмите "Опции / Настройки / Logging ...", проверьте "валентность Написать значение в файле журнала" коробки Нажмите. "Файл /Экспорт ... ", выберите место, где будут экспортированы файлы журналов и проверить" Сохранить подробную журнала "окно).
      3. Откройте файл CSV в MS Excel. Скопируйте столбец валентность данных в одном столбце программного обеспечения SPSS. Нажмите кнопку "Анализ / DESCRIPTIVES Статистика / DESCRIPTIVES" и выберите только что вставили имя переменной. Установите флажок "Сохранить стандартизованные значения в переменных". Появится колонка с Z-счет. Скопируйте и вставьте эти Z-баллы более старых данных в файле Excel.
    2. Сохраните файл Excel с Z-оценки сигнала (валентной) в формате CSV.

7. Интеграция и синхронизация данных

  1. В программном обеспечении поведенческого анализа:
    1. Импорт глаз отслеживания видео (поведенческая обручальные). (Нажмите "Файл / Импорт / видео в Нью-наблюдения ...". Назовите новый наблюдение и выбрать нужный видео файл.)
    2. Код каждого видео с соответствующей ВЕhaviors и контекстные события (время маркеры, правильно / неправильно ответов).
    3. Импортировать все внешние данные с соответствующим заголовком: г-оценка сигнала ЭЭГ (познавательная) обручальное, г-оценка сигнала EDA (эмоциональная обручальное), Z-счет данных валентных (эмоциональная обручальное). (Нажмите "Файл / Импорт / внешние данные ...". Выберите подходящий тип файла и выберите нужный файл CSV).
  2. Синхронизация времени между компьютерами в соответствии с этими формулами:
    1. Время в глаза смотреть время от в ЭЭГ = время в глаза взглядом + второй маркер в ЭЭГ - первый маркер в глаза взглядом.
    2. Время в глаза взглядом от времени в лице распознавания эмоций = время в глаза взглядом + первый маркер в лице эмоций - первый маркер в глаза взглядом.
    3. Время в глаза смотреть из раза в электродермальной активности = Время в глаза взглядом + первый маркер в электродермальной деятельности - первый маркер в глаза взглядом.
  3. Ввести данные коррекции, нажав "Ctrl + Shift + =221 ;, чтобы открыть меню Смещение. Выберите "Численное смещения", чтобы ввести время в секундах между каждой парой источников данных [ОК?]), В соответствии с вышеуказанными расчетами.
  4. Создание отчета в соответствии с переменными, представляющих интерес в исследовании.
    1. Выберите интересные переменные, которые будут генерироваться в докладе (нажмите "Анализ / Выбор данных / нового профиля данных ..."). Слева, сдвиньте желаемые переменные между окне "Пуск" и "Результаты" окна, справа.
    2. Создать отчет. (Нажмите "Анализ / Численный анализ / Создать ...", нажмите "Статистика" и проверьте среднее окно во внешнем меню данных. Готово, нажав "Вычислить".)
  5. Экспорт данных в программное обеспечение статистического анализа и выполнения анализа в соответствии с целями исследования.

Результаты

Цифры 2 и 3 скриншоты результатов интеграции и синхронизации поведенческих, эмоциональных и когнитивных данных Участие в поведенческой применения программного обеспечения для анализа. На обоих рисунках, раздел левая организует научно-исследовательские темы и схемы кодир...

Обсуждение

С точки зрения критических шагов в протоколе, то сначала следует отметить, что качество данных всегда основное внимание на нейрофизиологических методов сбора. В этой методологии, научные сотрудники должны обратить особое внимание на инструктаж предметы, чтобы минимизировать движени?...

Раскрытие информации

The authors have nothing to disclose.

Благодарности

The authors acknowledge the financial support of the Social Sciences and Humanities Research Council of Canada (SSHERC), Natural Sciences and Engineering Research Council of Canada (NSERC), Fonds de Recherche Nature et Technologies du Québec (FQRNT) and Fonds de Recherche sur la Société et Culture du Québec (FQRSC).

Материалы

NameCompanyCatalog NumberComments
EGI GSN-32 EGIn/aDense array EEG
Netstation v.5.0EGIn/aEEG data collection software: EEG is collected with 32-electrode dense array electroencephalography (dEEG) geodesic sensor net using Netstation acquisition software and EGI amplifiers (Electrical Geodesics, Inc). The vertex (recording site Cz) is the reference electrode for recording. Impedance is kept below 50 kΩ with a sampling rate of 250 Hz. 
Facereader v.4Noldusn/aFacial emotion recognition software
SyncboxNoldusn/aSyncbox start the co-registration of EEG and gaze data by sending a Transistor-Transistor Logic (TTL) signal to the EGI amplifier and a keystroke signal to the Tobii Studio v 3.2.
Logitech C600  Webcam960-000396Webcam used to gather video data sent to mediarecorder and that will be analyzed in Facereader
The Observer XTNoldusn/aIntegration and synchronization software: The Noldus Observer XT (Noldus Information Technology) is used to synchronize all behavioral, emotional and cognitive engagement data. 
On-Screen LED illuminationNoldusn/aNeon positioned on computer screen in order to correctly light the face of subjects
MediaRecorderNoldusn/aVideo data collection software
Tobii X60Tobiin/aCollect eye-movement patterns :  used to record subjects’ eye movement patterns at 60Hz during the experiment. 
Tobii Studio v.3.2Tobiin/aEye-tracking data collection and analysis software
Analyzer 2Brainvisionn/aEEG signal processing software
Acqknowledge v.4.0BiopacACK100MPhysiological signal acquisition and processing software
Control III germicide solutionMaril Products.10002REVA-20002-1Disinfectant solution used with EEG helmets : recommended by EGI
UniparkQuestBack AGn/aOnline survey environment

Ссылки

  1. Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: Potential of the concept, state of the evidence. Rev. Educ. Res. 74 (1), 59-109 (2004).
  2. Clark, R. C., Mayer, R. E. . E-learning and the Science of Instruction. , (2011).
  3. Zhang, D., Zhou, L., Briggs, R. O., Nunamaker, J. F. Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness. Inform. Manage. 43 (1), 15-27 (2006).
  4. Freeman, F. G., Mikulka, P. J., Prinzel, L. J., Scerbo, M. W. Evaluation of an adaptive automation system using three EEG indices with a visual tracking task. Biol. Psychol. 50, 61-76 (1999).
  5. Glimcher, P., Rustichini, A. Neuroeconomics: The consilience of brain and decision. Science. 306 (5695), 447-452 (2004).
  6. Lieberman, M. D. Social Cognitive neuroscience: A review of core processes. Annu. Rev. Physiol. 58, 259-289 (2007).
  7. Pope, A. T., Bogart, E. H., Bartolome, D. S. Biocybernetic system evaluates indices of operator engagement in automated task. Biol. Psychol. 40 (1-2), 187-195 (1995).
  8. Mandryk, R., Inkpen, K. Physiological indicators for the evaluation of co-located collaborative play. , (2004).
  9. Allaire-Duquette, G., Charland, P., Riopel, M. At the very root of the development of interest: Using human body contexts to improve women’s emotional engagement in introductory physics. Eur. J. Phy. Ed. 5 (2), 31-48 (2014).
  10. Bradley, M. M., Lang, P. J. Measuring emotion: The self-assessment manikin and the semantic differential. J. Behav. Ther. Exp. Psy. 25 (1), 49-59 (1994).
  11. Lang, P. J. The emotion probe: Studies of motivation and attention. Am. Psychol. 50 (5), 372-385 (1995).
  12. Ekman, P., Felt Friesen, W. false, and miserable smiles. J. Nonverbal Behav. 6 (4), 238-252 (1982).
  13. Van Kuilenburg, H., Den Uyl, M. J., Israël, M. L., Ivan, P. Advances in face and gesture analysis. , 371-372 (2008).
  14. Cacioppo, J., Tassinary, L. G., Berntson, G. G. . Handbook of Psychophysiology. , (2007).
  15. Lubar, J. F., Swartwood, M. O., Swartwood, J. N., O’Donnell, P. H. Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in T.O.V.A. scores, behavioral ratings, and WISC R performance. Biofeedback Self-reg. 20 (1), (1995).
  16. Mikulka, P. J., Freeman, F. G., Scerbo, M. W. Effects of a biocybernetic system on the vigilance decrement. Hum. factors. 44 (4), 654-664 (2002).
  17. Freeman, F. G., Mikulka, P. J., Scerbo, M. W., Scott, L. An evaluation of an adaptive automation system using a cognitive vigilance task. Biol. Psychol. 67 (3), 283-297 (2004).
  18. Chaouachi, M., Chalfoun, P., Jraidi, I., Frasson, C. Affect and mental engagement: Toward adaptability for intelligent systems. Proceedings of the Twenty-Third International Florida Artificial Intelligence Research Society Conference (FLAIRS 2010), Association for the Advancement of Artificial Intelligence. , 355-360 (2010).
  19. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-LeMoyne, &. #. 2. 0. 1. ;. Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research. J. Assoc. Inf. Syst. 15 (10), 651-678 (2014).
  20. Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-Lemoyne, E. Applying eye fixation-related potentials to information systems research: Demonstration of the method during natural IS use and guidelines for research. J. Assoc. Inf. Syst. 15 (10), (2014).
  21. Courtemanche, F. . Un outil d’évaluation neurocognitive des interactions humain-machine Doctoral thesis. , (2014).
  22. Charland, P., Léger, P. M., Mercier, J., Skelling-Desmeules, Y. Assessing multiple dimensions of learner engagement during science problem solving using psychophysiological and behavioral measures. , (2014).
  23. Venables, P. H., Christie, M. J., Martin, I., Venables, P. Electrodermal activity. Techniques in Psychophysiology. , 3-67 (1980).
  24. Boucsein, W. . Electrodermal Activity. , (2012).
  25. Sarlo, M., Palomba, D., Buodo, G. M., Minghetti, R., Stegagno, L. Blood pressure changes highlight gender differences in emotional reactivity to arousing pictures. Biol. Psychol. 70 (3), 188-196 (2005).
  26. Martens, R. L., Gulikers, J., Bastiaens, T. The impact of intrinsic motivation on e-learning in authentic computer tasks. J. Comput. Assist. Lear. 20 (5), 368-376 (2004).

Перепечатки и разрешения

Запросить разрешение на использование текста или рисунков этого JoVE статьи

Запросить разрешение

Смотреть дополнительные статьи

101

This article has been published

Video Coming Soon

JoVE Logo

Исследования

Образование

О JoVE

Авторские права © 2025 MyJoVE Corporation. Все права защищены