É necessária uma assinatura da JoVE para visualizar este conteúdo. Faça login ou comece sua avaliação gratuita.
Method Article
This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners’ engagement during a task.
In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: behavioral, emotional and cognitive. They observed that individual types of engagement had not been studied in conjunction, and little information was available about interactions or synergy between the dimensions; consequently, more studies would contribute to creating finely tuned teaching interventions. Benefiting from the recent technological advances in neurosciences, this paper presents a recently developed methodology to gather and synchronize data on multidimensional engagement during learning tasks. The technique involves the collection of (a) electroencephalography, (b) electrodermal, (c) eye-tracking, and (d) facial emotion recognition data on four different computers. This led to synchronization issues for data collected from multiple sources. Post synchronization in specialized integration software gives researchers a better understanding of the dynamics between the multiple dimensions of engagement. For curriculum developers, these data could provide informed guidelines for achieving better instruction/learning efficiency. This technique also opens up possibilities in the field of brain-computer interactions, where adaptive learning or assessment environments could be developed.
Engagement desempenha um papel crucial na aprendizagem. Para Clark e Mayer 2, "toda a aprendizagem requer engajamento", independentemente dos meios de comunicação de entrega. Zhang et al. 3 também sugeriram que o aumento do envolvimento do aluno pode melhorar os resultados de aprendizagem, tais como resolução de problemas e habilidades de pensamento crítico. Definindo engajamento continua a ser um desafio. Em sua revisão da literatura, Fredricks, Blumenfeld e Paris 1 definido engajamento por sua natureza multifacetada: "engajamento comportamental baseia-se na idéia de participação; que inclui o envolvimento em atividades acadêmicas e sociais ou extracurriculares. (...) O envolvimento emocional engloba reações positivas e negativas para os professores, colegas, acadêmicos e escola e é presumida para criar laços com um objeto e influência vontade de fazer o trabalho. Finalmente, envolvimento cognitivo baseia-se na idéia de investimento mental; ele incorpora consideração e vontade de exercer o esforço neccessário para compreender idéias complexas e dominar as habilidades difíceis ".
Fredricks, Blumenfeld e Paris 1 também alegou que um foco em comportamento, emoção e cognição, dentro do conceito de engajamento, pode fornecer uma caracterização mais rica de aprendizado. Estes autores apontam que um corpo robusto de pesquisa aborda cada componente de envolvimento separadamente, mas esses componentes não foram estudadas em conjunto. Eles também observaram que há pouca informação disponível sobre as interações entre as dimensões e que mais estudos poderão contribuir para o planejamento de intervenções de ensino afinado. Como um passo nesse sentido, este trabalho descreve uma metodologia de pesquisa que foi desenvolvido para coletar e analisar dados quantitativos e qualitativos, de forma síncrona, no engajamento comportamental, emocional e cognitiva durante tarefas de aprendizagem.
Trazendo as Neurociências em Educação
Behavior e, consequentemente, o engajamento comportamental, tem sido o foco central de estudos em educação: projetos de pesquisa focados principalmente em mudanças no conhecimento e comportamento que ocorrem ao longo de grandes períodos de tempo, entre pré e pós-testes, e ao longo de intervalos de horas, semanas , meses ou anos. Discriminando entre engajamento comportamental, emocional, cognitivo e continua a ser um desafio, porque as duas últimas dimensões não são sistematicamente observável externamente. Cognição e as emoções ou deve ser inferida a partir de observações ou avaliados com medidas de auto-relato. De um ponto de vista externo, continua a ser difícil determinar se os alunos estão a tentar fazer o seu trabalho o mais rapidamente possível ou utilizando estratégias de aprendizagem de nível profundo de dominar um conteúdo específico. Na verdade, Fredricks, Blumenfeld e Paris 1 foram incapazes de encontrar qualquer estudos publicados utilizando medidas diretas, objetivas de envolvimento cognitivo.
Os desenvolvimentos tecnológicos recentes emo domínio das neurociências criaram novas possibilidades de pesquisa em educação. Novos métodos de coleta de dados e algoritmos de análise desenvolvidos no campo da ergonomia neuro parece muito promissor para estudos qualitativos e quantitativos durante as tarefas de aprendizagem. Outras disciplinas, tais como economia, psicologia, marketing e ergonomia, têm vindo a utilizar medições neurofisiológicas para avaliar o envolvimento cognitivo por algum tempo 4-8. Medidas neurofisiológicas, juntamente com algoritmos de análise eficientes, permitem estudar um fenômeno sem perturbá-la. Pela sua natureza, os questionários de auto-relato desengatar alunos de aprendizagem. Medidas neurofisiológicas permitir que projetos de pesquisa a ser realizada em ambientes de aprendizagem mais autênticas. Essas ferramentas incluem equipamento para monitorar a frequência cardíaca, frequência respiratória, pressão arterial, temperatura corporal, diâmetro da pupila, a atividade electrodermal, eletroencefalografia (EEG), etc.
Gathering Sincronizado Dados sobre comportamental, emocional, cognitivo e Engajamento
Como resultados representativos na sequência da utilização deste protocolo, este documento irá apresentar os resultados parciais de um estudo no qual os alunos tinham de resolver, em uma tela de computador, dez problemas em física mecânica. Estes problemas foram desenvolvidos em trabalhos anteriores 9. Dados neurofisiológicos foram coletadas enquanto os alunos foram resolvendo os problemas e relaxante durante uma pausa de 45 s, com os olhos fechados, depois de cada problema.
Como mencionado acima, os dados de noivado comportamentais consistem de interações de software (movimentos e cliques do mouse), o olhar dos olhos, desempenho e respostas a perguntas produzidos por um aluno interagir com o sistema ao realizar a tarefa 1. Um sistema de rastreamento ocular foi utilizado para coletar interações de software e dados do olhar olho. Os dados de desempenho (tempo para resolver um problema, correção de respostas) foram coletados em umsite pesquisa que foi utilizado para apresentar a tarefa. Este site também foi usado para reunir dados de auto-relato recolhidos com um questionário adaptado de Bradley e Lang 10. Envolvimento emocional envolve a caracterização das emoções. De acordo com Lang 11, as emoções são caracterizados em termos de valência (agradável / desagradável) e excitação (calma / despertado). Dados envolvimento emocional foram devidamente recolhidos, usando software de reconhecimento facial automático emoção que quantifica valência emocional e uma atividade codificador / sensor electrodermal para despertar 12,13. Actividade Eletrodermal (EDA) refere-se à resistência eléctrica entre os dois eléctrodos gravada quando uma corrente eléctrica é muito fraco continuamente passados entre eles. Cacioppo, Tassinary Berntson e 14 mostraram que a resistência gravado varia de acordo com a excitação do sujeito. Assim, os dados psicofisiológicas, como valência ou excitação, são considerados como correlatos de envolvimento emocional.
Finalmente, os dados de noivado cognitivas são coletados por meio de eletroencefalografia (EEG). Medidas de EEG, no couro cabeludo, a atividade elétrica dos grupos de neurônios no cérebro sincronizado. Sinais elétricos gravados a partir do couro cabeludo são muitas vezes oscilatório e composta por componentes de frequência. Por convenção, essas freqüências são agrupadas em seqüências, conhecido como bandas. Por exemplo, alfa, beta e teta bandas são o foco deste estudo. De acordo com estudos neurocientíficos 14, essas bandas refletem diferentes habilidades de processamento cognitivo em áreas específicas do cérebro. Assim, a análise da densidade de potência espectral (PSD) de frequências específicas, combinados com numerosos estudos sobre o estado de alerta e 7,15 atenção, permite aos investigadores quantificar envolvimento cognitivo durante uma tarefa. Como Millar et al. 16 observou, a pesquisa mostrou uma relação direta entre a atividade beta e agilidade cognitiva e uma relação indireta entre um alfad atividade theta e agilidade. Assim, o Papa, Bogart e Bartoleme 7 desenvolveram um índice de noivado que calcula o PSD de três bandas: beta / (alfa + teta). Esse índice foi validado em outros estudos sobre o envolvimento 16,17,18. Para caracterizar o envolvimento cognitivo ao longo do tempo, uma transformada de Fourier rápida (FFT) converte o sinal de EEG de cada local activo (F3, F4, O1, O2) num espectro de potência. O índice de acoplamento de EEG no tempo T é calculado pela média de cada razão de acoplamento dentro de uma janela deslizante de 20 seg precedente tempo T. Este procedimento é repetido a cada segundo e uma nova janela de correr é utilizado para actualizar o índice.Uma vez que o objectivo desta metodologia é fornecer uma rica análise das múltiplas dimensões de engajamento, a sincronização de dados é crucial. Como Leger et al. 19 lembrar aos leitores, fabricantes de equipamentos altamente recomendável utilizar apenas um computador por ferramenta de medição para garantir a sua precisão especificada level. Assim, quando vários computadores estão empregados, a sincronização entre computadores de gravação torna-se um passo crítico. As gravações não podem ser iniciadas ao mesmo tempo exato, e cada fluxo de dados tem o seu período de tempo específico (por exemplo, sec 0 de olho rastreamento ≠ sec 0 de EEG ou dados fisiológicos). Isso é extremamente importante: dessincronização entre fluxos de dados significa erros na quantificação de cada dimensão de engajamento. Existem diferentes formas de sincronizar gravações fisiológicas e comportamentais simultâneas. Estes métodos podem ser divididos em duas abordagens principais; direta e indireta 20. O protocolo apresentado na próxima seção é baseada em uma abordagem indireta, onde um dispositivo externo, um syncbox, é usado para enviar sinais de lógica transistor-transistor (TTL) para todos os equipamentos de gravação (como mostrado na Figura 1). À medida que cada peça de equipamento tem uma hora de início diferente, os marcadores TTL são registrados nos arquivos de log com um parente atraso. Os marcadores são então usadas para realinhar os sinais e, assim, assegurar uma sincronização apropriada depois de cada gravação. Um programa de software de análise comportamental que permite a integração de arquivo externo é usado para re-sincronizar o cronograma de cada fluxo de dados e para realizar a análise quantitativa e qualitativa de cada dimensão de engajamento.
Figura 1. Arquitetura do Sistema de Coleta de Dados. O ambiente de laboratório no qual comportamental (eye-tracking), emocional (EDA e emoção facial) e dados cognitivos (EEG) de noivado são recolhidos contém muitos computadores. Isto levanta um desafio para a sincronização de dados que são referenciados em seus respectivos relógios dos computadores. Para ser capaz de analisar todos os dados no mesmo tempo de referência, a configuração do laboratório envolve um syncbox que envia sinais TTL para todos os fluxos de dados.nk "> Clique aqui para ver uma versão maior desta figura.
Para avaliar a precisão da metodologia em termos de sincronização, 45 seg pausas foram introduzidas antes de cada um dos problemas de física mecânica. Durante essas pausas, os sujeitos tiveram para relaxar e fechar os olhos. Como visto em outros estudos 4,9,16,17,18, essas pausas devem induzir variações significativas no sinal coletado: os dois pontos pupila do olho em olho-tracking imediatamente desaparecer (engajamento comportamental) e uma queda imediata no envolvimento cognitivo (EEG sinal) é observada. Estes componentes específicos do sinal são usadas para avaliar a eficácia geral da sincronização. A recente publicação de documentos que total ou parcialmente dependem desse procedimento de sincronização, nas áreas de sistemas de informação 19, interações homem-máquina 21 e educação 9, 22, fornece provas da sua eficácia.
Access restricted. Please log in or start a trial to view this content.
Este protocolo recebeu um certificado de ética do Comité de la recherche institutionnel avec des êtres humains (CIER) de l'Université du Québec à Montréal (UQAM), que foi aprovado pelo HEC-Montreal para o centro de pesquisa Tech3Lab. O protocolo descreve cada um dos passos específicos que são realizados em nosso meio ambiente e equipamentos de laboratório. Embora caminhos de software precisos são fornecidos para esclarecer a metodologia, esta técnica é transferível e pode ser replicado com outros eye-tracking proprietário, automático reconhecimento de emoções faciais, atividade electrodermal e equipamentos eletroencefalografia e software.
1. Configuração do Laboratório de Meio Ambiente
2. Participante Preparação
3. Coleta de Dados
4. Fim de Coleta de Dados
5. Depois de o Participante Has Left
6. Dados Pré-processamento e exportação para o Software de Integração
7. Data Integration e sincronização
Access restricted. Please log in or start a trial to view this content.
Figuras 2 e 3 mostram screenshots dos resultados da integração e sincronização dos dados de noivado comportamentais, emocionais e cognitivas em uma aplicação de software de análise comportamental. Em ambas as figuras, a seção da mão esquerda organiza os sujeitos da pesquisa e do esquema de codificação. Na seção do meio, um vídeo (com pontos vermelhos) mostra olhar olho do sujeito durante a tarefa. Engajamento comportamental do indivíduo pode ser inferida com base no que ele / ela e...
Access restricted. Please log in or start a trial to view this content.
Em termos de etapas críticas no âmbito do protocolo, ele deve primeiro ser salientado que a qualidade dos dados é sempre o foco principal para técnicas de coleta de neurofisiológicos. Nesta metodologia, assistentes de investigação devem prestar especial atenção à instrução dos assuntos para minimizar movimentos da cabeça que irão interferir com a monitorização de valência (perdendo ângulo de face correta para a câmera) ou geram artefatos miográfica no EEG. Por outro lado, um equilíbrio deve ser mant...
Access restricted. Please log in or start a trial to view this content.
The authors have nothing to disclose.
The authors acknowledge the financial support of the Social Sciences and Humanities Research Council of Canada (SSHERC), Natural Sciences and Engineering Research Council of Canada (NSERC), Fonds de Recherche Nature et Technologies du Québec (FQRNT) and Fonds de Recherche sur la Société et Culture du Québec (FQRSC).
Access restricted. Please log in or start a trial to view this content.
Name | Company | Catalog Number | Comments |
EGI GSN-32 | EGI | Dense array EEG | |
Netstation v.5.0 | EGI | EEG data collection software: EEG is collected with 32-electrode dense array electroencephalography (dEEG) geodesic sensor net using Netstation acquisition software and EGI amplifiers (Electrical Geodesics, Inc). The vertex (recording site Cz) is the reference electrode for recording. Impedance is kept below 50 kΩ with a sampling rate of 250 Hz. | |
Facereader v.4 | Noldus | Facial emotion recognition software | |
Syncbox | Noldus | Syncbox start the co-registration of EEG and gaze data by sending a Transistor-Transistor Logic (TTL) signal to the EGI amplifier and a keystroke signal to the Tobii Studio v 3.2. | |
Logitech C600 Webcam | 960-000396 | Webcam used to gather video data sent to mediarecorder and that will be analyzed in Facereader | |
The Observer XT | Noldus | Integration and synchronization software: The Noldus Observer XT (Noldus Information Technology) is used to synchronize all behavioral, emotional and cognitive engagement data. | |
On-Screen LED illumination | Noldus | Neon positioned on computer screen in order to correctly light the face of subjects | |
MediaRecorder | Noldus | Video data collection software | |
Tobii 60X | Tobii | Collect eye-movement patterns : used to record subjects’ eye movement patterns at 60Hz during the experiment. | |
Tobii Studio v.3.2 | Tobii | Eye-tracking data collection and analysis software | |
Analyzer 2 | Brainvision | EEG signal processing software | |
Acqknowledge v.4.0 | Biopac | ACK100M | Physiological signal acquisition and processing software |
Control III germicide solution | Maril Products. | 10002REVA-20002-1 | Disinfectant solution used with EEG helmets : recommended by EGI |
Unipark | QuestBack AG | Online survey environment |
Access restricted. Please log in or start a trial to view this content.
Solicitar permissão para reutilizar o texto ou figuras deste artigo JoVE
Solicitar PermissãoThis article has been published
Video Coming Soon
Copyright © 2025 MyJoVE Corporation. Todos os direitos reservados