The authors acknowledge the financial support of the Social Sciences and Humanities Research Council of Canada (SSHERC), Natural Sciences and Engineering Research Council of Canada (NSERC), Fonds de Recherche Nature et Technologies du Qu&#233;bec (FQRNT) and Fonds de Recherche sur la Soci&#233;t&#233; et Culture du Qu&#233;bec (FQRSC).

Dieses Protokoll hat eine ethische Bescheinigung des Comité de la recherche institutionnel avec des êtres humains (CIER) de l&#39;Université du Québec à Montréal (UQAM), die von HEC-Montreal für die Tech3Lab Forschungseinrichtung gebilligt wurde. Das Protokoll beschreibt jedes der spezifischen Schritte, die in unserem Labor Umwelt und Ausrüstung durchgeführt werden. Obwohl präzise Softwarepfade vorgesehen sind, um die Methodik zu klären, ist diese Technik übertragbar und können mit anderen Eigentums Eye-Tracking, automatische Gesichtsemotionserkennung, Hautleitfähigkeit und Elektroenzephalographie Ausrüstung und Software repliziert werden. 1. Aufbau der Testumgebung <ol><li> Schalten Sie den Eye-Tracker, die EEG-Verstärker, der vier Aufzeichnungs Computern und den Lautsprechern. </li><li> Bereiten Sie das Setup des Kontrollgeräts: <ol><li> Bereiten Sie die EEG-Setup mit erforderlichen Material gemäß den Hersteller empfNDED Verfahren. Bereiten Sie die EEG-Software für die kommende Teilnehmer. Starten Sie den Eye-Tracking-Software und erstellen Sie einen neuen Teilnehmerprofil in der Software. Starten Sie die Videoaufnahme-Software und die Kameras. </li><li> Starten Sie die Synchronisation-Software mit der spezifischen Unterprogramm für das Projekt mit Markierungen bei 60 sec erstellt. Starten Sie die physiologischen Messsoftware (auf elektrodermale Aktivität aufzeichnen) und öffnen Sie das bestimmtes Layout für das Projekt erstellt. Passen Sie den Teilnehmer Stuhl auf die höchste Stufe. </li></ol></li></ol> 2. Vorbereitung der Teilnehmer <ol><li> Fragen Sie die Teilnehmer, zu lesen und unterzeichnen den ethischen Einverständniserklärung. </li><li> Führen Sie Schädelmessungen für EEG: <ol><li> Finden Sie die Cz Lage auf dem Kopf des Teilnehmers (nach 10 - 20 Referenzsysteme). Tauchen Sie die EEG-net in der Kochsalzlösung (Kaliumchlorid) (siehe Schritt 1.2.1) und starten Sie einen Timer (10 min) in Übereinstimmung mit Standards des Herstellers. &lt;/ Li&gt; </ol></li><li> Lesen Sie das Ziel der Studie und die Schritte in das Experiment zu dem Teilnehmer &quot;Das Ziel dieser Studie ist es, Ihre Hirnaktivität zu beobachten, während Sie Physik Probleme zu beantworten. Zuerst werden wir die Sensoren installieren, dann werden Sie aufgefordert, 10 Newtonschen Physik Probleme auf dem Computer zu lösen. Wir bitten Sie um einen 45-Sekunden-Pause nach jedem Problem mit geschlossenen Augen. Nach jedem Problem, werden Sie aufgefordert, Ihre Einschätzung des Problems zu bewerten. &quot; </li><li> Bitte geben Sie das Thema, das die Gesamtdauer des Experiments wird 90 min. </li><li> Installieren Sie die physiologischen Sensoren, entsprechend den Empfehlungen des Herstellers: zwei gelierten Sensoren an der Spitze der linken Hand. </li><li> Installieren Sie die EEG-Haube, entsprechend den Empfehlungen des Herstellers und führen Sie eine Impedanzprüfung mit einer Schwelle bei 40 kOhm (nach Angaben des Herstellers). </li></ol> 3. Data Collection <ol><li> Stellen Sie sicher, dass die gesamte Aufnahme-Software ist bereit, synchron gestartet werden: <ol><li> Physiologie (EDA Daten): Klicken Sie auf die Schaltfläche &quot;Start&quot;. </li><li> Video-Aufzeichnung: Klicken Sie auf die Schaltfläche &quot;Öffnen&quot;. </li><li> Eye-Tracking: Klicken Sie auf die &quot;on hold&quot; -Taste. </li><li> EEG: Klicken Sie auf die Schaltfläche &quot;Aufnahme&quot;. </li><li> Synchronisations-Software: Klicken Sie auf die &quot;grünen Kreis&quot; -Taste. </li></ol></li><li> Blick Kalibrierung: <ol><li> Führen Sie eine Fünfpunktkalibrierung auf dem Bildschirm, und beachten Sie die Teilnehmer, während er / sie folgt die roten Punkte (klicken Sie auf &quot;Extras / Einstellungen / Kalibrierung ...&quot;). Wiederholen Sie diesen Vorgang, bis eine ausreichende Genauigkeit erreicht, nach den Normen des Herstellers. </li></ol></li><li> Projektaufgabe Anweisungen auf dem Bildschirm des Teilnehmers: zu fragen, ob er / sie Fragen nach dem Lesen sie hat, und wenn er / bereit, das Experiment zu beginnen, ist sie. </li><li> Fragen Sie die Teilnehmer auf 10 Newtonschen p lösenhysics Probleme. </li><li> Wenn nötig, führen Sie eine Impedanzprüfung während einer der 45 s Pausen (nicht vor dem Problem, 5). </li><li> Sicherstellen, dass der Teilnehmer nimmt das volle 45 s Pause vor jedem Problem (um die Grundlinie zu bestimmen). </li></ol> 4. End of Data Collection <ol><li> Stoppen der Datenerfassung auf allen Computern und entfernen Sie die Sensoren aus der Teilnehmer. </li></ol> 5. Nachdem der Teilnehmer kommt selten allein <ol><li> Reinigen Sie die EEG-Kappe mit keimtötenden und aufräumen der Ausrüstung gemäß den Herstellerempfehlungen. Speichern Sie alle Dateien gesammelt und ein Backup auf dem FTP-Server. </li><li> Geben Sie den Teilnehmer-Tabelle: beachten Sie irgendeine besondere Veranstaltung oder ein Problem bei der Datenerhebung. Löschen Sie alle Cookies von der Web-Browser. </li></ol> 6. Datenvorverarbeitung und Export, um die Integration Software <ol start="1"><li> EEG <ol><li> Import EEG EEG-Daten in Datenanalyse-Software: <ol><li> Erstellen Sie drei leere Ordner auf dem Computer mit dem Namen &quot;Rohdaten&quot;, &quot;History&quot; und &quot;Export&quot;, um die Roh-EEG-Daten in den neu erstellten Rohdaten-Datei einfügen. </li><li> In der EEG-Daten-Analyse-Software, klicken Sie auf &quot;Datei / Neues Projekt ...&quot; und wählen Sie die Rohdaten Lage, indem Sie auf Durchsuchen, wählen Sie dann die neu erstellte Rohdatendatei. Wählen Sie den Ort der &quot;History&quot; und &quot;Export&quot; Ordner in der gleichen Weise. </li><li> Klicken Sie auf &quot;OK&quot;. (Das Fenster sollte all der Teilnehmer EEG-Daten enthalten). </li></ol></li><li> Pre-Prozess das Gehirn Signal: <ol><li> Anwenden eines Filters und eine Kerbe (klicken Sie auf &quot;Transformations / IIR-Filter ...&quot;). In dem Fenster, aktivieren Sie die untere Grenz bei 1,5 Hz mit einer Flankensteilheit von 12 dB und die hohe Cutoff bei 50 Hz mit einer Flankensteilheit von 12 dB. Auch ermöglichen, eine Kerbe bei 60 Hz Frequenz. </li><li> Da ein Gleichspannungsverstärker verwendet wird, detrend DC Signal (Klicken Sie auf &quot;Transformations / DC Detrend ... &quot;und aktivieren Sie&quot; basierend auf Zeit &quot;bei 100 msec vor der Markierung und 100 ms, bevor DC-Verbindung). </li><li> Führen Sie eine Rohdaten Inspektion (Anweisungen &quot;Transformation / Rohdaten Inspektion ...&quot; und wählen semi-automatische Artefaktentfernung). Wählen Sie die folgenden: Maximalspannung 60 &amp; mgr; V / ms; Max-min: 200 &amp; mgr; V in 200 ms-Intervall; Amplitude: -400 bis +400 &amp; mgr; V). </li><li> Führen Sie eine automatische ICA mit klassischen Kugelbildung für Lidschlag Entfernung (myographischen Artefakte müssen nicht entfernt werden, da ihre Reichweite außerhalb der interessierenden Frequenzen). (Klicken Sie auf &quot;Transformations / ICA ...&quot;. Am Ende des ICA, Prozess die inverse ICA.) </li><li> Re-Referenz (&quot;Transformations / Re-Referenz ...&quot;) das Signal und wählen Sie &quot;gemeinsamen Durchschnitt&quot;. </li><li> Export (klicken Sie auf &quot;Export / Generic Data Export ...&quot;) das Signal und Markierungen im Text-Format (Wählen Sie die &quot;.vhdr&quot;; box) für einen eventuellen Matlab Bau des Engagement Index. Wählen Sie außerdem die &quot;Write-Header-Datei&quot; und &quot;Write Marker Datei&quot; Boxen. </li></ol></li><li> Importieren Sie das Signal in Matlab. <ol><li> Starten Sie Matlab und geben Sie &quot;eeglab&quot; so die GUI von EEGLab erscheint und Import der Daten für einen Teilnehmer zu einem Zeitpunkt. In der GUI wählen Sie den Punkt Menü &quot;Datei / Importieren von Daten / Verwenden EEGLab Funktionen und plugins / Aus Gehirn Vis Rec .vhdr Datei&quot;. </li><li> Im Befehlsfenster, und fügen Sie ihn ein Skript 16, die ein Engagement Index erzeugt. HINWEIS: Die kognitive Eingriff Skript wird durch den Mittelwert der jeweiligen Beta / (Alpha + Theta) -Verhältnis innerhalb eines 20 s-Schiebefenster vorhergehenden T. Dieses Verfahren berechnet wird, jede Sekunde und eine neue Schiebefenster wird verwendet, um den Index zu aktualisieren wiederholt. </li></ol></li><li> In MS Excel, öffnen Sie die Textdatei des Eingriffs Index, der am Ende des Skripts von Matlab erzeugt wird und tragen Sie eine z-score Normalisierung auf EEG-Daten zu interindividuelle Vergleich zu ermöglichen. (Für jeden Wert, berechnen Sie diese Formel in Excel: Z = (Wert - Gesamtmittelwert) / Gesamtstandardabweichung.) </li><li> Speichern Sie die Z-Score Engagement Indexsignal in eine CSV-Datei in MS Excel. (Klicken Sie auf Datei / Speichern unter ... und wählen Sie in der CSV-Format-Typ.) </li><li> Wiederholen Sie den Vorgang (aus Schritt 6.1.2.2.) Für jeden Teilnehmer. </li></ol></li><li> Physiologie: <ol><li> Import EDA Daten in physiologischen Datenanalysesoftware. </li><li> Übernehmen Sie diese Parameter vor, eine Prozess des physiologischen Signals: <ol><li> Tragen Sie eine logarithmische Transformation, um die Verteilung der Leitfähigkeit nach Venables und Christies 23 Verfahren zu normalisieren. </li><li> Wohnung das Signal auf einem 10 sec Schiebefenster 24. </li></ol></li><li> Im physiologischen Software, berechnen einen Z-Score Normalisierung auf den EDA-Daten zu interindividuelle Vergleich zu ermöglichen. (Z = (Wert - Gesamtmittelwert) / Gesamtstandardabweichung). <ol><li> Markieren Sie alle Daten mit dem Cursor aus dem EDA-Kanal. </li><li> In der oberen Menüleiste, wählen Sie die EDA-Kanal, und wählen Sie &quot;bedeuten&quot;, um den Mittelwert des gesamten Kanals zu erhalten. Wählen Sie außerdem die EDA-Kanal und &quot;stddev&quot;, um den Standardabweichungswert des gesamten Kanals zu erhalten. </li><li> Um die z-score-Gleichung zu berechnen, klicken Sie auf &quot;Transformation / Waveform Math ...&quot; und wählen Sie die EDA-Kanal in Source 1. Wählen Sie &quot;-&quot; (minus) in der mathematischen Operation Fenster und wählen Sie K in Quelle 2. Wählen Sie &quot;Neues Ziel&quot; im Zielmenü und geben Sie den Mittelwert der EDA-Kanal (siehe Schritt 6.2.3.2). Wählen Sie &quot;Transform ganze Welle&quot;, klicken Sie auf OK und klicken Sie auf &quot;Transformation / Waveform Math ...&quot;. Wählen Sie das EDA-K-Kanal in Quelle 1, wählen Sie &quot;/&quot; (divide) in der mathematischen Operation Fenster, wählen Sie K in Quelle 2, wählen Sie &quot;Neues Ziel&quot; im Ziel und enter den Standardabweichungswert der EDA-Kanal (Schritt 6.2.3.2). Wählen Sie &quot;Transform ganze Welle&quot; und klicken Sie auf OK. </li></ol></li><li> Exportieren Sie das Signal (Erregung) in einer CSV-Datei. (Klicken Sie auf Datei / Speichern unter ... und wählen Sie in der CSV-Format-Typ.) </li></ol></li><li> Automatische Gesichtsemotionserkennung: <ol><li> Importieren von Videodaten vom Medienrecorder in automatische Gesichtsemotionserkennungssoftware. (Klicken Sie auf &quot;Datei / Neu ... / Teilnehmer ...&quot;. Nach der Auswahl eines neuen Teilnehmer in das Projekt-Menü, indem Sie auf sie, klicken Sie auf &quot;Datei / Neu / Analyse / Video ...&quot;. Klicken Sie auf die Lupe neben Analysis 1 und wählen Sie die gewünschte Videodatei. <ol><li> Wählen Sie eine Offline-Analyse für &quot;jeden dritten Rahmen&quot; und aktivieren Sie &quot;kontinuierliche Kalibrierung&quot;. </li><li> Export Wertigkeit von Daten in einer CSV-Datei. (Klicken Sie auf &quot;Optionen / Einstellungen / Logging ...&quot;, überprüfen Sie die &quot;Write Wertigkeit Wert in der Protokolldatei&quot; ein. Klicken Sie auf &quot;Datei /Export ... &quot;, wählen Sie den Speicherort für die Protokolldateien exportiert werden, und überprüfen Sie die&quot; Save detailliertes Logbuch &quot;ein.) </li><li> Öffnen Sie die CSV-Datei in MS Excel. Kopieren Sie die Wertigkeit Datenspalte in einer einzelnen Spalte der SPSS-Software. Klicken Sie auf &quot;Analyse / Deskriptive Statistik / Deskriptive&quot; und wählen Sie die soeben eingefügten Variablennamen. Aktivieren Sie das Feld &quot;Speichern standardisierte Werte in Variablen&quot;. Eine Säule mit einem Z-Score wird angezeigt. Copy-Paste diese Z-Scores über die alten Daten in der Excel-Datei. </li></ol></li><li> Speichern Sie die Excel-Datei mit den Z-Scores des Signals (Valenz) im CSV-Format. </li></ol></li></ol> 7. Data Integration und Synchronisation <ol start="1"><li> In Verhaltensanalyse-Software: <ol><li> Import Eye-Tracking-Videos (Verhaltens Engagement). (Klicken Sie auf &quot;Datei / Import / Video in einem neuen Beobachtung ...&quot;. Benennen Sie den neuen Beobachtungen und wählen Sie die gewünschte Videodatei.) </li><li> Code jedes Video mit einschlägig seinhaviors und kontextbezogene Ereignisse (Zeitmarken, richtig / falsch Antworten). </li><li> Importieren Sie alle externen Daten mit der entsprechenden Kopfzeile: Z-Score von EEG-Signal (kognitive Engagement), Z-Score von EDA-Signal (emotionales Engagement), Z-Score Wertigkeitsdaten (emotionales Engagement). (Klicken Sie auf &quot;Datei / Import / Externe Daten ...&quot;. Wählen Sie den entsprechenden Dateityp und wählen Sie das richtige CSV-Datei.) </li></ol></li><li> Synchronisieren der Zeit zwischen Computern nach diesen Formeln: <ol><li> Zeit in Blick von Zeit in EEG = Zeit in Blick + zweiten Marker in EEG - erste Markierung in Blick. </li><li> Zeit in Blick von Zeit in Gesichtsemotionserkennung = Zeit in Blick + erste Markierung in Gesichts emotion - erste Markierung in Blick. </li><li> Zeit in Blick von Zeit in elektrodermale Aktivität = Zeit in Blick + erste Markierung in elektrodermale Aktivität - erste Markierung in Blick. </li></ol></li><li> Geben Sie die Korrekturdaten durch Drücken von &quot;Strg + Umschalt + =221 ;, um die Offset-Menü zu öffnen. Wählen Sie &quot;Numerische Offset&quot;, um die Zeit in Sekunden zwischen jedem Paar von Datenquellen geben Sie [OK?]), Nach den obigen Berechnungen. </li><li> Erstellen Sie einen Bericht nach den Variablen von Interesse in der Studie. <ol><li> Wählen Sie interessante Variablen, die in dem Bericht generiert werden (klicken Sie auf &quot;Analyze / Select Data / New Profile Data ...&quot;). Von links, schieben Sie die gewünschten Variablen zwischen dem &quot;Start&quot; Box und der &quot;Ergebnisse&quot; Feld auf der rechten Seite. </li><li> Erstellen Sie den Bericht. (Klicken Sie auf &quot;Analyze / Numerik / Neu ...&quot;, klicken Sie auf &quot;Statistik&quot; und überprüfen Sie die mittlere Box in der externen Datenmenü. Klicken Sie abschließend &quot;Berechnen&quot;.) </li></ol></li><li> Exportieren Sie die Daten in die statistische Analyse-Software und führen Sie Analyse nach den Studienziele. </li></ol>

<ol>
	<li>Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=School+engagement:+Potential+of+the+concept,+state+of+the+evidence.">School engagement: Potential of the concept, state of the evidence.</a> Rev. Educ. Res. 74 (1), 59-109 (2004).</li><li>Clark, R. C., Mayer, R. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> E-learning and the Science of Instruction. , (2011).</li><li>Zhang, D., Zhou, L., Briggs, R. O., Nunamaker, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Instructional+video+in+e-learning:+Assessing+the+impact+of+interactive+video+on+learning+effectiveness.">Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness.</a> Inform. Manage. 43 (1), 15-27 (2006).</li><li>Freeman, F. G., Mikulka, P. J., Prinzel, L. J., Scerbo, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluation+of+an+adaptive+automation+system+using+three+EEG+indices+with+a+visual+tracking+task.">Evaluation of an adaptive automation system using three EEG indices with a visual tracking task.</a> Biol. Psychol. 50, 61-76 (1999).</li><li>Glimcher, P., Rustichini, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Neuroeconomics:+The+consilience+of+brain+and+decision.">Neuroeconomics: The consilience of brain and decision.</a> Science. 306 (5695), 447-452 (2004).</li><li>Lieberman, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Social+Cognitive+neuroscience:+A+review+of+core+processes.">Social Cognitive neuroscience: A review of core processes.</a> Annu. Rev. Physiol. 58, 259-289 (2007).</li><li>Pope, A. T., Bogart, E. H., Bartolome, D. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Biocybernetic+system+evaluates+indices+of+operator+engagement+in+automated+task.">Biocybernetic system evaluates indices of operator engagement in automated task.</a> Biol. Psychol. 40 (1-2), 187-195 (1995).</li><li>Mandryk, R., Inkpen, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Physiological+indicators+for+the+evaluation+of+co-located+collaborative+play.">Physiological indicators for the evaluation of co-located collaborative play.</a> , (2004).</li><li>Allaire-Duquette, G., Charland, P., Riopel, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=At+the+very+root+of+the+development+of+interest:+Using+human+body+contexts+to+improve+women&#8217;s+emotional+engagement+in+introductory+physics.">At the very root of the development of interest: Using human body contexts to improve women&#8217;s emotional engagement in introductory physics.</a> Eur. J. Phy. Ed. 5 (2), 31-48 (2014).</li><li>Bradley, M. M., Lang, P. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Measuring+emotion:+The+self-assessment+manikin+and+the+semantic+differential.">Measuring emotion: The self-assessment manikin and the semantic differential.</a> J. Behav. Ther. Exp. Psy. 25 (1), 49-59 (1994).</li><li>Lang, P. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+emotion+probe:+Studies+of+motivation+and+attention.">The emotion probe: Studies of motivation and attention.</a> Am. Psychol. 50 (5), 372-385 (1995).</li><li>Ekman, P., Felt Friesen, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=false,+and+miserable+smiles.">false, and miserable smiles.</a> J. Nonverbal Behav. 6 (4), 238-252 (1982).</li><li>Van Kuilenburg, H., Den Uyl, M. J., Isra&#235;l, M. L., Ivan, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Advances+in+face+and+gesture+analysis.">Advances in face and gesture analysis.</a> , 371-372 (2008).</li><li>Cacioppo, J., Tassinary, L. G., Berntson, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Handbook of Psychophysiology. , (2007).</li><li>Lubar, J. F., Swartwood, M. O., Swartwood, J. N., O&#8217;Donnell, P. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluation+of+the+effectiveness+of+EEG+neurofeedback+training+for+ADHD+in+a+clinical+setting+as+measured+by+changes+in+T.O.V.A.+scores,+behavioral+ratings,+and+WISC+R+performance.">Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in T.O.V.A. scores, behavioral ratings, and WISC R performance.</a> Biofeedback Self-reg. 20 (1), (1995).</li><li>Mikulka, P. J., Freeman, F. G., Scerbo, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effects+of+a+biocybernetic+system+on+the+vigilance+decrement.">Effects of a biocybernetic system on the vigilance decrement.</a> Hum. factors. 44 (4), 654-664 (2002).</li><li>Freeman, F. G., Mikulka, P. J., Scerbo, M. W., Scott, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+evaluation+of+an+adaptive+automation+system+using+a+cognitive+vigilance+task.">An evaluation of an adaptive automation system using a cognitive vigilance task.</a> Biol. Psychol. 67 (3), 283-297 (2004).</li><li>Chaouachi, M., Chalfoun, P., Jraidi, I., Frasson, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Affect+and+mental+engagement:+Toward+adaptability+for+intelligent+systems.">Affect and mental engagement: Toward adaptability for intelligent systems.</a> Proceedings of the Twenty-Third International Florida Artificial Intelligence Research Society Conference (FLAIRS 2010), Association for the Advancement of Artificial Intelligence. , 355-360 (2010).</li><li>Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labont&#233;-LeMoyne, &. #. 2. 0. 1. ;. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Precision+is+in+the+eye+of+the+beholder:+Application+of+eye+fixation-related+potentials+to+information+systems+research.">Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research.</a> J. Assoc. Inf. Syst. 15 (10), 651-678 (2014).</li><li>Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labont&#233;-Lemoyne, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Applying+eye+fixation-related+potentials+to+information+systems+research:+Demonstration+of+the+method+during+natural+IS+use+and+guidelines+for+research.">Applying eye fixation-related potentials to information systems research: Demonstration of the method during natural IS use and guidelines for research.</a> J. Assoc. Inf. Syst. 15 (10), (2014).</li><li>Courtemanche, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Un outil d&#8217;&#233;valuation neurocognitive des interactions humain-machine Doctoral thesis. , (2014).</li><li>Charland, P., L&#233;ger, P. M., Mercier, J., Skelling-Desmeules, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Assessing+multiple+dimensions+of+learner+engagement+during+science+problem+solving+using+psychophysiological+and+behavioral+measures.">Assessing multiple dimensions of learner engagement during science problem solving using psychophysiological and behavioral measures.</a> , (2014).</li><li>Venables, P. H., Christie, M. J., Martin, I., Venables, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Electrodermal+activity.">Electrodermal activity.</a> Techniques in Psychophysiology. , 3-67 (1980).</li><li>Boucsein, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Electrodermal Activity. , (2012).</li><li>Sarlo, M., Palomba, D., Buodo, G. M., Minghetti, R., Stegagno, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Blood+pressure+changes+highlight+gender+differences+in+emotional+reactivity+to+arousing+pictures.">Blood pressure changes highlight gender differences in emotional reactivity to arousing pictures.</a> Biol. Psychol. 70 (3), 188-196 (2005).</li><li>Martens, R. L., Gulikers, J., Bastiaens, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+impact+of+intrinsic+motivation+on+e-learning+in+authentic+computer+tasks.">The impact of intrinsic motivation on e-learning in authentic computer tasks.</a> J. Comput. Assist. Lear. 20 (5), 368-376 (2004).</li></ol>

The authors have nothing to disclose.

In Bezug auf die kritischen Schritte im Protokoll ist zunächst festzustellen, dass Datenqualität ist immer das Hauptaugenmerk für die neurophysiologische Erhebungstechniken. Bei dieser Methode müssen wissenschaftliche Mitarbeiter ein besonderes Augenmerk auf die Themen, die anweist, Kopfbewegungen, die mit Wertigkeit Überwachung (verlieren richtigen Gesichtswinkel für die Kamera) stören oder erzeugen myographischen Artefakte im EEG wird minimiert zu zahlen. Auf der anderen Seite muss ein Gleichgewicht zwischen de...

Engagement spielt eine entscheidende Rolle beim Lernen. Für Clark und Mayer 2, &quot;alles Lernen erfordert Engagement,&quot; unabhängig von Fördermedien. Zhang et al. 3 auch vorgeschlagen, dass erhöhte Studentenverpflichtung können Lernergebnisse, wie Problemlösung und kritisches Denken zu verbessern. Engagement definieren, bleibt eine Herausforderung. In ihrer Literatur, Fredricks, Blumenfeld und Paris 1 Engagement durch seine Vielschichtigkeit: &quot;Behavioural Engagement basiert auf der Idee der Beteiligung; es enthält Beteiligung an akademischen und sozialen oder außerschulischen Aktivitäten. (...) Emotionales Engagement umfasst positive und negative Reaktionen auf Lehrer, Schüler, Wissenschaftler und der Schule und wird angenommen, dass Verbindungen zu einem Objekt und Einfluss Bereitschaft, die Arbeit zu tun zu schaffen. Schließlich zieht kognitive Engagement auf der Idee der geistigen Investitionen; es enthält Sichtnahme und die Bereitschaft, die Bemühungen ang ausübenwendig, komplexe Ideen und Master schwierig Fähigkeiten zu begreifen. &quot; Fredricks, Blumenfeld und Paris 1, dadurch gekennzeichnet, dass ein Schwerpunkt auf Verhalten, Emotion und Kognition, unter den Begriff der Eingriff kann eine reichere Charakterisierung von Lernen. Diese Autoren darauf hingewiesen, dass ein robuster Körper der Forschung befasst sich jede Komponente des Engagements getrennt, aber diese Komponenten nicht in Verbindung untersucht. Sie beobachteten auch, dass wenige Informationen über Wechselwirkungen zwischen den Dimensionen und dass weitere Studien könnten zu planen fein abgestimmten Lehr Interventionen bei. Als ein Schritt in diese Richtung, dieses Papier beschreibt eine Forschungsmethodik, die entwickelt wurde, um zu sammeln und während des Lernens Aufgaben quantitative und qualitative Daten, synchron, auf Verhaltens-, emotionale und kognitive Engagement zu analysieren. Bringen die Neurowissenschaften in Education Behavior und damit Verhaltens Engagement, ist seit langem im Mittelpunkt der Studien in der Ausbildung: Forschungsdesigns vor allem auf Veränderungen in Wissen und Verhalten über längere Zeit, zwischen Pre- und Posttests auftretenden fokussiert und über Abständen von Stunden, Wochen , Monaten oder Jahren. Unterscheiden zwischen Verhaltens-, emotionale und kognitive Engagement bleibt eine Herausforderung, da die letzten beiden Dimensionen sind nicht systematisch beobachtet werden extern. Kognition und Emotionen müssen entweder aus Beobachtungen abgeleitet oder mit Selbst-Bericht Maßnahmen bewertet werden. Von einem externen Standpunkt aus bleibt es schwierig, festzustellen, ob Schüler versuchen, um ihre Arbeit so schnell wie möglich oder mit Tiefebene Lernstrategien, um einen bestimmten Inhalt zu meistern getan. In der Tat waren Fredricks, Blumenfeld und Paris 1 konnten keine veröffentlichten Studien über direkte und objektive Messungen der kognitiven Engagement zu finden. Neueste technologische Entwicklungen inauf dem Gebiet der Neurowissenschaften haben neue Möglichkeiten für Bildungsforschung erstellt. Neue Methoden der Datenerhebung und auf dem Gebiet der Neuro Ergonomie entwickelt Analysealgorithmen scheinen während der Lernaufgaben sehr vielversprechend für die qualitative und quantitative Studien. Andere Disziplinen wie Ökonomie, Psychologie, Marketing und Ergonomie, habe mit neurophysiologischen Messungen der kognitiven Engagement einiger Zeit 4-8 zu bewerten. Neurophysiologische Maßnahmen, verbunden mit effizienten Analysealgorithmen erlauben es, ein Phänomen, ohne sie zu stören zu studieren. Ihrer Natur nach Selbst-Bericht Fragebogen zu lösen Studenten aus Lernen. Neurophysiologische Maßnahmen ermöglichen Forschungsdesigns um in authentischer Lernumgebungen durchgeführt werden. Zu diesen Werkzeugen gehören Geräte, die Herzfrequenz zu überwachen, Atemfrequenz, Blutdruck, Körpertemperatur, Pupillendurchmesser, Hautleitfähigkeit, Elektroenzephalographie (EEG), etc. <strong&gt; Versammlung synchronisierten Daten auf Behavioral, emotionale und kognitive Engagement Als repräsentative Ergebnisse nach der Verwendung dieses Protokoll, wird dieses Papier partiellen Ergebnisse einer Studie, bei der Lernende zu lösen hatten, auf einem Computerbildschirm, zehn Probleme der mechanischen Physik präsentieren. Diese Probleme wurden in früheren Arbeiten 9 entwickelt. Neurophysiologische Daten erhoben wurden, während die Lernenden wurden die Probleme zu lösen und entspannend während einer 45 s Pause, mit geschlossenen Augen, nach jedem Problem. Wie oben erwähnt, Verhaltens Engagement Daten bestehen aus Software-Interaktionen (Mausbewegungen und Klicks), Blick, Leistung und Antworten auf Fragen, die ein Lernender Interaktion mit dem System während Erfüllung der Aufgabe 1 hergestellt. Ein Eye-Tracking-System wurde verwendet, um Software-Interaktionen und Blick Daten zu sammeln. Performance-Daten (Zeit, um ein Problem zu lösen, Richtigkeit der Antworten) wurden auf einem gesammeltUmfrage Website, die verwendet wurde, um die Aufgabe zu präsentieren. Diese Webseite wurde auch zur Selbstberichtsdaten mit einem Fragebogen von Bradley und Lang 10 angepasst gesammelt zu sammeln. Emotionales Engagement beinhaltet Charakterisierung von Emotionen. Laut Lang 11, sind Emotionen in Bezug auf die Wertigkeit gekennzeichnet (angenehm / unangenehm) und Erregung (Ruhe / geweckt). Emotionales Engagement Daten wurden entsprechend aufgefangen, mit Hilfe der automatischen Gesichtsemotionserkennungssoftware, die emotionale Valenz und eine Hautleitfähigkeit Encoder / Sensor zur Erregung 12,13 quantifiziert. Hautleitfähigkeit (EDA) bezieht sich auf den aufgezeichneten elektrischen Widerstandes zwischen zwei Elektroden, wenn ein sehr schwacher elektrischer Strom kontinuierlich zwischen ihnen geleitet. Cacioppo, Tassinary und Berntson 14 hat gezeigt, dass der Widerstand aufgezeichnet ist je nach der Versuchsperson Erregung. Somit psychophysiologischen Daten, wie Valenz oder Erregung, als Korrelate emotionaler Eingriff betrachtet. <pclass = &quot;jove_content&quot;&gt; schließlich kognitive Engagement Daten durch Elektroenzephalographie (EEG) gesammelt. EEG Maßnahmen, auf die Kopfhaut, die synchronisierte elektrische Aktivität Gruppen von Neuronen im Gehirn. Elektrische Signale von der Kopfhaut aufgezeichnet sind oft oszillatorische und von Frequenzkomponenten zusammengesetzt ist. Vereinbarungsgemäß werden diese Frequenzen in Sequenzen zusammengefasst, wie Bands bekannt. Zum Beispiel Alpha-, Beta- und Theta-Bands stehen im Mittelpunkt dieser Studie. Nach neurowissenschaftliche Studien 14, diese Bands spiegeln verschiedene kognitive Verarbeitung Fähigkeiten in bestimmten Bereichen des Gehirns. Somit kann die Analyse der spektralen Leistungsdichte (PSD) von spezifischen Frequenzen in Verbindung mit zahlreichen Studien 7,15 auf Wachheit und Aufmerksamkeit, können Forscher kognitiven Eingriff während einer Aufgabe quantifizieren. Wie Mikulka et al. 16 festgestellt, hat die Forschung eine direkte Beziehung zwischen Beta-Aktivität und kognitive Aufmerksamkeit und eine indirekte Beziehung zwischen alpha eine gezeigtd Theta-Aktivität und Wachsamkeit. So, Papst, Bogart und Bartolome 7 entwickelt ein Engagement Index, der die PSD von drei Bands berechnet: beta / (alpha + theta). Dieses Verhältnis wurde in anderen Studien über Engagement 16,17,18 validiert. Kognitiven Eingriff im Laufe der Zeit zu charakterisieren, eine schnelle Fourier-Transformation (FFT) wandelt das EEG-Signal von jeder aktiven Stelle (F3, F4, O1, O2) in einem Leistungsspektrum. Das EEG Einbindung bei der Zeit T ist durch den Mittelwert der jeweiligen Eingriffsverhältnis innerhalb von 20 sec Gleitfenster vorhergehenden T. Dieses Verfahren wird in jeder Sekunde und eine neue Schiebefenster wird verwendet, um den Index zu aktualisieren wiederholt berechnet. Da das Ziel dieser Methode ist es, eine reiche Analyse der verschiedenen Dimensionen des Eingriffs bereitzustellen, ist die Datensynchronisation von entscheidender Bedeutung. Wie Leger et al. 19 erinnern Leser, empfehlen Hersteller von Geräten stark mit nur einem Computer pro Messinstrument, um ihre festgelegten Präzision le garantierenvel. Somit wird, wenn mehrere Computer eingesetzt werden, wird die Synchronisation zwischen Aufnahme Computern ein kritischer Schritt. Die Aufnahmen können nicht alle zur gleichen Zeit gestartet werden, und jeder Datenstrom hat einen bestimmten Zeitrahmen (beispielsweise s 0 von Eye-Tracking-≠ s 0 von EEG oder physiologische Daten). Dies ist äußerst wichtig: Desynchronisation zwischen Datenströmen Mittel Fehler bei der Quantifizierung von jeder Dimension des Eingriffs. Es gibt verschiedene Möglichkeiten der Synchronisation von gleichzeitigen physiologischen und verhaltens Aufnahmen. Diese Verfahren können in zwei Hauptansätze aufgeteilt werden; direkt und indirekt 20. Die in dem nächsten Abschnitt vorgestellt Protokoll basiert auf einem indirekten Ansatz, bei dem ein externes Gerät, einem Syncbox, wird verwendet, um Transistor-Transistor-Logik (TTL) Signale an alle Aufzeichnungsgeräte senden (wie in 1 gezeigt) auf der Basis. Da jedes Gerät hat eine andere Startzeit werden die TTL-Marker in den Protokolldateien mit einer relativen aufgezeichnet<html> Verzögerung. Marker werden dann verwendet, um die Signale neu ausrichten und sorgen so für eine korrekte Synchronisation nach jeder Aufnahme. Eine Verhaltensanalyse-Software-Programm, das externe Datei-Integration ermöglicht wird verwendet, um neu zu synchronisieren die Zeitleiste eines jeden Datenstroms und zur quantitativen und qualitativen Analyse der einzelnen Dimensionen des Eingriffs durchzuführen. <img alt="Abbildung 1" src="/files/ftp_upload/52627/52627fig1.jpg" /> Abbildung 1. Architektur des Data Collection-System. Die Testumgebung, in der Verhaltens (Eye-Tracking), emotional (EDA und Gesichts Emotion) und kognitive (EEG) Engagement Daten erhoben enthält viele Computer. Dies wirft eine Synchronisation Herausforderung für Daten, die auf ihren jeweiligen Computeruhren verwiesen wird. Um alle Daten in der gleichen Referenzzeit analysieren zu können, beinhaltet das Laboraufbau einer SyncBox, die TTL-Signale an alle Datenströme sendet.nk &quot;&gt; Bitte klicken Sie hier, um eine größere Version dieser Figur zu sehen. Um die Genauigkeit der Methode in Bezug auf die Synchronisation zu bestimmen, wurden 45 s Pausen vor jedem der mechanischen physikalischen Probleme eingeführt. Während dieser Pausen, hatte Untertanen zu entspannen und die Augen zu schließen. Wie in anderen Studien 4,9,16,17,18 gesehen sollten diese Pausen erhebliche Abweichungen des gesammelten Signals induzieren: Die beiden Augenpupille Punkte in Eye-Tracking sofort verschwinden (Verhaltens Engagement) und ein sofortiger Rückgang der kognitiven Engagement (EEG Signal) wird beobachtet. Diese spezifischen Komponenten des Signals werden verwendet, um die allgemeine Gültigkeit der Synchronisation zu bewerten. Die jüngste Veröffentlichung der Papiere, die ganz oder teilweise Vertrauen auf diese Synchronisationsverfahren, in den Bereichen Informationssysteme 19, Mensch-Maschine-Interaktionen 21 und Erziehung 9, 22, liefert Beweise für ihre Wirksamkeit.

<table border="0" cellpadding="0" cellspacing="0">
	<tbody>
		<tr>
			<td>EGI GSN-32&#160;</td>
			<td>EGI</td>
			<td>n/a</td>
			<td>Dense array EEG</td>
		</tr>
		<tr>
			<td>Netstation v.5.0</td>
			<td>EGI</td>
			<td>n/a</td>
			<td>EEG data collection software: EEG is collected with 32-electrode dense array electroencephalography (dEEG) geodesic sensor net using Netstation acquisition software and EGI amplifiers (Electrical Geodesics, Inc). The vertex (recording site Cz) is the reference electrode for recording. Impedance is kept below 50 k&#937; with a sampling rate of 250 Hz.&#160;</td>
		</tr>
		<tr>
			<td>Facereader v.4</td>
			<td>Noldus</td>
			<td>n/a</td>
			<td>Facial emotion recognition software</td>
		</tr>
		<tr>
			<td>Syncbox</td>
			<td>Noldus</td>
			<td>n/a</td>
			<td>Syncbox start the co-registration of EEG and gaze data by sending a Transistor-Transistor Logic (TTL) signal to the EGI amplifier and a keystroke signal to the Tobii Studio v 3.2.</td>
		</tr>
		<tr>
			<td>Logitech C600&#160; Webcam</td>
			<td></td>
			<td>960-000396</td>
			<td>Webcam used to gather video data sent to mediarecorder and that will be analyzed in Facereader</td>
		</tr>
		<tr>
			<td>The Observer XT</td>
			<td>Noldus</td>
			<td>n/a</td>
			<td>Integration and synchronization software: The Noldus Observer XT (Noldus Information Technology) is used to synchronize all behavioral, emotional and cognitive engagement data.&#160;</td>
		</tr>
		<tr>
			<td>On-Screen LED illumination</td>
			<td>Noldus</td>
			<td>n/a</td>
			<td>Neon positioned on computer screen in order to correctly light the face of subjects</td>
		</tr>
		<tr>
			<td>MediaRecorder</td>
			<td>Noldus</td>
			<td>n/a</td>
			<td>Video data collection software</td>
		</tr>
		<tr>
			<td>Tobii X60</td>
			<td>Tobii</td>
			<td>n/a</td>
			<td>Collect eye-movement patterns :&#160; used to record subjects&#8217; eye movement patterns at 60Hz during the experiment.&#160;</td>
		</tr>
		<tr>
			<td>Tobii Studio v.3.2</td>
			<td>Tobii</td>
			<td>n/a</td>
			<td>Eye-tracking data collection and analysis software</td>
		</tr>
		<tr>
			<td>Analyzer 2</td>
			<td>Brainvision</td>
			<td>n/a</td>
			<td>EEG signal processing software</td>
		</tr>
		<tr>
			<td>Acqknowledge v.4.0</td>
			<td>Biopac</td>
			<td>ACK100M</td>
			<td>Physiological signal acquisition and processing software</td>
		</tr>
		<tr>
			<td>Control III germicide solution</td>
			<td>Maril Products.</td>
			<td>10002REVA-20002-1</td>
			<td>Disinfectant solution used with EEG helmets : recommended by EGI</td>
		</tr>
		<tr>
			<td>Unipark</td>
			<td>QuestBack AG</td>
			<td>n/a</td>
			<td>Online survey environment</td>
		</tr>
	</tbody>
</table>

assessing the multiple dimensions of engagement to characterize learning: a neurophysiological perspective

In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: behavioral, emotional and cognitive. They observed that individual types of engagement had not been studied in conjunction, and little information was available about interactions or synergy between the dimensions; consequently, more studies would contribute to creating finely tuned teaching interventions. Benefiting from the recent technological advances in neurosciences, this paper presents a recently developed methodology to gather and synchronize data on multidimensional engagement during learning tasks. The technique involves the collection of (a) electroencephalography, (b) electrodermal, (c) eye-tracking, and (d) facial emotion recognition data on four different computers. This led to synchronization issues for data collected from multiple sources. Post synchronization in specialized integration software gives researchers a better understanding of the dynamics between the multiple dimensions of engagement. For curriculum developers, these data could provide informed guidelines for achieving better instruction/learning efficiency. This technique also opens up possibilities in the field of brain-computer interactions, where adaptive learning or assessment environments could be developed.

<html> Die 2 und 3 zeigen Screenshots der Ergebnisse bei der Integration und Synchronisation von Verhaltens-, emotionale und kognitive Engagement Daten in einer Verhaltensanalyse-Software-Anwendung. In beiden Figuren organisiert die linken Teil der Versuchspersonen und die Codierungsschema. Im mittleren Bereich, ein Video (mit roten Punkten) zeigt Blick des Subjekts während der Aufgabe. Des Subjekts Verhaltens Engagement kann auf das, was er / sie sich an während der Aufgabe sucht und welche Maßnahmen...

Watch this Scientific Journal Video about Assessing the Multiple Dimensions of Engagement to Characterize Learning: A Neurophysiological Perspective at JoVE.com

Assessing the Multiple Dimensions of Engagement to Characterize Learning: A Neurophysiological Perspective

This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners&#8217; engagement during a task.

Beurteilung der vielfältigen Dimensionen von Engagement zu charakterisieren Learning: Eine neurophysiologische Perspective

In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: ...

assessing-multiple-dimensions-engagement-to-characterize-learning

Research

JoVE Journal

Behavior

12.4K Aufrufe.  Université du Québec à Montréal. This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners’ engagement during a task. 