The authors acknowledge the financial support of the Social Sciences and Humanities Research Council of Canada (SSHERC), Natural Sciences and Engineering Research Council of Canada (NSERC), Fonds de Recherche Nature et Technologies du Qu&#233;bec (FQRNT) and Fonds de Recherche sur la Soci&#233;t&#233; et Culture du Qu&#233;bec (FQRSC).

このプロトコルは、Tech3Lab研究施設のためのHEC-モントリオールによって承認されたComitéinstitutionnel·デ·ラ·RECHERCHE AVEC DESêtreshumains（CIER）ドゥ大学ケベックモントリオールà（UQAM）から倫理的な証明書を受け取りました。プロトコルは、私たちのラボ環境や機器で実行される特定の各手順を説明しています。正確なソフトウェアパスが方法論を明確にするために設けられているが、この技術は譲渡であり、他の独自の視線追跡、自動顔感情認識、電気活動と脳波の機器やソフトウェアで複製することができます。 ラボ環境の1.セットアップ<ol><li>アイトラッカー、EEGアンプ、4つの記録コンピュータやスピーカーをオンにします。 </li><li>録音機器の設定を準備します。 <ol><li>メーカーのrecommeに従って、必要な材料とのEEGセットアップの準備nded手順。今後の参加者の脳波ソフトウェアを準備します。視線追跡ソフトウェアを起動して、ソフトウェアで新しい参加者のプロファイルを作成します。ビデオ録画ソフトウェアとカメラを起動します。 </li><li> 60秒でのマーカーとプロジェクトのために作成された特定のサブルーチンとの同期ソフトウェアを起動します。生理学的測定ソフトウェアを起動します（皮膚電気活動を記録するため）およびプロジェクト用に作成した特定のレイアウトを開きます。最高レベルの参加者の椅子を調整します。 </li></ol></li></ol> 2.参加者の準備<ol><li>倫理的な同意書を読み、署名する参加者を確認して下さい。 </li><li> EEGのための頭蓋骨の測定を行います。 <ol><li> （ - 20参照システム10によれば）参加者の頭部上のCzの場所を検索します。食塩水（塩化カリウム）でEEGネットを浸し（ステップ1.2.1を参照）、メーカーの基準に準拠してタイマー（10分）を起動します。&lt;/ LI&gt; </ol></li><li>参加者に研究の目的と実験の手順を読んで、「 この研究の目的は、あなたが物理学の問題に答えている間、あなたの脳の活動を観察することです。まず、センサーがインストールされます、あなたは、コンピュータ上で10ニュートン物理学の問題を解決することが求められます。私たちはあなたの目でそれぞれの問題を閉じた後、45秒の休憩を取るように求められます。それぞれの問題の後、あなたは、問題のあなたの評価を評価するように求められます。」 </li><li>実験の全持続時間は90分となり、被写体を教えてください。 </li><li>製造業者の推奨に従って、生理学的センサをインストールします。2ゲル化しセンサーを左手の上に。 </li><li>製造業者の推奨に従って、EEGキャップを取り付け、（製造業者の仕様書に従って）40kΩので閾値とインピーダンスチェックを行います。 </li></ol> 3.データ収集<ol><li>全ての記録ソフトウェアが同期して開始する準備ができていることを確認してください： <ol><li>生理学（EDAデータ）：「スタート」ボタンをクリックします。 </li><li>ビデオ録画：「開」ボタンをクリックします。 </li><li>アイトラッキング：「保留」ボタンをクリックします。 </li><li> EEG：「記録」ボタンをクリックします。 </li><li>同期ソフトウェア：「緑の円」ボタンをクリックします。 </li></ol></li><li>視線のキャリブレーション： <ol><li> （「ツール/設定/校正を...」をクリック）5点、画面上のキャリブレーションを実行し、彼/彼女は赤い点を次のながら参加者を観察します。十分な精度が達成されるまで、メーカーの基準に基づいて、この手順を繰り返します。 </li></ol></li><li>参加者の画面上にプロジェクトタスクの手順を：彼/彼女がそれらを読んだ後、任意の質問を持っている場合、彼/彼女は、実験を開始する準備ができているかどうか尋ねます。 </li><li> 10ニュートンPを解決するために、参加者を確認して下さいhysics問題。 </li><li>必要に応じて、45秒の休憩の間にインピーダンスチェックを実行（ない問題5の前に）。 </li><li>参加者が（ベースラインを決定するために）それぞれの問題の前にブレークフル45秒を要することを確認してください。 </li></ol>データ収集の4終了<ol><li>すべてのコンピュータ上のデータ収集を停止し、参加者からセンサーを取り外します。 </li></ol> 5.参加者が離れた後<ol><li>製造業者の推奨に従って、殺菌剤とのEEGキャップを清掃し、設備を整えます。収集したすべてのデータファイルを保存し、FTPサーバ上でバックアップを作成します。 </li><li>参加者のスプレッドシートに入力します。データ収集中の任意の特定のイベントや問題に注意してください。 WebブラウザからすべてのCookieを削除します。 </li></ol> 6.統合ソフトウェアへのデータの前処理およびエクスポート<ol start="1"><li> EEG <ol><li> EEGデータ分析ソフトウェアにインポートEEGデータ： <ol><li>新しく作成された生のデータファイルに生の脳波データを貼り付け、「生データ」、「歴史」と「エクスポート」という名前のコンピュータ上に3つの空のフォルダを作成します。 </li><li> EEGデータ解析ソフトウェアでは、「ファイル/新規プロジェクトを...」をクリックした後、新たに作成された生データファイルを選択し、[参照]をクリックして、生のデータの場所を選択します。 「歴史」と同じように「エクスポート」フォルダの場所を選択します。 </li><li> 「OK」をクリックします。 （ウィンドウは、すべての参加者の脳波データが含まれている必要があります）。 </li></ol></li><li>前処理脳信号： <ol><li>フィルタとノッチを適用します（「トランスフォーメーション/ IIRフィルタを...」をクリックします）。ウィンドウでは、12デシベルの傾斜と12デシベルの傾斜と50 Hzの高域遮断と1.5 Hzの低域遮断を有効にしてください。また、60Hzの周波数でノッチを有効にしてください。 </li><li> DC増幅器が使用されるため、DC信号をトレンド除去（「トラをクリックnsformations / DCトレンド除去...」とイネーブル &quot;DC接続する前に、マーカーの前に100ミリと100ミリ秒で、「時間に基づきます）。 </li><li>生データの検査を行う（「変換/生データ検査...」をクリックして、半自動アーティファクト除去を選択します）。次の項目を選択します。最大電圧60μV/ MS;最大 - 最小：200ミリ秒間隔で200μV。振幅：-400 400にμV）。 </li><li>まばたきの除去のための古典的な球形で自動ICAを実行します（その範囲は、目的の周波数の外にあるので、myographicアーチファクトが除去される必要はありません）。 （ICA、プロセス逆ICAの終わりに。「...変換/ ICA」をクリックしてください。） </li><li>再基準（「変換/再参照...」）信号とは、「共通の平均」を選択してください。 </li><li>エクスポート（「エクスポート/汎用データエクスポート...」をクリックします）テキスト形式で信号およびマーカーは、（「.vhdr」を選択します;係インデックスの最終的なMatlabの建設のためのボックス）。また、「ライト·ヘッダ·ファイル」と「ライトマーカーファイル」ボックスをオンにします。 </li></ol></li><li> MATLABで信号をインポートします。 <ol><li> MATLABを起動し、EEGLABのGUIは、一度に1つの参加者のデータを表示され、インポートように「EEGLAB」と入力します。 GUIで、[項目メニュー」/脳ヴィスレック.vhdrファイルからEEGLAB機能やプラグインを使用したファイル/データのインポート/ &quot;。 </li><li>コマンドウィンドウで、係のインデックスを生成するスクリプト16を貼り付けます。 注：認知的関与のスクリプトは、この手順は、毎秒繰り返され、新たなスライディングウィンドウがインデックスを更新するために使用される時間Tの前に20秒スライディングウィンドウ内の各ベータ版/（アルファ+シータ）比の平均値によって計算されます。 </li></ol></li><li> MS Excelで、MATLABが、スクリプトの終了時に生成された係合インデックスのテキストフ​​ァイルを開くとz SCORを適用EEGデータで電子の正規化は、被験者間の比較を可能にします。 （Excelでこの数式を計算し、それぞれの値の場合：Z =（値 - 全体平均）/全体の標準偏差） </li><li> MS ExcelでCSVファイルにZスコア係インデックス信号を保存します。 （...として保存/ファイルをクリックし、フォーマットタイプでCSVを選択します。） </li><li> （ステップ6.1.2.2から。）手順を繰り返し、各参加者のために。 </li></ol></li><li>生理学： <ol><li>生理的データ分析ソフトウェアでインポートEDAデータ。 </li><li>生理学的信号を事前処理するために、これらのパラメータを適用します。 <ol><li> Venablesとクリスティーズ23の方法に従ってコンダクタンスの分布を正規化する対数変換を適用します。 </li><li>フラット窓24をスライドさせる 10秒の信号。 </li></ol></li><li>生理ソフトウェア内では、被験者間の比較を可能にするために、EDAデータのZスコアの正規化を計算します。 （Z =（値 - 全体平均）/全体的な標準偏差）。 <ol><li> EDAチャネルからのカーソルですべてのデータを強調表示します。 </li><li>トップメニューでは、EDAチャネルを選択して、チャネル全体の平均値を得るために「平均」を選択します。また、チャネル全体の標準偏差値を得るために、EDAチャネルと「STDDEV」を選択します。 </li><li> Zスコアの方程式を計算するには、「変換/波形演算を...」をクリックし、ソース1にEDAのチャンネルを選択します。 「 - 」を選択し、数学的操作画面で（マイナス）と宛先メニューの「新規宛先」ソース2.選択にKを選択し、EDAチャネルの平均値を入力します（ステップ6.2.3.2を参照）。 「全体の波を変換」を選択し、[OK]をクリックすると、「変換/波形演算を...」をクリックします。ソース1にEDA-Kチャネルを選択し、数学的な操作画面で、「/」（除算）を選択し、ソース2にKを選択し、目的地に「新デスティネーション」を選択して、エンテEDAチャネル（ステップ6.2.3.2）の標準偏差値rを。 「全体の波を変換」して、[OK]をクリックし選択します。 </li></ol></li><li> CSVファイル内の信号（覚醒）をエクスポートします。 （...として保存/ファイルをクリックし、フォーマットタイプでCSVを選択します。） </li></ol></li><li>自動顔感情認識： <ol><li>自動顔感情認識ソフトウェアにメディアレコーダーからインポートされた映像データ。 （「...ファイル/新規作成/分析/ビデオ」を、それをクリックすることで、プロジェクトメニューに新しい参加者を選択したら、クリックします。 &quot;...ファイル/新規... /参加者」をクリックしてください。分析1の隣にある虫眼鏡をクリックして、目的を選択ビデオファイル。 <ol><li> 「3フレームごと」のオフライン分析を選択し、「連続キャリブレーション」を有効にします。 </li><li> CSVファイルでエクスポート価データ。 （「オプション/設定/ログ機能を... &quot;をクリックして、「ログ·ファイルに価値を書く&quot;チェックボックスをオンにします。/ &quot;ファイルをクリックしますエクスポート...詳細なログを保存する「ボックス」、ログファイルをエクスポートし、チェックする場所を選択します &quot;。） </li><li> MS ExcelでCSVファイルを開きます。 SPSSソフトウェアの1つの列に、価電子データ列をコピーします。 「Analyseを/記述統計統計/記述統計」をクリックして、ジャスト貼り付け変数名を選択します。 「変数に標準化された値を保存」ボックスにチェックを入れます。 Zスコアを持つ列が表示されます。 Excelファイル内の古いデータの上に、これらのzスコアをコピー＆ペーストします。 </li></ol></li><li> CSV形式の信号（価）のzスコアのExcelファイルを保存します。 </li></ol></li></ol> 7.データ統合と同期<ol start="1"><li>行動解析ソフトウェアで： <ol><li>インポートアイトラッキングの動画（行動係）。 （「新しい観測でファイル/読み込み/ビデオを...」をクリックします。新しい観測に名前を付け、目的のビデオファイルを選択します。） </li><li>コー​​ド関連BEと各ビデオhaviors、コンテキストイベント（時間マーカー、右/間違った答え）。 </li><li>適切なヘッダーを持つすべての外部データをインポートする：EEG信号（認知的関与）のZスコア、EDA信号（感情のかかわり）、価電子データのZスコア（感情的なエンゲージメント）のZスコア。 （「ファイル/インポート/外部データの...」をクリックします。適切なファイルの種類を選択し、適切なCSVファイルを選択します。） </li></ol></li><li>これらの式によれば、コンピュータ間で時刻を同期します。 <ol><li>視線の最初のマーカー - 視線+ EEGにおける第2のマーカーでEEG =時間の時間からの視線の時間。 </li><li>視線の最初のマーカー - 視線+顔面感情で最初のマーカーで顔感情認識=時間の時間からの視線の時間。 </li><li>視線の最初のマーカー - 視線+電気活動の最初のマーカーで電気活動=時間の時間からの視線の時間。 </li></ol></li><li> 」を押すと、オフセットデータを入力してはCtrl + Shift + =221 ;,オフセットメニューを開きます。選択して[OK？]データソースの各ペアの間の時間を秒単位で入力するには、「数値はオフセット」）、上記の計算によると。 </li><li>研究への関心の変数に応じてレポートを生成します。 <ol><li>レポートに生成されます興味深いの変数を選択します（ &quot;/ [データ/新しいプロファイルデータを分析...」をクリックします）。左から、「スタート」ボックスと右側の「結果」ボックスに、間に所望の変数をスライドさせます。 </li><li>レポートを生成します。 （「分析/数値解析/新規...」をクリックして、「統計」をクリックし、[外部データ]メニューの平均ボックスをオンにします。「計算」をクリックして終了します。） </li></ol></li><li>統計解析ソフトウェアにデータをエクスポートし、研究の目的に応じた分析を行います。 </li></ol>

<ol>
	<li>Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=School+engagement:+Potential+of+the+concept,+state+of+the+evidence.">School engagement: Potential of the concept, state of the evidence.</a> Rev. Educ. Res. 74 (1), 59-109 (2004).</li><li>Clark, R. C., Mayer, R. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> E-learning and the Science of Instruction. , (2011).</li><li>Zhang, D., Zhou, L., Briggs, R. O., Nunamaker, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Instructional+video+in+e-learning:+Assessing+the+impact+of+interactive+video+on+learning+effectiveness.">Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness.</a> Inform. Manage. 43 (1), 15-27 (2006).</li><li>Freeman, F. G., Mikulka, P. J., Prinzel, L. J., Scerbo, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluation+of+an+adaptive+automation+system+using+three+EEG+indices+with+a+visual+tracking+task.">Evaluation of an adaptive automation system using three EEG indices with a visual tracking task.</a> Biol. Psychol. 50, 61-76 (1999).</li><li>Glimcher, P., Rustichini, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Neuroeconomics:+The+consilience+of+brain+and+decision.">Neuroeconomics: The consilience of brain and decision.</a> Science. 306 (5695), 447-452 (2004).</li><li>Lieberman, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Social+Cognitive+neuroscience:+A+review+of+core+processes.">Social Cognitive neuroscience: A review of core processes.</a> Annu. Rev. Physiol. 58, 259-289 (2007).</li><li>Pope, A. T., Bogart, E. H., Bartolome, D. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Biocybernetic+system+evaluates+indices+of+operator+engagement+in+automated+task.">Biocybernetic system evaluates indices of operator engagement in automated task.</a> Biol. Psychol. 40 (1-2), 187-195 (1995).</li><li>Mandryk, R., Inkpen, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Physiological+indicators+for+the+evaluation+of+co-located+collaborative+play.">Physiological indicators for the evaluation of co-located collaborative play.</a> , (2004).</li><li>Allaire-Duquette, G., Charland, P., Riopel, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=At+the+very+root+of+the+development+of+interest:+Using+human+body+contexts+to+improve+women&#8217;s+emotional+engagement+in+introductory+physics.">At the very root of the development of interest: Using human body contexts to improve women&#8217;s emotional engagement in introductory physics.</a> Eur. J. Phy. Ed. 5 (2), 31-48 (2014).</li><li>Bradley, M. M., Lang, P. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Measuring+emotion:+The+self-assessment+manikin+and+the+semantic+differential.">Measuring emotion: The self-assessment manikin and the semantic differential.</a> J. Behav. Ther. Exp. Psy. 25 (1), 49-59 (1994).</li><li>Lang, P. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+emotion+probe:+Studies+of+motivation+and+attention.">The emotion probe: Studies of motivation and attention.</a> Am. Psychol. 50 (5), 372-385 (1995).</li><li>Ekman, P., Felt Friesen, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=false,+and+miserable+smiles.">false, and miserable smiles.</a> J. Nonverbal Behav. 6 (4), 238-252 (1982).</li><li>Van Kuilenburg, H., Den Uyl, M. J., Isra&#235;l, M. L., Ivan, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Advances+in+face+and+gesture+analysis.">Advances in face and gesture analysis.</a> , 371-372 (2008).</li><li>Cacioppo, J., Tassinary, L. G., Berntson, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Handbook of Psychophysiology. , (2007).</li><li>Lubar, J. F., Swartwood, M. O., Swartwood, J. N., O&#8217;Donnell, P. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Evaluation+of+the+effectiveness+of+EEG+neurofeedback+training+for+ADHD+in+a+clinical+setting+as+measured+by+changes+in+T.O.V.A.+scores,+behavioral+ratings,+and+WISC+R+performance.">Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in T.O.V.A. scores, behavioral ratings, and WISC R performance.</a> Biofeedback Self-reg. 20 (1), (1995).</li><li>Mikulka, P. J., Freeman, F. G., Scerbo, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Effects+of+a+biocybernetic+system+on+the+vigilance+decrement.">Effects of a biocybernetic system on the vigilance decrement.</a> Hum. factors. 44 (4), 654-664 (2002).</li><li>Freeman, F. G., Mikulka, P. J., Scerbo, M. W., Scott, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=An+evaluation+of+an+adaptive+automation+system+using+a+cognitive+vigilance+task.">An evaluation of an adaptive automation system using a cognitive vigilance task.</a> Biol. Psychol. 67 (3), 283-297 (2004).</li><li>Chaouachi, M., Chalfoun, P., Jraidi, I., Frasson, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Affect+and+mental+engagement:+Toward+adaptability+for+intelligent+systems.">Affect and mental engagement: Toward adaptability for intelligent systems.</a> Proceedings of the Twenty-Third International Florida Artificial Intelligence Research Society Conference (FLAIRS 2010), Association for the Advancement of Artificial Intelligence. , 355-360 (2010).</li><li>Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labont&#233;-LeMoyne, &. #. 2. 0. 1. ;. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Precision+is+in+the+eye+of+the+beholder:+Application+of+eye+fixation-related+potentials+to+information+systems+research.">Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research.</a> J. Assoc. Inf. Syst. 15 (10), 651-678 (2014).</li><li>Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labont&#233;-Lemoyne, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Applying+eye+fixation-related+potentials+to+information+systems+research:+Demonstration+of+the+method+during+natural+IS+use+and+guidelines+for+research.">Applying eye fixation-related potentials to information systems research: Demonstration of the method during natural IS use and guidelines for research.</a> J. Assoc. Inf. Syst. 15 (10), (2014).</li><li>Courtemanche, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Un outil d&#8217;&#233;valuation neurocognitive des interactions humain-machine Doctoral thesis. , (2014).</li><li>Charland, P., L&#233;ger, P. M., Mercier, J., Skelling-Desmeules, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Assessing+multiple+dimensions+of+learner+engagement+during+science+problem+solving+using+psychophysiological+and+behavioral+measures.">Assessing multiple dimensions of learner engagement during science problem solving using psychophysiological and behavioral measures.</a> , (2014).</li><li>Venables, P. H., Christie, M. J., Martin, I., Venables, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Electrodermal+activity.">Electrodermal activity.</a> Techniques in Psychophysiology. , 3-67 (1980).</li><li>Boucsein, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Electrodermal Activity. , (2012).</li><li>Sarlo, M., Palomba, D., Buodo, G. M., Minghetti, R., Stegagno, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Blood+pressure+changes+highlight+gender+differences+in+emotional+reactivity+to+arousing+pictures.">Blood pressure changes highlight gender differences in emotional reactivity to arousing pictures.</a> Biol. Psychol. 70 (3), 188-196 (2005).</li><li>Martens, R. L., Gulikers, J., Bastiaens, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+impact+of+intrinsic+motivation+on+e-learning+in+authentic+computer+tasks.">The impact of intrinsic motivation on e-learning in authentic computer tasks.</a> J. Comput. Assist. Lear. 20 (5), 368-376 (2004).</li></ol>

The authors have nothing to disclose.

プロトコル内の重要なステップの観点では、最初のデータの品質が常に神経生理学的収集技術のための主要な焦点であることが指摘されるべきです。この方法では、研究支援者は、（カメラの正しいフェースアングルを失う）価のモニタリング妨害またはEEGでmyographic成果物が生成されます頭の動きを最小限に抑えるために被験者に指示に特別な注意を払う必要があります。一方、バランスは...

エンゲージメントは、学習に重要な役割を果たしています。クラークとメイヤー2の場合は、関係なく、配信媒体の「すべての学習は、関与を必要とします」。 Zhang ら 3も増加し、学生の関与は、このような問題解決と批判的思考スキルなどの学習成果を向上させることができることを示唆しました。婚約を定義することは課題です。彼らの文献レビューでは、フレドリクス、Blumenfeld、パリ1は、その多面性によって係合を定義し、「行動係合は参加の考えに引きます。それは学問や社会や課外活動への関与を含んでいます。 （...）感情的な関与は、先生、クラスメート、学者、学校に正と負の反応を包含し、仕事をすることを目的と影響力意欲との結びつきを作成するためと推定されます。最後に、認知的関与は、精神的な投資の考えに描きます。それは思いやりと労力のNECを発揮する意欲を内蔵します要な複雑なアイデアやマスター難しいスキルを理解します。」 フレドリクス、Blumenfeld、パリ1も行動、感情、および認知の焦点は、エンゲージメントの概念の範囲内で、学習の豊かな特徴付けを提供することができることを主張しました。これらの著者は、研究の堅牢な本体は別途契約の各コンポーネントに対応していることを指摘したが、これらのコンポーネントは、連携して研究されていませんでした。彼らはまた、ほとんど情報が次元間、より研究は微調整の教育介入の計画に貢献できることを相互作用について利用可能であることを観察しました。その方向への一歩として、本稿では、学習作業中に、行動、感情的および認知的関与に、同期的、定量的および定性的なデータを収集し、分析するために開発された研究方法を説明します。 教育に神経科学の持ち込み Behav主に前後のテストの間の時間の長い期間にわたって発生する知識や行動の変化に焦点を当てた研究のデザイン、および時間の間隔、週間：IOR、その結果、行動の係合は、長い教育の研究の中心的な焦点となっています、月または年。最後の二つの次元が外部体系的に観察されないため、行動、感情的、および認知的関与とを識別することは課題です。認知と感情はどちらの観測から推測または自己報告尺度で評価されなければなりません。ビューの外部ポイントからは、学生が自分の仕事は、できるだけ迅速に行わ取得しようとしたり、特定のコンテンツをマスターする、深いレベルの学習戦略を使用しているかどうかを判断することは依然として困難です。実際、フレドリクス、Blumenfeld、パリ1は認知的関与を直接、客観的尺度を使用して任意の発表された研究を見つけることができませんでした。 における最近の技術開発神経科学の分野は​​、教育研究のための新たな可能性を作成しました。 ニューロ人間工学の分野で開発された新しいデータ収集方法と分析アルゴリズムは、タスクを学習中に定性的および定量的な研究のために非常に有望に見えます。このような経済学、心理学、マーケティング、人間工学などの他の分野には、いくつかの時間4-8のための認知的関与を評価するために、神経生理学的測定値を使用しています。効率的な解析アルゴリズムと結合された神経生理学的措置は、一つはそれを乱すことなく、現象を研究することができます。その性質上、自己報告アンケートは、学習の学生を外します。神経生理学的測定値は、研究のデザインは、より本格的な学習環境で行うことを可能にします。これらのツールは、心拍数等を監視するための装置、呼吸数、血圧、体温、瞳孔径、皮膚電気活動、脳波（EEG）を含みます。 <st行動、感情、および認知的関与に&gt;収集データを同期栄代表的な結果は、このプロトコルの使用を以下のように、本論文では、学習者が、コンピュータの画面上で、機械的な物理学の10の問題を解決しなければならなかったした研究の結果の一部を紹介します。これらの問題は、以前の研究9に開発されました。彼らの目は、それぞれの問題の後、クローズ学習者は、問題を解決し、45秒休憩中にリラックスしている間の神経生理学的データを収集しました。 前述したように、行動締結データは、タスク1を達成しながら、システムと対話学習者によって生成質問へのソフトウェアの相互作用（マウスの動きやクリック）、視線、パフォーマンスと回答で構成されています。視線追跡システムは、ソフトウェアの相互作用および視線データを収集するために使用されました。パフォーマンスデータ（問題を解決するための時間、回答の正確さ）を収集しましたタスクを提示するために使用された調査のウェブサイト。このウェブサイトはまた、ブラッドリーとラング10から適応アンケートで集め自己報告データを収集するために使用されました。感情的な関与は、感情の特徴付けを含みます。ラング11によると、感情が原子価の点で特徴づけられる（楽しい/不快）と覚醒（冷静/興奮）。感情的な締結データは、それに応じて感情価と覚醒12,13のための電気活動のエンコーダ/センサを定量化し、自動顔感情認識ソフトウェアを使用して、収集しました。電気活動（EDA）は、非常に弱い電流が定常的にそれらの間に渡された二つの電極の間に記録された電気抵抗を指します。 Cacioppo、TassinaryとBerntson 14は、記録された抵抗は、被験者の覚醒に応じて変化することを示しました。したがって、このような原子価や覚醒などの精神生理学的データは、感情的な関与の相関として考えられています。 <pクラス= &quot;jove_content&quot;&gt;最後に、認知的関与のデータは、脳波（EEG）を介して収集されます。 EEG対策は、頭皮上で、脳内のニューロン群の電気的活動を同期。頭皮からの記録された電気信号は、しばしば、発振周波数成分で構成されています。慣例では、これらの周波数はバンドとして知られ、配列中にグループ化されています。例えば、α、βおよびシータバンドが本研究の焦点です。神経科学の研究14によると、これらのバンドは、脳の特定の領域に異なる認知処理能力を反映しています。したがって、覚醒および注意に関する多くの研究7,15と組み合わせる特定の周波数のパワースペクトル密度（PSD）の分析は、研究者が作業中に、認知の係合を定量化することができます。ミクルカら 16は、上述のように、研究はベータ活性および認知覚醒とアルファANとの間の間接的な関係との間の直接的な関係を示していますDシータ活性および覚醒。 β/（α+θ）：このように、教皇、ボガートとBartoleme 7は、3つのバンドのPSDを計算係指標を開発しました。この比率は、婚約16,17,18の他の研究で確認されました。経時認知係合を特徴付けるために、高速フーリエ変換（FFT）は、パワースペクトルに各活性部位（F3、F4、O1、O2）からのEEG信号を変換します。時刻TにおけるEEG係合指数この手​​順は、毎秒、新しいスライディングウィンドウは、インデックスを更新するために使用される繰り返される時間Tの前の20秒のスライディングウィンドウ内の各係合比の平均値によって計算されます。 この方法の目的は、係合多次元の豊富な分析を提供することであるため、データの同期が重要です。レジェら 19は、読者を思い出させるように、機器メーカーが強くル彼らの指定された精度を保証するために、測定ツールごとに1つだけのコンピュータを使用することをお勧めしますVEL。したがって、複数のコンピュータが使用されるとき、記録のコンピュータとの同期が重要なステップとなります。記録はすべて正確に同じ時に開始することができず、各データストリームは、その特定の時間枠（≠EEGまたは生理学的データの0秒のアイトラッキングの例えば 、0秒）を有しています。これは非常に重要である：データストリーム間の非同期化は、関与の各次元の定量化のエラーを意味します。同時生理学的および行動の記録を同期させる別の方法があります。これらの方法は、2つの主なアプローチに分けることができます。直接的および間接的な20。次のセクションで説明プロトコル（ 図1に示されるように）外部装置、syncboxは、すべての記録装置に、トランジスタ-トランジスタ論理（TTL）信号を送信するために使用される間接的なアプローチに基づいています。各機器は、異なる開始時間を有するように、TTLマーカーは、相対して、ログファイルに記録されています<html>遅延。マーカーは、その後、信号を再編成し、従って、各記録後の適切な同期を確保するために使用されます。外部ファイルの統合を可能にする行動分析ソフトウェアプログラムは、各データストリームのタイムラインを再同期させるために係合の各次元の定量的および定性的な分析を実行するために使用されます。 <img alt="図1" src="/files/ftp_upload/52627/52627fig1.jpg" /> 係データが収集されている（EDAと顔面感情）感情や認知データ収集システムの図1.アーキテクチャ。行動（視線追跡）におけるラボ環境、（EEG）は、多くのコンピュータが含まれます。これは、それぞれのコンピュータのクロックに参照されるデータの同期の課題を提起します。同じ基準時間内のすべてのデータを分析できるようにするために、実験室の設定は、すべてのデータストリームをTTL信号を送るsyncboxを含みます。NK &quot;&gt;この図の拡大版を表示するには、こちらをクリックしてください。 同期の点で方法論の精度を評価するために、45秒の一時停止は、機械的な物理学の問題のそれぞれの前に導入しました。これらの一時停止中に、被験者はリラックスして、彼らの目を閉じなければなりませんでした。 4,9,16,17,18他の研究に見られるように、これらの一時停止は、収集された信号の大幅な変動を誘導する必要があります。アイトラッキング中の2つの瞳ドットはすぐに（行動係）を消失し、認知的関与が即座に低下（EEG信号）が観測されます。信号のこれらの特定の構成要素は、同期の一般的な有効性を評価するために使用されます。完全または部分的に情報システム19、人間-機械相互作用21と教育9、22の分野で、この同期手順に依存している論文の最近の刊行物は、その有効性の証拠を提供します。

<table border="0" cellpadding="0" cellspacing="0">
	<tbody>
		<tr>
			<td>EGI GSN-32&#160;</td>
			<td>EGI</td>
			<td>n/a</td>
			<td>Dense array EEG</td>
		</tr>
		<tr>
			<td>Netstation v.5.0</td>
			<td>EGI</td>
			<td>n/a</td>
			<td>EEG data collection software: EEG is collected with 32-electrode dense array electroencephalography (dEEG) geodesic sensor net using Netstation acquisition software and EGI amplifiers (Electrical Geodesics, Inc). The vertex (recording site Cz) is the reference electrode for recording. Impedance is kept below 50 k&#937; with a sampling rate of 250 Hz.&#160;</td>
		</tr>
		<tr>
			<td>Facereader v.4</td>
			<td>Noldus</td>
			<td>n/a</td>
			<td>Facial emotion recognition software</td>
		</tr>
		<tr>
			<td>Syncbox</td>
			<td>Noldus</td>
			<td>n/a</td>
			<td>Syncbox start the co-registration of EEG and gaze data by sending a Transistor-Transistor Logic (TTL) signal to the EGI amplifier and a keystroke signal to the Tobii Studio v 3.2.</td>
		</tr>
		<tr>
			<td>Logitech C600&#160; Webcam</td>
			<td></td>
			<td>960-000396</td>
			<td>Webcam used to gather video data sent to mediarecorder and that will be analyzed in Facereader</td>
		</tr>
		<tr>
			<td>The Observer XT</td>
			<td>Noldus</td>
			<td>n/a</td>
			<td>Integration and synchronization software: The Noldus Observer XT (Noldus Information Technology) is used to synchronize all behavioral, emotional and cognitive engagement data.&#160;</td>
		</tr>
		<tr>
			<td>On-Screen LED illumination</td>
			<td>Noldus</td>
			<td>n/a</td>
			<td>Neon positioned on computer screen in order to correctly light the face of subjects</td>
		</tr>
		<tr>
			<td>MediaRecorder</td>
			<td>Noldus</td>
			<td>n/a</td>
			<td>Video data collection software</td>
		</tr>
		<tr>
			<td>Tobii X60</td>
			<td>Tobii</td>
			<td>n/a</td>
			<td>Collect eye-movement patterns :&#160; used to record subjects&#8217; eye movement patterns at 60Hz during the experiment.&#160;</td>
		</tr>
		<tr>
			<td>Tobii Studio v.3.2</td>
			<td>Tobii</td>
			<td>n/a</td>
			<td>Eye-tracking data collection and analysis software</td>
		</tr>
		<tr>
			<td>Analyzer 2</td>
			<td>Brainvision</td>
			<td>n/a</td>
			<td>EEG signal processing software</td>
		</tr>
		<tr>
			<td>Acqknowledge v.4.0</td>
			<td>Biopac</td>
			<td>ACK100M</td>
			<td>Physiological signal acquisition and processing software</td>
		</tr>
		<tr>
			<td>Control III germicide solution</td>
			<td>Maril Products.</td>
			<td>10002REVA-20002-1</td>
			<td>Disinfectant solution used with EEG helmets : recommended by EGI</td>
		</tr>
		<tr>
			<td>Unipark</td>
			<td>QuestBack AG</td>
			<td>n/a</td>
			<td>Online survey environment</td>
		</tr>
	</tbody>
</table>

assessing the multiple dimensions of engagement to characterize learning: a neurophysiological perspective

In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: behavioral, emotional and cognitive. They observed that individual types of engagement had not been studied in conjunction, and little information was available about interactions or synergy between the dimensions; consequently, more studies would contribute to creating finely tuned teaching interventions. Benefiting from the recent technological advances in neurosciences, this paper presents a recently developed methodology to gather and synchronize data on multidimensional engagement during learning tasks. The technique involves the collection of (a) electroencephalography, (b) electrodermal, (c) eye-tracking, and (d) facial emotion recognition data on four different computers. This led to synchronization issues for data collected from multiple sources. Post synchronization in specialized integration software gives researchers a better understanding of the dynamics between the multiple dimensions of engagement. For curriculum developers, these data could provide informed guidelines for achieving better instruction/learning efficiency. This technique also opens up possibilities in the field of brain-computer interactions, where adaptive learning or assessment environments could be developed.

<html>行動解析ソフトウェアアプリケーションの統合や、行動の感情や認知的関与のデータの同期の結果の2及び図3のスクリーンショットを図 。両方の図において、左側のセクションには、研究対象と符号化方式を開催しています。中間部では、（赤い点で）ビデオは、タスク中の被験者の視線を示しています。被験者の行動の婚約は、彼/彼女がタスクとどのような?...

Watch this Scientific Journal Video about Assessing the Multiple Dimensions of Engagement to Characterize Learning: A Neurophysiological Perspective at JoVE.com

Assessing the Multiple Dimensions of Engagement to Characterize Learning: A Neurophysiological Perspective

This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners&#8217; engagement during a task.

神経生理学の視点：学習を特徴づけるために、エンゲージメントの複数の次元を評価します

In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: ...

assessing-multiple-dimensions-engagement-to-characterize-learning

Research

JoVE Journal

Behavior

12.4K ビュー.  Université du Québec à Montréal. This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners’ engagement during a task. 