Name: eye tracking during visually situated language comprehension: flexibility and limitations in uncovering visual context effects
Uploaded: 2018-11-30T12:30:00
Duration: 7 min 36 s
Description: Watch this Scientific Journal Video about Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects at JoVE.com

ZuKo (卓越性の率先、祖フンボルト大学ベルリン)、卓越性クラスター 277 によって資金が供給されたこの研究 '認知相互作用技術' (ドイツの研究議会, DFG)、研究では、欧州連合の第 7 フレームワーク プログラム技術開発と補助金契約 n ° 316748 (LanPercept) の下でデモ。著者はまた、プロジェクト FB0003 プロジェクト"FoTeRo"で、フォーカス中心 XPrag (DFG) から連想のチリの研究プログラム (チリの政府)、センターオブエクセレンスのための基底の資金からサポートを認めます。ぴあ Knoeferle ビーレ フェルト大学でヘレン Kreysa がインスタンス化実験プロトコルによって記事の最初のドラフト情報提供ベルリン フンボルト大学祖で使用し続けます。すべての著者は、方法と結果を 1 つのフォームまたは別の入力を提供することで内容に貢献しました。カミロ ・ ロドリゲス Ronderos とぴあ Knoeferle 著者からの入力を調整して、2 つのイテレーションの最初のドラフトを大幅に改訂します。エルネスト ゲラ生産図 2 - 4カーチャ ミュンスター、アルバ ・ ロドリゲス、エルネスト ・ ゲラからの入力に基づいて。ヘレーネ ・ Kreysa は、図 1とぴあ Knoeferle、それを更新を提供されています。報告の結果の一部は、認知科学会年会論文集に掲載されています。

著者が明らかに何もありません。

要約すると、視覚的文脈で視線の見直しの亜種はビジュアル シーンが言語理解に影響することが多くの方法を発見しました。このメソッドは、反応時間の測定などの方法と比較して重要な利点を提供します。例えば、継続的な眼球運動をご提供ウィンドウに言語理解過程、これらは時間の経過とともに視覚的世界の私たちの知覚を操作する方法。さらに、参加者は (ボタンを押す、文経由の正誤を判断する) などの言語の理解の間に明示的なタスクの実行に必ずしも必要はありません。これにより、研究者など乳児の視線以外あからさまな行動応答に苦労があります集団でメソッドを使用する子供と、いくつかのケースでは、高齢者。アイトラッ キングは、参加者の注意応答を反映で生態学上有効な — 展開発言にもっとまたはより少なく注意深く話を聞く中にそれらの周りの世界で通信関連のものの人間の視覚的尋問とは異なり。
視覚世界のパラダイムの境界 (または多分特性) の 1 つは、素直かつ明確にすべてのイベントを描くことができますです。コンクリートのオブジェクトとイベントを描くことが、もちろん、できます。抽象的な概念は最もよい方法がより少なく明確が描かれています。言語処理とアイトラッ キング視覚世界のパラダイムを使用して視覚的な世界の知覚の相互作用についての洞察を制限 (または定義) このことができます。さらなる挑戦行動と理解過程の間リンクの仮説に関連しています。注視は、おそらく言語理解 (例えば、語彙アクセス、参照プロセス、言語を介した期待、他の中の視覚的文脈効果) の間に多くのサブプロセスを反映している 1 つの行動応答です。この洞察力を与え、研究者は注意する必要がある以上には, 視線パターンを誤って解釈するか。この問題に対処するため、先行研究は視線レコード40の解釈を明確に理解サブタスクの役割を強調しています。
眼球運動の解釈可能性を向上させる方法の 1 つは、事象関連脳電位 (Erp) など他の手段でそれらを統合することです。自分の時間的な粒度に匹敵すると彼らのリンクの仮説で相補的な 2 つの方法で同じ現象を調査して研究者がその結果の代わりとなる説明を排除でき豊かにそれぞれの解釈個別施策41。このアプローチ追求されてきた実験43, しかしより多くの間で最近、また単一の実験内 (いえ、厳密に言語のコンテキスト) で44。今後の研究はこのような方法論的統合の恩恵し、試験後、実験後のタスクと組み合わせてを続けた。
アイトラッ キング法は言語理解との相互作用場面における視覚的注意についての新しい仮説をテストし同様、確立された結果を複製することができます。プロトコルに記載されている手順は、実験者もマイナー エラーはデータの品質に影響を与えるので慎重に従わなければなりません。研究を読んで、例えば、関連する分析領域がしばしば個々 の単語または英数字でも、小さくてもキャリブレーション エラーが (ラニー氏と同僚の42の記事を参照) の結果を歪めるかもしれないことを意味します。手順 1.4 と 1.5 のプロトコル、目の追跡者およびドリフト チェック/ドリフト正しい校正記録精度に直接影響が及ぶので特に重要なは。目の追跡者を正しく調整、事前に確立された領域に眼球運動を正確に追跡追跡者が発生します。このような追跡の失敗、不足しているデータ ポイントおよび世界の言語関係は非常に微妙な統計的効果が小さく収量を調査するときに問題が発生することができます統計的検出力の損失につながる (の説明を参照してください、ゲラと Knoeferle32と代表結果間ミュンスターと同僚の37実験)。
電源と装置の感度を最大化する必要性を考えると、実験者が実験的セッション中に定期的に発生する問題に対処する方法を知っていることが重要です。たとえば、瞳位置および眼鏡をかけて参加者の動きは、参加者のメガネのレンズの光の反射による校正の難しさで起因できます。この問題を解決する方法の 1 つは、ディスプレイ PC に参加者の目の画像をミラーし、ガラスに光の反射がもはやカメラによって捕獲されることを意味自分の画面上に表示されなくなるまで、自分の頭を移動するようにすることです。さらにキャリブレーションに失敗した原因は、瞳孔の縮小、光に露出オーバーの結果である可能性がありますをすることができます。その場合は、研究室では、光を調光増加瞳孔拡張し、瞳孔を正確に検出するに目の追跡者のため。
最終的な思想として、視覚世界のパラダイムは、第二言語学習に関する研究潜在能力に対応したいと思います。パラダイムが既に正常に使用されて心理言語学的研究のクロス言語の語彙と音韻の相互作用46,47,48などの現象を調査します。さらに、視覚的注意と言語学習の間の近いリンクは、第二言語習得49,50,51の応用言語学文献で強調表示されている頻繁。第二言語学習に関する今後の研究は、ミリ秒の分解能で視覚的注意のインデックスを提供する方法として目追跡の有利な位置から利益を得る可能性が高いいきます。

心理言語学的研究は、言語理解に関与するプロセスを理解することで眼球運動解析の重要性を強調しています。視線レコードから理解過程を推論のコア目の動き5に認知をリンクしている仮説であります。眼球運動の 3 つの主要なタイプがある: サッケード、前庭眼の動き、および滑らかな追求の動き。サッケードほとんど無意識のうちに起こる、確実に注意6でシフトに関連付けられている高速かつ弾道運動であります。サッカード、凝視、として知られている相対的な視線の安定度の瞬間インデックス現在の視覚的注意と見なされます。注視と認知過程に関連して彼らの時間の軌跡を計測「アイトラッ キング法」と呼ばれます。このメソッドの初期の実装は、(レビューのレイナー7参照) 厳密に言語のコンテキストで読解力を調べるに提供。そのアプローチの単語や文の領域の検査期間は難易度の処理に関連付けられます。視線もされている、しかし、世界内のオブジェクトの検査時の音声言語理解を調べる (またはコンピューターに表示2) に適用されます。この 『 ビジュアル世界 』 アイトラッ キング バージョン オブジェクトの検査は言語によって導かれます。シマウマ画面にシマウマの例えば、彼らの検査を聞くときに、comprehenders は動物について考えていることを反映するように取られます。視覚世界のパラダイムとして知られている、comprehender の視線は話されていた言語の理解と関連付けられているナレッジの活性化を反映するように撮影 (放牧を聞くときなどリスナーもシマウマの検査を示す、シマウマが実行するアクション)2。このような検査は、言語世界関係と目の動き2間の体系的なリンクをお勧めします。このリンクを定量化する一般的な方法は、画面の異なる事前に決められた範囲に見えるの割合を計算することによってです。これにより特定の時間とどのようにこれらの値は、ミリ秒単位で変更で別のオブジェクトを与えられた注目の量、直接 (条件により、参加者など) の間で比較する研究者。
心理言語学の研究は心1の建築について離れて競合する理論的仮説をいじめるに視覚的世界の目追跡を悪用します。描かれたオブジェクトの注視が、comprehenders ができますさらに、明らかに、充分制限的言語学の文脈を想定して-漸進的意味解釈8を実行し、今後文字についての期待をも開発9ですこのような目の視線データ持っている多義解像度10,11, 代名詞解像度12, 構造と主題の役割の曖昧性の解消など、さらに読解プロセスの範囲に光を当てるも。割り当てでビジュアル コンテキスト13,14,16、および実用的なプロセス15、その他多くの情報4を意味します。明らかに、言語理解の中にオブジェクトに眼球運動が関係のプロセスの形成にすることができます。
アイ ・ トラッキング メソッドは非侵襲的、幼児、若くて古い言語のユーザーで使用できます。主な利点は、プローブに点状の応答とは異なりまたは注意と方法の言語のガイドにミリ秒単位で時間をかけて洞察力を提供します検証タスクの応答ボタンを押す (オブジェクト、アクションの形でビジュアル コンテキストイベント スピーカーの視線と感情的な表情と同様、空間オブジェクトの構成) 言語処理に貢献します。文理中にメジャーの継続性は、あからさまな画像/動画-文検証、理解の質問、およびメモリ リコール タスクからなど他の後文と後の実験測定でよく補完します。これらのタスクのあからさまな反応できる読解プロセス、メモリ、および学習2の結果に洞察力を提供することによって眼視線記録の解釈を豊かに。これらの他のタスクとの目追跡を組み合わせることは、どの程度まで視覚状況のさまざまな側面を調節する視覚的注意と (即時のだけで遅延) の理解生涯を通した発見しました。
言語 (口頭または書面) のプレゼンテーションとシーンは、同時または連続のいずれかをすることができます。例えば、Knoeferle との共同研究17発表シーン話されていた文の前に 1,000 ms、それ残った読解中に存在。彼らはオブジェクト-動詞-主語 (OVS) 文と比較してドイツ主題動詞オブジェクト (SVO) でローカルの構造的曖昧性の解消にアクション イベントのクリップアート描写に貢献する証拠を報告しました。Knoeferle やクロッカー18アート シーン前に書かれた文章を発表し、文理の中にアート イベントのインクリメンタルな統合をテストします。彼らが観察された (対一致) 増分合同効果これらが一致しない場合、文成分の参加者の読書時間が長かったことを意味イベントの前のシーンで描かれています。他の刺激プレゼンテーション形式で参加者はまず空間的な関係を記述するセンテンスを読み、それからオブジェクト線画19を含む特定の空間的配置のシーンを見た。本研究は、シーンの取り調べ中に記録されている眼球運動と、シーンに与えられる文の適合を評価するための質問をして計算空間言語モデルの予測を評価しました。参加者の視線パターンは彼らが直面されたオブジェクトの形状によって変調された-部分的にモデルの予測を確認し、洗練されたモデルのデータを提供します。
それは現実世界を結合することも多くの研究では、クリップアートの描写17,18,19,20,21,22,23を使用しても、オブジェクトは、これらのオブジェクト、または話されていた言語1,21,24,25,26,46と静的な写真の動画。Knoeferle と同僚は、実世界の設定24を使いました、・ アバシーゼおよび同僚はアクション イベントおよび緊張効果25を調べるため録画プレゼンテーション形式を使用します。正確なコンテンツをさまざまなシーン (例えば、かどうかのアクションを描いた) の22,27,38が可能です、また視覚的文脈の効果を明らかにすることができます。・ ロドリゲスとの共同研究26関連研究は、話し言葉を解説の理解にビデオテープに録画された視覚的性別の手がかりの影響を検討しました。参加者は、オスかメスのどちらかの手が型通りのジェンダー関連のアクションを実行するを表示するビデオを見ました。その後、彼らは聞いた文についてのいずれか型通り男性または女性アクション イベント同時に男と女の他の 1 つ示す 2 枚の写真を並べて、ディスプレイを検査中。この豊かな視覚と言語環境は、いじめる離れて視覚的に提示された (手) 性別手がかりの効果から理解の言語を介した陳腐な知識の影響を著者を許可しました。
このパラダイムのそれ以上の適用は言語処理の発達的変化を対象とします。音声言語理解の中にオブジェクトに眼球運動では、若年者と比較して 4 - 5 歳児27,28と古い大人29リアルタイムで多少の遅れで描かれたイベントの効果を明らかにしました。Kröger との共同研究の22は、韻律の手がかりと実験内マーキングと比較実験を大人と子供の間でこれらの効果を検討しました。参加者は、関連事例を明確にマークのドイツ語文を聞きながらあいまいなアクション イベント シーンを検査しました。目の動きは人-は-な-に-人を明確に区別するときに、異なる韻律パターンで大人も、4- または 5-歳を助けたことを明らかにしました。大人がいない子供の眼球運動文初期ケースのマーキング、しかし、影響を受けます。格標示の 5 歳児の理解がテーマ別の役割の割り当てを有効にするのには十分に堅牢ではないことが示唆された (Özge と共同研究30によって研究を参照)、少なくともいないときアクション イベントはない明確主題役割関係。これらの結果は、韻律に及ぼす主題役割割り当て31の以前の結果とは対照的な興味深い。Kröger との共同研究22 (もっとまたはより少なく支持) ビジュアル コンテキストが対照的な結果に責任があることを提案しました。これらの解釈を保持する、という程度に、彼らは生涯を通した言語理解における文脈の役割を強調します。
アイ ・ トラッキング メソッドを組み合わせた画像 - (またはビデオ) 文検証タスク18,20,26, 画像検証タスク32, コーパス研究24, 評価から対策もタスク19、または実験後リコール タスク25,33。・ アバシーゼと共同編集者34および Kreysa との共同研究33のための手がかりとして、それぞれスピーカー視線と現実世界の行動動画34とスピーカー視線とアクション描写33の相互作用を検討しました。今後の文章コンテンツ。話者の視線と描かれたアクションの聞き手の知覚が対話し、両方に影響を与える方法のより良い理解を得た後実験的記憶課題と言語理解の間に場面で視線の追跡を組み合わせて、即時の言語処理とメモリのリコール。結果は、後実験メモリ リコール プロセスとリアルタイムの理解に対スピーカー視線行動の明瞭な貢献を明らかにしました。
アイトラッ キング法は、大きな柔軟性を用いることが、一定の基準は、重要です。次のプロトコルは、研究者の特定のニーズに応じて研究の質問の種類を調整することができます一般的な手順をまとめたものです。このプロトコルは標準化されたプロシージャ、ベルリンのフンボルト大学祖心理言語学研究所をはじめ元の言語・認知研究所で認知相互作用技術優秀クラスター (CITEC) での採用ビーレ フェルト大学。プロトコルでは、デスクトップとリモートのセットアップについて説明します。後者は、子供や高齢者との研究での使用にお勧めします。代表の結果に記載されているすべての実験は、1,000 Hz のサンプリング レートを頭部スタビライザー、参加者 (ディスプレイ PC) をテスト用の PC と実験を監視するための PC と併用は目トラッカー デバイスを使用し、参加者の眼球運動 (ホスト PC)。前任者にこのデバイスの主な違いは、両眼眼球追跡できるということです。プロトコルは、ヘッドの安定剤を含み、デュアル PC を使用する他の目追跡装置で使用するため十分な一般設定 (ホスト + 表示)。しかし、彼らの特定のデバイスの手動他のセットアップは、キャリブレーションの失敗や線路損失、実験者の場合する必要がありますユーザーを参照しているなどの問題を処理するための異なる方法可能性が念頭に置いておくことが重要です。

<table border="0" cellpadding="0" cellspacing="0" width="1185">
	<tbody>
		<tr height="21">
			<td height="21" style="height:21px;width:476px;">Desktop mounted eye-tracker including head/chin rest</td>
			<td style="width:165px;">SR Research Ltd.</td>
			<td style="width:185px;">EyeLink 1000 plus</td>
			<td style="width:359px;">http://www.sr-research.com/eyelink1000plus.html</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;">Software for the design and execution of an eye-tracking experiment</td>
			<td>SR Research Ltd.</td>
			<td>Experiment Builder</td>
			<td>http://www.sr-research.com/eb.html</td>
		</tr>
	</tbody>
</table>

eye tracking during visually situated language comprehension: flexibility and limitations in uncovering visual context effects

現在の仕事は説明と言語処理と視覚世界の知覚の相互作用のさまざまな側面を定量化するために設計された方法の評価。視線パターンの記録は、両方の視覚的コンテキストと言語理解する言語/世界知識の貢献のため十分な証拠を提供しています。初期の研究は、言語処理のモジュール化の理論をテストするオブジェクト コンテキストの効果を評価しました。述べる導入、その後の調査は、言語独自の権利で研究トピックとして処理でより広い視覚的文脈の役割を撮影して、どのように質問をこのようなイベントのスピーカーの視覚に寄与するようにcomprehenders の経験によって情報の理解。視覚状況の検査の側面中のアクション イベント、話者の視線と感情的な表情と同様、空間オブジェクトの構成。目追跡法とそのさまざまなアプリケーションの概要については、次のプロトコルでは、方法論の重要なステップを一覧表示、正常にそれを使用して視覚的に位置しています言語理解過程を研究する方法を説明します。最後のセクションは代表的な結果の 3 つセットをプレゼントし、利点と視覚的世界と言語理解の認識間の相互作用を調査するための目追跡の制限を示しています。

ミュンスターと協力者37による文の構造の相互作用を調査、言語理解の中にアクション、および感情のシグナルで顔が描かれています。本研究は、それを示したアクション効果と限界文理解に及ぼす感情のシグナルで顔を描かれている両方の堅牢な利点とメソッドの制限事項を説明するために適しています。著者は、女性の表情に幸せまたは悲しい表情に安静時の位置から変更の 5 s ビデオを作成しました。彼らはまた、感情的に積極的に valenced ドイツ オブジェクト-動詞-副詞-主題 (OVAdvS) を作成フォームの文 ' [オブジェクト/患者対格ケース] [動詞] [肯定的な副詞] [件名/エージェント主格].'経由で肯定的な副詞文 '幸せ' のビデオと一致し、不一致代理 (人は笑って、喜んで肯定的な副詞で演技として記述されている) の原理を見越して許可 '悲しい' のビデオ。次のビデオのスピーカー文はエージェント患者, アート シーンの 2 つのバージョンのいずれかで登場。1 つのバージョンのエージェント ディス トラクター文字が別のアクションを実行しながら、患者の述べられたアクションの実行として描かれました。他のシーンのバージョンにない文字の間の行動が描かれています。シーンの目の動きは、アクションや文理に話者の表情の影響を明らかにしました。
アクション描写は参加者の視覚的注意、述べられたアクションの頃、参加者、ディス トラクターでよりも代理店で以上に見えた意味急速に影響を受ける (対でした) 描かれています。これらのルックスが先行 (すなわちエージェントが述べられた前に発生している)、文の前にアクション描写がエージェントを明らかにすることを示唆しています。アクション描写の最も早い効果が動詞の中に浮上して (すなわち動詞は、関連付けられたアクション エージェントを介した)。対照的に、前のスピーカーが微笑んだまたは不機嫌かどうかクリアの影響なかったエージェント予想 (図 2)。後者の結果は、スピーカーの笑顔と (関連付けられたアクション エージェントを仲介する直接動詞-アクションのリファレンスと比較して) 描かれたエージェントの行動に関して肯定的な文の副詞間のより微妙なリンクを反映できます。また、それはタスクと刺激するかもしれない: おそらく感情効果と発音されているよりより多くの社会的対話型タスク、またはスピーカーの顔 (前にではなく) 中文理解を示す 1 つの。ただし、読解中に笑みを浮かべて話者の顔を提示が原因で参加者に焦点を他のシーンの内容を犠牲にして顔におそらくマスキング操作変数のそれ以外の場合に観察可能な効果 (ソース: 未発表のデータ)。
パラダイムのそれ以上の変形、ゲラと Knoeferle32は、世界言語の空間的意味関係ことができます読み込み中に抽象的な意味内容の理解を調節するかどうかを尋ねた。ゲラと Knoeferle は、抽象的な意味関係 (例えば類似) の意味を空間的な間隔 (例えば、近さ) に根拠の概念メタファー理論38からアイデアを借りてください。この仮説に沿った参加者読み取り調整抽象名詞より速くと同様 (対反対) 意味が先行されていたビデオ搬送近接 (トランプ移動近い一緒に対対距離。遠く離れて)。研究39の 2 番目のセット、文章には互いに近づく 2 つのカードのビデオは社会的伝達文地域の読書によってスピードアップの発見に親密なのか、優しくないリードとして 2 人の間の相互作用が記載されています。近接/親密。空間距離に文読み上げの迅速かつ段階的も、文章を参照しなかったビデオ内のオブジェクトが影響を受けることに注意してください。動画では、文の意味の意味として社会面と空間距離の合同の関数として測定時間独特変調。これらの効果は登場回目読み取り時間 (あらかじめ決められた文章領域の最初の検査の期間) の両方とその文地域で過ごした合計時間 (ゲラでの研究の結果の図は、図 3を参照してください。・ Knoeferle32。ただし、分析はまたそのような微妙なカード距離効果は 1 つの例を述べない、動詞アクション関係の効果のように堅牢かもしれない結論につながる、参加者間の実質的な変動を明らかにしました。
さらに一連の研究は、文の構造の変化で役立つ視覚的文脈の効果の汎用性を評価を示しています。・ アバシーゼと共同編集者34 ・ ロドリゲスとの共同研究の26は、話し言葉の後続の処理の最近のアクションの効果を検討しました。両方の研究で参加者はまずアクション ビデオを検査 (例えば、実験者調味料きゅうり、またはケーキを焼く女性の手)。次に、彼らは最近のアクションまたは実行可能性のある別のアクションに関連していたかドイツ語文に耳を傾け次 (調味料トマト34; 建物モデル26)。読解中に参加者検査 (女性と男性エージェント顔、『 スザンナ 』 と 『 きかんしゃトーマス 』 をそれぞれ命名) の顔 2 つのオブジェクト (きゅうり、トマト)34またはエージェントの 2 つの写真を示すシーン26。・ アバシーゼと協力者34研究でスピーカー最初言及し、(例えば香料)、動詞、実験者(、キュウリやトマトなどのテーマについての期待を引き出します。26・ ロドリゲスとの共同研究による、スピーカー最初テーマ (ケーキ) と言及し (ベーキング) 動詞アクションのエージェントに関する期待を引き出す (女性: スザンナ、または男性: トーマス、描写の写真を介して女性と男性の顔のような)。
両方の研究で当面の問題は、最近のアクション イベントのテーマ/エージェントまたは他のテーマ/エージェントに基づいてさらに文脈手がかりの読解中に提供されるかどうか人々 が予測 (視覚的に) だった。動詞の発症から将来のテーマ オブジェクト (トマト) をキューに実験者の視線・ アバシーゼと共同研究34(ドイツ語から直訳: '実験者エージェント味すぐに...」)。・ ロドリゲスとの共同研究26、陳腐なアクションの性別ナレッジ利用可能になったテーマと動詞が記載されたとき (例えば、ドイツの刺激のリテラルの翻訳された: 'ケーキ テーマ焼きすぐに...」)。研究の両方のセットに参加者優先的に検査 (きゅうり34またはスザンナ26) の最近の行動のターゲット/エージェント (トマト34またはトーマス ・26) 代替 (未来/その他男女) ターゲット上中文。
このいわゆる「最近のイベント優先'、したがって、文の構造と実験材料の相当な変動堅牢であることが表示されます。それは変調すると、ただし、同時シーン26日から視覚上の制約によって最近検査アクション イベントに依存度は低く動詞テーマの説得力のある写真にエージェントのさらにジェンダーの写真を提示するよう、言語によって伝えられるジェンダー ステレオタイプ知識に基づく変調注意。図 4は、26・ ロドリゲスとの共同研究によって、実験の主な結果を示します。
視覚世界のパラダイムのこのバージョンには、堅牢な結果が得られた、一方、他の研究はリンクの仮説の複雑さ (および制限) を強調しています。その参加者を明らかに Burigo と Knoeferle20 -死ぬボックス ist ユーバー ・ デル ・ ソーセージなどの発話を聞いているとき ('、ボックスのソーセージの上)-大抵これらのオブジェクトのストック フォト描写を検査における発話の後します。しかし、試験の割合、何から切り離されて参加者の視線が言及されました。「ソーセージ」とソーセージを視察し、少なくとも 1 回を聞いて、参加者の次検査は試験速検証 (実験 1) と後文の検証 (試験の 90% のおよそ 21% ボックスに戻ります実験 2)。この視線パターンでは、参照 (聴覚 ' ソーセージ') 誘導のみいくつか (検査ソーセージ) が、すべてではなく眼球運動 (ボックスの検査) を示唆しています。このようなデザインをいじめる (文レベルの解釈を含む) 他から離れて語彙参照プロセスに使用できるプロセス。ただし、研究者をつけなければならないとき認知に視線をリンクのあいまいさを与えられた眼球運動の比率の相対的な違いに基づく言語処理のさまざまなレベルについての主張を行うと理解過程。
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/57694/57694fig1v3.jpg"> 図 1: データ コレクション環境の概要。グラフでは、データ コレクションに使用されるさまざまなソフトウェアおよびハードウェア要素とお互いに関連の前処理方法を示しています。<a href="https://www.jove.com/files/ftp_upload/57694/57694fig1v3large.jpg" target="_blank">この図の拡大版を表示するのにはここをクリックしてください</a>。
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/57694/57694fig2.jpg"> 図 2: ミュンスターと協力者の37の代表の結果。これらのパネルは (描かれたアクション) の動詞領域と (感情的なプライムの効果) の複合動詞副詞地域条件確率比件名によって平均ログ視線を表示します。文に記載されているアクションがより描かれていたときにそれが描かれてないとき見えるターゲット イメージに向けてのかなり高い割合を示した。感情的な顔素数の影響の結果が少ない決定的: 顔の総理が負の価 (悲しい顔) を持っていたときよりも肯定的な感情的な原子価 (笑) を持っていたとき、彼らはターゲットに見えるの平均対数比のわずかな増加だけを示唆しています。誤差は、平均値の標準誤差を表しています。この図は、ミュンスターらから変更されています。37.<a href="https://www.jove.com/files/ftp_upload/57694/57694fig2large.jpg" target="_blank">この図の拡大版を表示するのにはここをクリックしてください</a>。
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/57694/57694fig3v2.jpg"> 図 3: ゲラと Knoeferle32の代表の結果。このパネルは、(dis) 類似形容詞のミリ秒単位で平均初回通過読書時間を示します。遠く離れてに比べ一緒に近づく 2 つの再生カードを見て後類似文章の読書時間の短縮を示した。誤差は、平均値の標準誤差を表しています。この図は、ゲラと Knoeferle32から変更されています。<a href="https://www.jove.com/files/ftp_upload/57694/57694fig3v2large.jpg" target="_blank">この図の拡大版を表示するのにはここをクリックしてください</a>。
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/57694/57694fig4v3.jpg"> 図 4: 代表的な結果・ ロドリゲスとの共同研究26します。このパネルは、動詞領域のテーマ別平均ログ視線条件確率比を示しています。割合 0 を見る上記ターゲット エージェント イメージのための好みのよう、0 以下の割合は、競合他社エージェント イメージの選好を示します。結果は、被験者は、目的語と動詞文に記載していないときよりも以前のビデオテープに録画されたイベントの照合時にターゲット エージェント イメージを検査する可能性が高い。さらに、ジェンダー ・ ステレオタイプに適合した文で示されているアクション ターゲット エージェント イメージに向かってより多くのルックスもあった。誤差は、平均値の標準誤差を表しています。この図は、ロドリゲスらから変更されています。26.<a href="https://www.jove.com/files/ftp_upload/57694/57694fig4v3large.jpg" target="_blank">この図の拡大版を表示するのにはここをクリックしてください</a>。

Watch this Scientific Journal Video about Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects at JoVE.com

Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects

視覚的に位置の言語理解の中に目の追跡: 柔軟性の視覚的文脈の発見の効果の制限

現在の記事のレビュー言語理解研究の目追跡の方法論。信頼性の高いデータを取得するには、プロトコルの主要な手順に従わなければなりません。これらの中で、目の追跡者 (例えば目と頭の画像の品質の良い) と正確な校正の正しい設定されています。

The present work is a description and an assessment of a methodology designed to quantify different aspects of the interaction between language processing ...

この方法は、言語理解に関係する精神過程に関する心理言語学の主要な研究問題に答える助けとなる。この手法の利点は、視覚世界と言語処理の関係を試験するために、高い時間的解像度で視覚的注意指数を提供することです。この方法に新しい個人は、プロトコルを高度な精度で実行する必要があるため、苦労する可能性があります。このメソッドの適切な実装には、アドホックなトラブルシューティングが必要な場合が多いため、この方法の視覚的なデモンストレーションが重要です。両眼の優位性を判断するには、参加者に片方の腕を伸ばし、両目を開いた遠くの物体に親指を合わせます。参加者に交互に各目を閉じしてもらいます。支配的な目は、その目が開いているときに親指がオブジェクトに揃ったままになる目です。その後、参加者にあごの残りの部分にあごを、頭の部分に額を置いてテーブルに座るように頼みます。次に、画像をクリックしてPCを表示します。参加者の目の1つの大きな画像と2つの小さな画像が表示されます。キーボードの矢印キーを使用して小さい支配的な目の画像のいずれかを選択し、Aキーを押して、検索制限ボックスを瞳孔位置の中央に配置します。瞳孔の底近くにターコイズ円を持つ赤い正方形が目の周りに現れるはずです。瞳孔自体は青いはずです。瞳孔の中央に、角膜反射の中心に1本の2本の十字が画面に存在する状態を確認します。角膜反射の大きさを調整することが重要です。これは、アイトラッカーの良好なキャリブレーションの基礎です。手動でフォーカスレンズを回してカメラを調整し、角膜反射ができるだけ小さくなるまでレンズの前面に触れないように注意してください。次に、A キーを押して、生徒全体と瞳孔だけが青になるように、ホストコンピュータの瞳孔と角膜の閾値を自動的に設定します。アイトラッカーをキャリブレーションするには、参加者の視線がコーナーに向けられているときに角膜反射を妨げる不規則な反射を注意深く探しながら、カメラ設定ウィンドウを見ながら画面の四隅を一度に1つずつ見てもらいます。目の周りの赤いボックスまたは十字線のいずれかが表示されない場合は、まず画面の中央を見てから、問題のあるコーナーに移動して問題の原因を特定します。参加者の頭の位置を再配置して、改善が生じさせるかどうかを確認します。次に、アイトラッカーが目盛り付けされ、円が画面の異なる部分に移動する大きな黒い円の中の小さな灰色の点に固定されることを参加者に知らせます。参加者の準備ができたら、キャリブレーションをクリックして9点のキャリブレーションプロセスを開始し、参加者が画面中央の最初のドットに正確に固定した後にEnterキーを押して自動キャリブレーションを行います。キャリブレーションプロセスの最後に、ほぼ長方形のパターンが参加者の視線パターンを表す実験者の画面に表示される必要があります。良好なキャリブレーションの結果は緑色で強調表示されます。結果を検証するには、参加者に手順を繰り返してもらい、参加者にドットを見て静止したままにするよう通知します。[検証] をクリックして、各固定を受け入れます。結果はホスト コンピュータ モニタに表示されます。平均誤差と最大誤差に注意してください。これらのデータは、トラッキングされた画像が参加者の実際の視線位置から逸脱する度合を表します。平均誤差が0.5度以上である場合や最大誤差が1度を超える場合は、参加者にヘッド位置を再調整し、キャリブレーション手順を再開します。高品質なデータ収集には、最大誤差率を 1 度以下に抑えることには重要です。これらは、話し言葉の理解中に比較的大きなオブジェクトに視線を追跡するためのしきい値であることに注意してください。読み取り中の視線追跡の閾値はさらに低くなります。キャリブレーションプロセスが正常に完了したら、出力レコードをクリックして実験を開始します。位置付けの読み取り中に目の動きを追跡する例として、最初に2枚のトランプが近くまたは離れて移動する表示します。次に、参加者に、互いに類似または異なっていると表される2つの概念に関する文を読んで、カード間の距離が言語における類似性の理解を調節できるかどうかを評価する。聴覚言語理解中に眼球運動を記録する例として、まず参加者に関心のあるイベントのビデオを見せる。次に、エージェントとビデオのオブジェクトの画像を含むターゲットシーンと、反対の性別のエージェントと別のオブジェクトの画像を参加者に表示します。同時に、以前のビデオと一致または不一致のイベントを説明する文を再生して、以前のイベントで取り上げられたエージェントの手の性別が、話された理解の間に参加者が予想するターゲットシーンからどの顔に影響するかを評価します。この代表的な読書目追跡実験では、類似性形容詞の平均最初の合格読み取り時間は、カードが離れて移動したときと比較して、2枚のトランプが近くに移動するのを観察した後、類似した文に対して短かった。ここでは、聴覚理解テストの動詞領域中の平均対数視線比の分析は、参加者が以前に示されたビデオで性別がイベントと一致したエージェントの画像を検査する可能性が高いことを明らかにしました。この手順を実行する際には、各ステップを実行する際の精度が、高品質のデータ収集に不可欠であることを覚えておくことが重要です。このようにして、画像コンテキストがリアルタイム言語の理解を段階的に調節する程度に関する洞察を得ることができます。応答時間や精度などの文後または実験後のメジャー、または他のオフラインテストのデータは、オンライン固定対策から得られる洞察を豊かにすることができます。この技術により、精神言語学者は、言語理解に関係する精神的表現とリアルタイムプロセスを調査することができます。

Research

JoVE Journal

Behavior

Using Eye Movements to Evaluate the Cognitive Processes Involved in Text Comprehension

眼球運動を用いてテキスト理解に関与する認知過程を評価する

The present article describes how to use eye  tracking methodologies to study the cognitive processes involved in text  comprehension. Measuring eye ...

A Method to Quantify Visual Information Processing in Children Using Eye Tracking

アイトラッキングを使用した子どもたちに視覚情報処理を定量化する方法

Visual problems that occur early in life can have major impact on a child's development. Without verbal communication and only based on observational ...

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

眼球運動の視覚世界のパラダイムに記録を使用して話されていた言語のオンライン処理を探索するには

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Eye-tracking to Distinguish Comprehension-based and Oculomotor-based Regressive Eye Movements During Reading

読書中に理解および眼球運動に基づく回帰眼球運動を区別するアイトラッ キング

Regressive eye movements are eye movements that move backwards through the text and comprise approximately 10-25% of eye movements during reading. As ...

Using the Visual World Paradigm to Study Sentence Comprehension in Mandarin-Speaking Children with Autism

北京語を話す自閉症児の文理を勉強する視覚的な世界のパラダイムを使用してください。

Sentence comprehension relies on the ability to rapidly integrate different types of linguistic and non-linguistic information. However, there is ...

Gaze in Action: Head-mounted Eye Tracking of Children's Dynamic Visual Attention During Naturalistic Behavior

アクションの視線: 自然主義的な行動の中に子供の動的視覚的注意のヘッド マウント型の目の追跡

Young children's visual environments are dynamic, changing moment-by-moment as children physically and visually explore spaces and objects and interact ...

Decomposing the Variance in Reading Comprehension to Reveal the Unique and Common Effects of Language and Decoding

言語の一意と共通の効果を明らかにする読解力の分散の分解と復号化

The Simple View of Reading is a popular model of reading that claims that reading is the product of decoding and language, with each component uniquely ...

Simultaneous Eye Tracking and Single-Neuron Recordings in Human Epilepsy Patients

ヒトてんかん患者における同時アイトラッキングとシングルニューロン記録

Intracranial recordings from patients with intractable epilepsy provide a unique opportunity to study the activity of individual human neurons during ...

Investigating the Deployment of Visual Attention Before Accurate and Averaging Saccades via Eye Tracking and Assessment of Visual Sensitivity

アイトラッ キングによる正確かつ平均サッカード前に視覚的注意の展開と視覚感度の評価を調査

This experimental protocol was designed to investigate whether visual attention is obligatorily deployed at the endpoint of saccades. To this end, we ...

Defining the Role Of Language in Infants' Object Categorization with Eye-tracking Paradigms

アイ ・ トラッキング パラダイムと乳児のオブジェクトの分類での言語の役割の定義

Assessing infant category learning is a challenging but vital aspect of studying infant cognition. By employing a familiarization-test paradigm, we ...