Name: a methodology for capturing joint visual attention using mobile eye-trackers
Uploaded: 2020-01-18T14:00:00
Description: Watch this Scientific Journal Video about A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers at JoVE.com

Die Entwicklung dieser Methodik wurde von der National Science Foundation (NSF #0835854), dem Leading House Technologies for Vocation Education, das vom Schweizerischen Staatssekretariat für Bildung, Forschung und Innovation und dem Dean Venture Fund der Harvard School of Education finanziert wurde, unterstützt.

1. Teilnehmer-Screening
<ol><li>Stellen Sie sicher, dass Teilnehmer mit normalem oder korrigiertem Sehvermögen rekrutiert werden. Da die Teilnehmer aufgefordert werden, einen mobilen Eyetracker zu tragen, können sie Kontaktlinsen tragen, aber keine normale Brille.</li>
</ol>2. Vorbereitung auf das Experiment
<ol><li>Eye-Tracking-Geräte<ol>
<li>Verwenden Sie jeden mobilen Eyetracker, der in der Lage ist, Augenbewegungen in realen Umgebungen zu erfassen. HINWEIS: Die mobilen Eyetracker, di...

<ol>
	<li>Tomasello, M., Moore, C., Dunham, P. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Joint+attention+as+social+cognition.">Joint attention as social cognition.</a> Joint attention: Its origins and role in development. , 103-130 (1995).</li><li>Mundy, P., Sigman, M., Kasari, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+longitudinal+study+of+joint+attention+and+language+development+in+autistic+children.">A longitudinal study of joint attention and language development in autistic children.</a> Journal of Autism and Developmental Disorders. 20, 115-128 (1990).</li><li>Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Grounding+in+communication.">Grounding in communication.</a> Perspectives on socially shared cognition. , 127-149 (1991).</li><li>Siposova, B., Carpenter, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+new+look+at+joint+attention+and+common+knowledge.">A new look at joint attention and common knowledge.</a> Cognition. 189, 260-274 (2019).</li><li>Gergle, D., Clark, A. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=See+What+I'm+Saying?:+Using+Dyadic+Mobile+Eye+Tracking+to+Study+Collaborative+Reference.">See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference.</a> Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).</li><li>Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Spatial+References+with+Gaze+and+Pointing+in+Shared+Space+of+Humans+and+Robots.">Spatial References with Gaze and Pointing in Shared Space of Humans and Robots.</a> Spatial Cognition IX. , 121-136 (2014).</li><li>Shvarts, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automatic+detection+of+gaze+convergence+in+multimodal+collaboration:+a+dual+eye-tracking+technology.">Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology.</a> The Russian Journal of Cognitive Science. 5, 4 (2018).</li><li>. Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: <a target="_blank" href="https://github.com/chili-epfl/qml-chilitags">https://github.com/chili-epfl/qml-chilitags</a> (2013)</li><li>Jermann, P., Mullins, D., N&#252;ssli, M. -. A., Dillenbourg, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Collaborative+Gaze+Footprints:+Correlates+of+Interaction+Quality.+Connecting+Computer-Supported+Collaborative+Learning+to+Policy+and+Practice.">Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice.</a> CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).</li><li>Richardson, D. C., Dale, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Looking+To+Understand:+The+Coupling+Between+Speakers'+and+Listeners'+Eye+Movements+and+Its+Relationship+to+Discourse+Comprehension.">Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension.</a> Trends in Cognitive Sciences. 29, 1045-1060 (2005).</li><li>Richardson, D. C., Dale, R., Kirkham, N. Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Art+of+Conversation+Is+Coordination+Common+Ground+and+the+Coupling+of+Eye+Movements+During+Dialogue.">The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue.</a> Psychological Science. 18, 407-413 (2007).</li><li>Schneider, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+Mobile+Eye-Trackers+to+Unpack+the+Perceptual+Benefits+of+a+Tangible+User+Interface+for+Collaborative+Learning.">Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning.</a> ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).</li><li>Meier, A., Spada, H., Rummel, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+rating+scheme+for+assessing+the+quality+of+computer-supported+collaboration+processes.">A rating scheme for assessing the quality of computer-supported collaboration processes.</a> Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).</li><li>Schneider, B., Pea, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Real-time+mutual+gaze+perception+enhances+collaborative+learning+and+collaboration+quality.">Real-time mutual gaze perception enhances collaborative learning and collaboration quality.</a> Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).</li></ol>

Die in diesem Papier beschriebene Methodik bietet eine strenge Möglichkeit, die JVA in kozessorkten Dyaden zu erfassen. Mit der Entstehung erschwinglicher Sensortechnologie und verbesserter Computer-Vision-Algorithmen ist es nun möglich, kollaborative Interaktionen mit einer Genauigkeit zu untersuchen, die zuvor nicht verfügbar war. Diese Methode nutzt die in der Umwelt verbreiteten Fiducial-Marker und nutzt Homographien, um den Blick der Teilnehmer auf eine gemeinsame Ebene neu zu zuordnen. Dies ermöglicht es den Fo...

Die JVA wurde im letzten Jahrhundert umfassend untersucht, insbesondere von Entwicklungspsychologen, die den Spracherwerb studierten. Es wurde schnell festgestellt, dass gemeinsame Aufmerksamkeit mehr ist als nur eine Möglichkeit, Worte zu lernen, sondern eher ein Vorläufer der Theorien des Geistes der Kinder1. So spielt es eine wichtige Rolle in vielen gesellschaftlichen Prozessen, wie z. B. kommunikation mit anderen, Zusammenarbeit und Entwicklung von Empathie. Autistische Kinder zum Beispiel haben nicht die Möglichkeit, ihre visuelle Aufmerksamkeit mit ihren Betreuern zu koordinieren, was mit erheblichen sozialen Beeinträchtigungen verbunden ist2. Menschen brauchen gemeinsame Aufmerksamkeit, um funktionale Mitglieder der Gesellschaft zu werden, ihr Handeln zu koordinieren und von anderen zu lernen. Von Kindern, die ihre ersten Worte lernen, Teenagern, die von Lehrern lernen, Schülern, die an Projekten mitarbeiten, bis hin zu Gruppen von Erwachsenen, die auf gemeinsame Ziele hinarbeiten, ist die gemeinsame Aufmerksamkeit ein grundlegender Mechanismus, um eine gemeinsame Basis zwischen Individuen zu schaffen3. In diesem Beitrag konzentriere ich mich auf das Studium der JVA in der Bildungsforschung. Das Verständnis, wie sich die gemeinsame Aufmerksamkeit im Laufe der Zeit entwickelt, ist für das Studium kollaborativer Lernprozesse von größter Bedeutung. Als solches spielt es eine vorherrschende Rolle in soziokonstruktivistischen Umgebungen.
Die genaue Definition der gemeinsamen Aufmerksamkeit wird noch diskutiert4. In diesem Papier geht es um ein Unterbau der gemeinsamen Aufmerksamkeit (JA), nämlich die JVA. JvA geschieht, wenn zwei Probanden an der gleichen Stelle zur gleichen Zeit suchen. Es sei darauf hingewiesen, dass die JVA keine Informationen über andere wichtige Konstrukte liefert, die für die Untersuchung von JA von Interesse sind, wie die Überwachung gemeinsamer, gegenseitiger und geteilter Aufmerksamkeit oder ganz allgemein des Bewusstseins für die Erkenntnis eines anderen Gruppenmitglieds. Dieses Papier operationalisiert und vereinfacht die JVA, indem es die Eye-Tracking-Daten von zwei Teilnehmern kombiniert und die Häufigkeit analysiert, in der sie ihre Blicke ausrichten. Für eine umfassendere Diskussion kann der interessierte Leser mehr über die Studie des JA-Konstrukts in Siposovaetal. 4erfahren.
In den letzten zehn Jahren haben technologische Fortschritte die FORSCHUNG zur JVA radikal verändert. Der wichtigste Paradigmenwechsel bestand darin, mehrere Eyetracker zu verwenden, um quantitative Messgrößen für Aufmerksamkeitsausrichtungen zu erhalten, im Gegensatz zur qualitativen Analyse von Videoaufzeichnungen in einem Labor oder einer ökologischen Umgebung. Diese Entwicklung hat es den Forschern ermöglicht, präzise, detaillierte Informationen über die visuelle Koordination von Dyaden zu sammeln. Darüber hinaus werden Eye-Tracker erschwinglicher: Bis vor kurzem war ihre Verwendung akademischen Umgebungen oder großen Unternehmen vorbehalten. Es ist jetzt möglich, preiswerte Eyetracker zu kaufen, die zuverlässige Datensätze generieren. Schließlich deutet die fortschreitende Einbeziehung von Gaze-Tracking-Funktionen in bestehende Geräte wie High-End-Laptops und Virtual-Reality- und Augmented-Reality-Headsets darauf hin, dass Eye-Tracking bald allgegenwärtig sein wird.
Aufgrund der Popularisierung von Eye-Tracking-Geräten ist es wichtig zu verstehen, was sie uns über soziale Interaktionen erzählen können und was nicht. Die in diesem Papier vorgestellte Methodik stellt einen ersten Schritt in diese Richtung dar. Ich beschäften mich mit zwei Herausforderungen bei der Erfassung der JVA von mehreren Eyetrackern: die Synchronisierung der Daten auf 1) der zeitlichen Skala und 2) auf der räumlichen Skala. Genauer gesagt nutzt dieses Protokoll treue Marker, die in realen Umgebungen platziert werden, um Computer-Vision-Algorithmen zu informieren, bei denen die Teilnehmer ihren Blick richten. Diese neue Methode ebnet den Weg für eine rigorose Analyse menschlichen Verhaltens in kleinen Gruppen.
Dieses Forschungsprotokoll entspricht den Richtlinien der Ethikkommission für Humanforschung der Harvard University.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Tobii Glasses 2</td>
			<td>Tobii</td>
			<td>N/A</td>
			<td><a href="https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/" target="_blank">https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/</a></td>
		</tr>
		<tr>
			<td>Fiducial markers</td>
			<td>Chili lab &#8211; EPFL, Switzerland</td>
			<td>N/A</td>
			<td><a href="https://github.com/chili-epfl/chilitags" target="_blank">https://github.com/chili-epfl/chilitags</a></td>
		</tr>
	</tbody>
</table>

a methodology for capturing joint visual attention using mobile eye-trackers

Mit dem Aufkommen neuer technologischer Fortschritte ist es möglich, soziale Interaktionen auf Mikroebene mit beispielloser Genauigkeit zu untersuchen. Hochfrequenzsensoren wie Eyetracker, elektrodermittlere Aktivitätsarmbänder, EEG-Bänder und Bewegungssensoren liefern Beobachtungen auf Millisekundenebene. Diese Präzision ermöglicht es Forschern, große Datensätze über soziale Interaktionen zu sammeln. In diesem Beitrag bespreche ich, wie mehrere Eyetracker ein grundlegendes Konstrukt in sozialen Interaktionen, der gemeinsamen visuellen Aufmerksamkeit (JVA) erfassen können. Die JVA wurde von Entwicklungspsychologen untersucht, um zu verstehen, wie Kinder Sprache erwerben, Wissenschaftler lernen, wie kleine Gruppen von Lernenden zusammenarbeiten, und Sozialwissenschaftler, um Interaktionen in kleinen Teams zu verstehen. In diesem Artikel wird eine Methode zum Erfassen der JVA in kolokalisierten Einstellungen mit mobilen Eyetrackern beschrieben. Es präsentiert einige empirische Ergebnisse und diskutiert imponationiert die Erfassung von Mikrobeobachtungen, um soziale Interaktionen zu verstehen.

Die oben vorgestellte Methodik wurde verwendet, um Studenten zu studieren, die eine Berufsausbildung in Logistik (n = 54)12absolvierten. In diesem Experiment interagierten Studentenpaare mit einer Tangible User Interface (TUI), die ein kleines Lager simulierte. Die auf der TUI platzierten Treuhandmarkierungen ermöglichten es dem Forschungsteam, die Blicke der Schüler auf eine gemeinsame Ebene umzubilden und die JVA-Ebene zu berechnen. Die Ergebnisse zeigten, dass Gruppen mit höheren JVA-Niveaus...

Watch this Scientific Journal Video about A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers at JoVE.com

A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers

Die Verwendung multimodaler Sensoren ist ein vielversprechender Weg, um die Rolle sozialer Interaktionen in Bildungseinrichtungen zu verstehen. Dieses Papier beschreibt eine Methode zur Erfassung der visuellen Aufmerksamkeit von colocated Dyads mit mobilen Eye-Trackern.

Eine Methodik zur Erfassung der gemeinsamen visuellen Aufmerksamkeit mit mobilen Eye-Trackern

With the advent of new technological advances, it is possible to study social interactions at a microlevel with unprecedented accuracy. High frequency ...

Hallo, mein Name ist Bertrand Schneider und ich bin Assistenzprofessor an der Harvard Graduate School of Education. In diesem Video werde ich Ihnen zeigen, wie wir mobile Eye-Tracker verwenden können, um ein zentrales Konstrukt in der Sozialwissenschaft, gemeinsame visuelle Aufmerksamkeit zu erfassen. Die gemeinsame visuelle Aufmerksamkeit wurde von Psychologen ausgiebig untersucht und steht in engem Zusammenhang mit der Qualität der Interaktionen zwischen Gruppenmitgliedern.Es stellt sich heraus, dass Menschen, wenn sie eine gemeinsame Basis aufbauen und ein gemeinsames Verständnis einer Aufgabe schaffen, dazu neigen, häufig gleichzeitig an denselben Ort zu schauen. Traditionell haben Forscher die gemeinsame visuelle Aufmerksamkeit qualitativ durch manuellecodierung von Videos untersucht. Ich werde Ihnen zeigen, wie wir mobile Eye-Tracker verwenden können, um ein quantitatives Maß für dieses Konstrukt in co-located-Einstellungen zu erhalten.In diesem Video werden wir die Tobii Pro Brille Two verwenden. Diese Brillen sind tragbare Eyetracker, die Augenbewegungen in realen Umgebungen erfassen können. Neben speziellen Kameras am Rahmen zur Verfolgung von Augenbewegungen ist das Gerät auch mit einer Full-HD-Szenenkamera und einem Mikrofon ausgestattet, so dass das Blickverhalten im Kontext des Gesichtsfeldes des Trägers visualisiert werden kann.Für diese Brille wird der Blick 50 Mal pro Sekunde erfasst und ein Live-Video-Feed von der Brille kann entweder drahtlos oder über ein Ethernet-Kabel an einen Computer gestreamt werden. Die Brille hat jedoch eine Einschränkung, da sie nicht über normale Brillen arbeiten. Das Verfahren zum Einrichten des Eyetrackers ist relativ einfach.Zunächst werden die Teilnehmer gebeten, die Brille wie eine normale Brille aufzuziehen. Basierend auf den unterschiedlichen Gesichtszügen der Teilnehmer müssen möglicherweise Nasenstücke mit unterschiedlichen Höhen verwendet werden, um die Datenqualität zu erhalten. Nach dem Einschalten des Eyetrackers sollten die Teilnehmer die Datenerfassungseinheit an ihre Personen anschneiden, um ungezügelte Körperbewegungen zu ermöglichen.Der Tobii Pro Glasses Controller sollte geöffnet werden und die Teilnehmer sollten angewiesen werden, die Mitte des von Tobii bereitgestellten Kalibriermarkers zu betrachten, während die Kalibrierungsfunktion der Software aktiviert ist. Sobald die Kalibrierung abgeschlossen ist, kann die Aufzeichnung innerhalb der Software gestartet werden. Beenden Sie nach Abschluss der Aufzeichnungssitzung die Aufnahme aus der Tobii-Software, bevor Sie den Teilnehmer anweisen, die Brille und die Datenerfassungseinheit zu entfernen.Und dann schalten Sie das Gerät aus. Daten können über eine andere Software, Tobii Pro Lab, extrahiert werden, indem die SD-Karte aus der Datenerfassungseinheit entfernt und die Karte am Computer einsteckt. Tobii Pro Lab ist in der Lage, alle auf der SD-Karte gespeicherten Aufnahmesitzungen gleichzeitig zu importieren.Dateien können dann im Tobii Pro Lab verarbeitet werden, um Videos, verschiedene Visualisierungen zu generieren oder als tabgetrennte Werte oder TSV-Dateien zur weiteren Analyse ausgegeben werden. Hier können Sie die rohen Eye-Tracking-Daten aus einer Kürzlich durchgeführten Studie sehen, in der zwei Teilnehmer lernten, einen Roboter zu programmieren. Auf jeder Seite können Sie den Videostream sehen, der von jedem Eyetracker mit der Position des Blicks des Teilnehmers generiert wird.Wie Sie sehen können, ist es unmöglich zu sagen, ob sie den gleichen Ort zur gleichen Zeit betrachten, weil der Standpunkt jedes Teilnehmers unterschiedlich ist. Darüber hinaus kann die Datenaufzeichnung zu unterschiedlichen Zeiten beginnen. Dies bedeutet, dass die Daten zeitlich und räumlich synchronisiert werden müssen.Ich werde Ihnen in diesem Video zeigen, wie Sie diese beiden Probleme angehen können. Zunächst werde ich eine Prozedur beschreiben, um die Daten vorübergehend zu synchronisieren. Für den ersten Teilnehmer haben Sie eine bestimmte Anzahl von Videoframes.Einige von ihnen sind vor oder nach der eigentlichen experimentellen Aufgabe. Wie der erste Frame, bei dem der Experimentator den Eyetracker kalibriert. Ebenso verfügen Sie für die anderen Teilnehmer über die gleiche Art von Daten.Es wird hier nicht gezeigt, aber jeder Frame des Videos ist auch mit einer x- und y-Koordinate verknüpft, die den Blick jedes Teilnehmers darstellt. Um die Daten zu synchronisieren, zeigen wir kurz eine Fiducial-Markierung auf dem Computerbildschirm vor und nach der experimentellen Aufgabe. Mithilfe eines Computer-Vision-Algorithmus können wir erkennen, wann dieser Marker jedem Teilnehmer präsentiert wird, was es uns ermöglicht, die Daten zu trimmen und auszurichten.Dies ist also eine Möglichkeit, mit Problemen bei der Datensynchronisierung umzugehen. In den nächsten Abschnitten werden wir uns mit der zweiten Ausgabe befassen: Wie die Daten räumlich synchronisiert werden. Wie bereits erwähnt, stammen die Daten von jedem Eyetracker in Form eines Video-Feeds, der mit der Position des Blicks jedes Teilnehmers verbunden ist, hier in Blau und Grün.Obwohl die x- und y-Koordinaten für beide Teilnehmer gleich sein können, bedeutet dies nicht, dass sie an der gleichen Stelle suchen, weil sie den Bildschirm aus zwei verschiedenen Perspektiven betrachten. Eine Möglichkeit, dieses Problem zu lösen, besteht darin, ein Bild des experimentellen Setups zu erstellen, das als Referenz dient und wo wir den Speicherort des einzelnen Teilnehmers neu zuordnen werden. So können wir für jeden Frame des Eye-Tracking-Videos erkennen, ob die Teilnehmer gleichzeitig am selben Ort suchen.Aber wie ordnen wir diese Koordinaten in das Bild auf der linken Seite um? Wir werden den gleichen kooperativen Visionsalgorithmus verwenden, der es uns ermöglichte, die Daten früher zu synchronisieren. Indem wir es auf jeden Frame der Videoaufzeichnungen anwenden, können wir nun die Position der Treuhandmarker aus der Perspektive der Teilnehmer erkennen.Dadurch können wir die gleichen Markierungen auf dem Referenzbild auf der linken Seite verbinden. Indem wir die Koordinaten dieses gemeinsamen Satzes von Punkten kennen, können wir die Position des Blicks jeder Person mithilfe einer mathematischen Operation, die als Homographie bekannt ist, ableiten. Wenn wir dieses Verfahren auf jeden Frame anwenden, können wir ein Video generieren, um sicherzustellen, dass die Homographie funktioniert.Auf der rechten Seite sehen Sie die Videoaufzeichnung jedes Teilnehmers mit der Position seines Blickes in blau und grün. Die gleichen Treuhandmarkierungen sind mit einer weißen Linie zwischen dem Bild auf der linken Seite und dem Standpunkt des Teilnehmers auf der rechten Seite verbunden. Die neu abgebildeten Blicke werden auf der linken Seite angezeigt und sie werden rot, wenn es eine gemeinsame visuelle Aufmerksamkeit gibt.Das Generieren dieses Videos ist ein wichtiger Schritt, um sicherzustellen, dass die Daten sauber sind und die Homographie korrekt ausgeführt wurde. Darüber hinaus gibt es zwei weitere Visualisierungen, die erstellt werden können, um die Daten zu überprüfen. Die erste Visualisierung ist eine Heatmap.Für jeden Teilnehmer können wir jeden Blickpunkt auf das Bild des Versuchsaufbaus zeichnen. Dadurch wird sichergestellt, dass die Homographie korrekt funktioniert hat und es uns ermöglicht, diese Fallpunkte in verschiedene Interessensgebiete einzuordnen. Hier können wir zum Beispiel sehen, dass die meiste Zeit damit verbracht wurde, auf den Computerbildschirm zu schauen, und sehr wenig Zeit damit verbracht wurde, sich die Spickzettel anzusehen.Die zweite Visualisierung wird als Kreuzwiederholungsdiagramm bezeichnet. Cross-Recurrence-Diagramme ermöglichen es uns, Eye-Tracking-Daten für ein Teilnehmerpaar zu visualisieren. Die Zeit für den ersten Teilnehmer wird auf der x-Achse angezeigt, die Zeit für den zweiten Teilnehmer auf der y-Achse.Schwarze Quadrate bedeuten, dass beide Teilnehmer an der gleichen Stelle schauen, weiße Stellquadrate fehlende Daten darstellen und graue Quadrate darstellen, wenn die Teilnehmer verschiedene Orte betrachten. Schwarze Quadrate entlang der Diagonale bedeuten, dass sie gleichzeitig an der gleichen Stelle suchen. Schwarze Quadrate abseits der Diagonale bedeuten, dass die Teilnehmer an der gleichen Stelle, aber zu unterschiedlichen Zeiten schauen.Auf der linken Seite können Sie eine Dyade mit einem hohen Maß an gemeinsamer visueller Aufmerksamkeit sehen. In der Mitte eine Dyade mit geringem Maß an gemeinsamer visueller Aufmerksamkeit. Auf der rechten Seite eine Gruppe mit vielen fehlenden Daten.Durch durchführen diese Integritätsprüfungen können Sie sicherstellen, dass Sie Ihre Daten korrekt synchronisiert und in ein gemeinsames Abbild des Experimentellen Setups eingefügt haben. Diese Schritte sind von entscheidender Bedeutung und müssen durchgeführt werden, bevor eine Analyse durchgeführt wird. Schließlich gibt es zwei Parameter, die ausgewählt werden müssen, bevor ein Maß für die gemeinsame visuelle Aufmerksamkeit berechnet wird.Der erste Parameter ist das Zeitfenster, in dem Teilnehmer an der gleichen Position anzeigen können. Frühere Arbeiten von Richardson und Dale hatten festgestellt, dass es bis zu zwei Sekunden dauern kann, bis sich die Teilnehmer von dem, was sie tun, zurückziehen, um darauf zu achten, was ihr Partner tut. So haben wir festgestellt, dass es eine gemeinsame visuelle Aufmerksamkeit gibt, wenn zwei Teilnehmer innerhalb eines Plus- und minus zwei Sekunden-Fensters an der gleichen Stelle angeschaut haben.Der zweite Parameter ist der Mindestabstand zwischen zwei Blickpunkten, damit sie als gemeinsame visuelle Aufmerksamkeit qualifiziert werden können. Diese Entfernung ist kontextabhängig und muss von den Forschern je nach der verwalteten Aufgabe und ihren Forschungsfragen definiert werden. Bei einigen Aufgaben kann die Entfernung kurz sein.Hier haben wir zum Beispiel 100 Pixel verwendet. Bei anderen Aufgaben kann dieser Abstand größer sein. Als Nächstes werde ich einige Ergebnisse präsentieren, die mit dieser Methode gefunden wurden.Nachdem Sie eine Schätzung für die Menge der gemeinsamen visuellen Aufmerksamkeit in der Gruppe erhalten haben, können Sie dieses Maß mit anderen Variablen von Interesse korrelieren. In der Arbeit haben wir beispielsweise diese Maßnahme mit dem zu Lernwissenschaften entwickelten Bewertungsschema korreliert, das eine Gruppenqualität der Zusammenarbeit erfasst. Für jede Gruppe haben wir eine Punktzahl auf die neunen der hier vorgestellten Dimensionen zugewiesen.Zum Beispiel, wie gut die Menschen das gegenseitige Verständnis aufrechterhalten haben oder wie leicht sie zu einem Konsens gelangt sind. Diese Werte müssen mit einer anderen Quote eine akzeptable Interreliability erhalten. Schließlich können wir diese Ergebnisse auch in einer allgemeinen Metrik aggregieren, die die Qualität der Zusammenarbeit für jede Gruppe annähert.Ein Ergebnis, das in unserer Arbeit sowie in anderen Studien gefunden wurde, ist, dass die gemeinsame visuelle Aufmerksamkeit signifikant mit der Qualität der Zusammenarbeit korreliert, gemessen an dem zuvor vorgestellten Bewertungsschema. Gruppen, die mit diesem Codierungsschema hoch bewertet werden, haben in der Regel mehr gemeinsame visuelle Aufmerksamkeit als die Gruppen, die niedrige Punktzahlen erhalten haben. Dies zeigt, dass produktive Interaktionen oft mit mehr gemeinsamer visueller Aufmerksamkeit verbunden sind.Auf der nächsten Folie zeige ich Ihnen ein weiteres Ergebnis, das auf diesem Befund aufbaut. Ein Vorteil der feinen Eye-Tracking-Daten ist, dass wir andere Maßnahmen der gemeinsamen visuellen Aufmerksamkeit extrahieren können. Zum Beispiel können wir berechnen, wer ein Angebot der gemeinsamen visuellen Aufmerksamkeit initiiert und darauf reagiert hat.Insbesondere bedeutet auf der x-Achse dieses Graphen die Punktzahl Null die gleiche Verteilung dieser Verhaltensweisen, und eine Punktzahl von eins bedeutet, dass eine Person immer reagiert oder Momente der visuellen Aufmerksamkeit einführt. In dieser Studie fanden wir eine inverse Korrelation mit Lerngewinnen, die auf der y-Achse gemessen wurden, gemessen durch Pre- und Post-Tests. Gruppen, in denen dieselbe Person ständig Momente der gemeinsamen visuellen Aufmerksamkeit einleitete oder darauf reagierte, lernten seltener, und Gruppen, in denen diese Verantwortung gleichermaßen geteilt wurde, waren eher höher bei den Nachtests, wenn sie nach Ergebnissen im Vortest kontrollierten.In diesem Video habe ich die Methodik vorgestellt, die Forschern hilft, mobile Eye-Tracking-Daten sowohl zeitlich als auch räumlich zu synchronisieren. Die Ergebnisse deuten darauf hin, dass duale Eye-Tracking-Daten Indikatoren für die Zusammenarbeit liefern können, indem Sie Maßnahmen der gemeinsamen visuellen Aufmerksamkeit berechnen. Darüber hinaus habe ich Ergebnisse präsentiert, die zeigen, dass wir über einfache Maßnahmen der gemeinsamen Aufmerksamkeit hinausgehen können, zum Beispiel indem wir uns ansehen, wer eine Episode gemeinsamer visueller Aufmerksamkeit initiiert oder darauf reagiert hat.Wir stellten fest, dass diese Maßnahme mit anderen Ergebnismaßnahmen zusammenhängt, wie z. B. Lerngewinne. Eine Solche Maßnahme wäre ohne Eye-Tracking-Daten nicht möglich. Zusammenfassend haben wir herausgefunden, dass die in diesem Video vorgestellte Methodik Forschern helfen kann, neue Einblicke in kollaborative Prozesse zu gewinnen.Vielen Dank für das Ansehen dieses Videos und zögern Sie nicht, auf das Papier für weitere Informationen zu verweisen.

Research

JoVE Journal

Behavior

Automated Visual Cognitive Tasks for Recording Neural Activity Using a Floor Projection Maze

Automatisierte kognitive Anforderungen für die Aufnahme Neuronale Aktivität Mit einer Bodenprojektion Maze

Neuropsychological tasks used in primates to investigate mechanisms of learning and memory are typically visually guided cognitive tasks. We have ...

Forschung

Verhalten

The 5-Choice Serial Reaction Time Task: A Task of Attention and Impulse Control for Rodents

Die 5-Wahl Serienreaktionszeit-Aufgabe: Eine Aufgabe der Aufmerksamkeit und Impulskontrolle für Nager

This protocol describes the 5-choice serial reaction time task, which is an operant based task used to study attention and impulse control in rodents. ...

Topographical Estimation of Visual Population Receptive Fields by fMRI

Topographische Schätzung von Visual Bevölkerung rezeptiven Felder von fMRI

Visual cortex is retinotopically organized so that neighboring populations of cells map to neighboring parts of the visual field. Functional magnetic ...

Methods to Test Visual Attention Online

Methoden zur Visuelle Aufmerksamkeit Online Testen

Online data collection methods have particular appeal to behavioral scientists because they offer the promise of much larger and much more representative ...

A Method to Quantify Visual Information Processing in Children Using Eye Tracking

Eine Methode zur Quantifizierung von Visual Information Processing bei Kindern Eye-Tracking

Visual problems that occur early in life can have major impact on a child's development. Without verbal communication and only based on observational ...

Visualizing Visual Adaptation

Visualisierung Visuelle Adaptation

Many techniques have been developed to visualize how an image would appear to an individual with a different visual sensitivity: e.g., because of optical ...

Measuring Attention and Visual Processing Speed by Model-based Analysis of Temporal-order Judgments

Mess Achtung und Visual Verarbeitungsgeschwindigkeit von Modellbasierte Analyse zeitlicher Ordnung Urteile

This protocol describes how to conduct temporal-order experiments to measure visual processing speed and the attentional resource distribution. The ...

Central and Divided Visual Field Presentation of Emotional Images to Measure Hemispheric Differences in Motivated Attention

Mittel- und geteilten Gesichtsfeld Präsentation der emotionale Bilder, hemisphärische Unterschiede in motivierten Aufmerksamkeit zu messen

Two dominant theories on lateralized processing of emotional information exist in the literature. One theory posits that unpleasant emotions are processed ...

Methodology for Establishing a Community-Wide Life Laboratory for Capturing Unobtrusive and Continuous Remote Activity and Health Data

Methodik für den Aufbau einer EU-weiten Leben Labor für unauffällig und kontinuierliche Remote-Aktivität und Gesundheitsdaten erfassen

An end-to-end suite of technologies has been established for the unobtrusive and continuous monitoring of health and activity changes occurring in the ...

Visual Classical Conditioning in Wood Ants

Visuelle Klassische Konditionierung in Waldameisen

Several species of insects have become model systems for studying learning and memory formation. Although many studies focus on freely moving animals, ...