Name: combining eye-tracking data with an analysis of video content from free-viewing a video of a walk in an urban park environment
Uploaded: 2019-05-07T12:30:00
Description: Watch this Scientific Journal Video about Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment at JoVE.com

Diese Arbeit wurde von der Stadt Melbourne und teilweise von ARC DP 150103135 finanziell unterstützt. Wir danken Eamonn Fennessy für seinen Rat und seine Zusammenarbeit. Ein besonderer Dank galt den Forscherinnen Isabelle Janecki und Ethan Chen, die auch bei der Erhebung und Analyse dieser Daten mitgeholfen haben. Alle Fehler bleiben den Autoren erhalten.

Die Ethikkommission der Australischen Katholischen Universität hat für dieses Projekt eine ethische Genehmigung erteilt-die Zustimmungsnummer #201500036E. Dies sorgte dafür, dass von allen Teilnehmern eine informierte Einwilligung eingeholt wurde und alle Teilnehmer freiwillig teilnahmen und die Daten der Teilnehmer anonym und vertraulich blieben. Darüber hinaus wurde die Genehmigung aufgrund der Methode und der Ausrüstung nach den australischen Normen Sicherheitsvorschriften erteilt.
1. Fi...

<ol>
	<li>Patrik, P., Stigsdotter, U. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+relation+between+perceived+sensory+dimensions+of+urban+green+space+and+stress+restoration.">The relation between perceived sensory dimensions of urban green space and stress restoration.</a> Landscape and Urban Planning. 94 (3-4), 264-275 (2010).</li><li>Bj&#248;rn, G., Patil, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Biophilia:+does+visual+contact+with+nature+impact+on+health+and+well-being?.">Biophilia: does visual contact with nature impact on health and well-being?.</a> International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).</li><li>Velarde, M. a. D., Fry, G., Tveit, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Health+effects+of+viewing+landscapes-Landscape+types+in+environmental+psychology.">Health effects of viewing landscapes-Landscape types in environmental psychology.</a> Urban Forestry &amp; Urban Greening. 6 (4), 199-212 (2007).</li><li>Polat, A. T., Ahmet, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Relationships+between+the+visual+preferences+of+urban+recreation+area+users+and+various+landscape+design+elements.">Relationships between the visual preferences of urban recreation area users and various landscape design elements.</a> Urban Forestry &amp; Urban Greening. 14 (3), 573-582 (2015).</li><li>Peter, P., Giannopoulos, I., Raubal, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Where+am+I?+Investigating+map+matching+during+self-localization+with+mobile+eye+tracking+in+an+urban+environment.">Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment.</a> Transactions in GIS. 18 (5), 660-686 (2014).</li><li>Berto, R., Massaccesi, S., Pasini, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Do+Eye+Movements+Measured+across+High+and+Low+Fascination+Photographs+Differ?+Addressing+Kaplan's+Fascination+Hypothesis.">Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan's Fascination Hypothesis.</a> Journal of Environmental Psychology. 28 (2), 185-191 (2008).</li><li>Kaplan, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+restorative+benefits+of+nature:+Towards+an+integrative+framework.">The restorative benefits of nature: Towards an integrative framework.</a> Journal of Environmental Psychology. 15, 169-182 (1995).</li><li>Duchowski, A. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Eye Tracking Methodology: Theory and Practice. , (2017).</li><li>Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=How+eye-catching+are+natural+features+when+walking+through+a+park?+Eye-+tracking+responses+to+videos+of+walks?.">How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?.</a> Urban Forestry and Urban Greening. 31, 67-78 (2018).</li><li>Gould, S. D. A. R. W. I. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+Framework+for+Machine+Learning+and+Computer+Vision+Research+and+Development.">A Framework for Machine Learning and Computer Vision Research and Development.</a> Journal of Machine Learning Research. (Dec), 3533-3537 (2012).</li><li>Richardson, D., Matlock, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+integration+of+figurative+language+and+static+depictions:+an+eye+movement+study+of+fictive+motion.">The integration of figurative language and static depictions: an eye movement study of fictive motion.</a> Cognition. 102 (1), 129-138 (2007).</li><li>Bojko, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=.">.</a> Eye Tracking the User Experience: A Practical Guide to Research. , (2013).</li></ol>

In der Regel wird in Standard-Softwarepaketen zur Analyse von Eye-Tracking-Daten ein Vektor AOI verwendet. Auch für ein einzelnes Standbild lässt sich die Größe des Vektors nicht einfach messen. Darüber hinaus ist es mühsam, alle AOIs in ein Bild aufzunehmen und die relativen Mengen von AOIs zu berechnen. Es ist fast unmöglich, dies manuell auf einem Video zu tun, ohne eine maschinelle Lerntechnik, wie sie beschrieben wird. Das war eine relativ einfache Aussage, die eine kostenlose Betrachtungssituation einfügt. ...

Unsere täglichen Erfahrungen in urbanen Umgebungen haben großen Einfluss auf unsere Gesundheit und unser Wohlbefinden. Unser Wohlbefinden kann von der Menge der Grünflächen abhängen, die wir1,2,3sehen und erleben, und diese Ansichten können mit Hilfe von Eye-Tracking-Geräten quantifiziert werden, um die Entscheidungsfindung über das Parkdesign zu bestimmen. Ein Problem stellt sich jedoch mit dem Umfang der Eye-Tracking-Daten, die generiert werden und die für diese Daten sinnvoll sind. Da die Geräte zur Erfassung von Blickdaten in einem Labor oder in einer natürlichen Umgebung einfacher zu bedienen und leistungsfähiger werden, müssen die Forscher überlegen, wie wir Daten wirksam sammeln und analysieren können, um bei Entscheidungsfragen zu helfen.
Bisher hat eine große Menge Eye-Tracking-Recherchen Fotos in einer Befragung oder Laboreinstellung4verwendet. Diese Methodik ermöglicht zwar eine große Reproduzierbarkeit und Kontrolle über die Ergebnisse, ist aber nicht in der Lage, die neuesten Fortschritte in der Eye-Tracking-Technologie zu nutzen, zu der der Einsatz von Video und tragbaren mobilen Eye-Trackern gehört. Darüber hinaus würden wir argumentieren, dass der Akt des Gehens und Entspannens notwendigerweise dynamisch ist, besonders wenn er sich an einer Aufgabe wie der Wegeunterstellung5orientiert. Daher sollte ein vollständig wissenschaftliches Verständnis dieser Einstellungen außerhalb des Labors stattfinden. Im Moment jedoch macht die Eye-Tracking in einem realen naturalistischen Rahmen den Vergleich der Erfahrungen zwischen den Themen sehr schwierig. Wenn wir zum Beispiel vergleichen wollten, ob ein Befragter mehr als ein anderer auf Bäume schaut, wie könnten wir dann kontrollieren, dass sich ihr Standpunkt im Vergleich zu anderen ständig ändern würde oder dass sich ihr Kopf gewendet hätte. Eine detaillierte Analyse unter diesen Bedingungen ist mit aktuellen Analysetechniken nahezu unmöglich. Wir würden argumentieren, dass es wichtig ist, die Sichtbereiche zu kontrollieren, die dem untersuchten Individuum zur Verfügung stehen, und in der Analyse in der Lage zu sein, die Gesamtszene, die zu einem bestimmten Zeitpunkt betrachtet wird, zu berücksichtigen.
Es gibt eine Reihe von Theorien, die Stresslevel und Sicherheitswahrnehmungen mit Landschaftsansichten und gutentwickelten Messgrößen von Stress 6,7verbinden. Es gab auch einen rasanten Anstieg der Raffinesse der Eye-Tracking-Geräte, um den Blick8zu messen. Eye-Tracking ist wichtig, weil unfreiwillige Augenbewegungen zuverlässiger mit Präferenz, Stress und anderen traditionellen Messungen verbunden sein können als Umfragen und aufdringliche, physiologische Tests wie Speichelkortisolspiegel. Ziel dieser Forschung ist es, Werkzeuge zu entwickeln, die eine präzisere Messung von Eye-Tracking-Daten ermöglichen, die auf naturalistischere Umgebungen angewendet werden, um weitere Beweise für langjährige Landschaftstheorien zu liefern oder zu widerlegen, die die Gestaltung des Parks informiert haben. Jahrzehnten.
Ziel des Projektes ist es, eine neuartige Analysetechnik zu entwickeln und zu testen, die für verschiedene Videos von Park-Walking-Simulationen relevante Eye-Tracking-Daten generieren kann. Unsere Arbeit, die hier und anderswo berichtet wird9 , stellt einen halben Punkt zwischen der naturalistischen Einstellung eines vollmobilen Eye-Tracking-Systems und den oben erwähnten labbasierten Fotostudien dar. Wir konzentrieren uns vor allem darauf, Videos als Reizstoff zu verwenden und zu untersuchen, wie dieses Material genutzt werden kann, um die Faszination zu testen, die verschiedene Parks in der Stadt Melbourne erzeugen. Unsere Arbeit basiert auf der Annahme, dass eine detaillierte Analyse von Videos ein notwendiger Schritt ist, um zu brechen, bevor wir eine umfassendere, naturalistischere Bewertung des Potenzials von Parks, um Wiederherstellung von Stress zu ermöglichen.
In dieser Studie haben wir einen Desktop-Eye-Tracker mit Videos von Spaziergängen durch Stadtparks eingesetzt und die Teilnehmer gebeten, sich vorzustellen, dass sie einen entspannten Spaziergang durch einen Park machen. Wir beschreiben eine Methode, mit der die Zeit, die die Teilnehmer damit verbrachten, verschiedene Objekte zu betrachten, zwischen Parks vergleichbar ist. Desktopstudien sind im Vergleich zu mobilen ET-Studien in der Regel leichter zu kontrollieren und erlauben eine vergleichende Analyse der einzelnen Fäbanten.
Die Standard-Eye-Tracking-Software verwendet ein manuelles Tool, in dem ein Bediener manuell Grenzen um Objekte ziehen kann, die für jede Szene von Interesse sind. So kann automatisch gezählt werden, wie viel Zeit die Teilnehmer damit verbrachten, verschiedene Objekte zu betrachten. Bei Videodaten ist dieser Prozess arbeitsintensiv und unterliegt der Subjektivität und dem Irrtum des Betreibers. In späteren Versionen der Eye-Tracking-Analyse-Software können AOIs Objekte automatisch über Frames verfolgen, wenn sie im Video die gleiche Größe haben. Das ist eine Verbesserung, aber dies ist nur für eine kleine Anzahl von Reizen in jedem Bild gedacht und jedes Bild muss überprüft und bestätigt werden.
Die manuelle Kennzeichnung von Objekten in einem Bild ist üblich und wird durch Bildbearbeitungssoftware wie GNU Image Manipulation Program (GIMP) unterstützt. Da 1 s 30 Bilder oder Bilder produziert, ist die manuelle Kennzeichnung von Videos unpraktisch. Darüber hinaus ist die AOI-Kennzeichnung durch das Zeichnen von Vektorpolygonen am Rand komplexer Objekte wie Baumkronen sehr zeitaufwendig. Schließlich ist es zwar denkbar, die Größe von Objekten in einem Sichtfeld mit Vektorkennzeichnung zu berechnen, aber diese Funktion ist derzeit nicht verfügbar.
Die Methode, über die wir unten berichten, befasst sich mit diesen Einschränkungen. In dieser Studie wurde die automatische Kennzeichnung von Objekten verwendet. Möglich wird dies mit einer Bildbearbeitungstechnik, die als semantische Beschriftung bekannt ist, bei der jedem Pixel in jedem Rahmen des Videos ein Etikett zugewiesen wird, das eine Objektklasse anzeigt. Maschinelles Lernen wird verwendet, um Pixelklassiker für jede Objektklasse von Interesse abzuleiten. Diese Klassifizierer bieten für jedes Pixel (als unary Potentials bekannt) ein probabilistisches Etikett, das dann in einem anschließenden Optimierungsprozess verfeinert wird, um die Endbeschriftung zu erreichen. Diese Klassifikatoren lernen statistische Entscheidungsgrenzen zwischen den einzelnen Objektklassen im Raum der aus dem Bild gewonnenen Funktionen, einschließlich Textur, Histogramm der Kantenorientierung, RGB-Farbwerte und die normalisierten Bildkoordinaten. Eine entsprechende Technik dafür ist in der DARWIN-Maschinenlernwerkskaufstelle10 implementiert und wird im Folgenden beschrieben.

<table border="0" cellpadding="0" cellspacing="0" style="width:572px;" width="573">
	<tbody>
		<tr height="21">
			<td height="21" style="height:21px;width:216px;">12 mm lens</td>
			<td style="width:71px;">Olympus</td>
			<td style="width:119px;"></td>
			<td style="width:167px;">Lens</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;">Panasonic GH4&#160;</td>
			<td>Panasonic</td>
			<td style="width:119px;"></td>
			<td>Video Camera</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;">Tobii Studio version (2.1.14)&#160;&#160;</td>
			<td>Tobii</td>
			<td style="width:119px;"></td>
			<td>Software</td>
		</tr>
		<tr height="21">
			<td height="21" style="height:21px;">Tobii x120 desktop eye-tracker</td>
			<td>Tobii</td>
			<td style="width:119px;"></td>
			<td>Eye-tracker</td>
		</tr>
	</tbody>
</table>

combining eye-tracking data with an analysis of video content from free-viewing a video of a walk in an urban park environment

Da Individuen zunehmend in Städten leben, werden Methoden, um ihre Alltagsbewegungen zu studieren, und die Daten, die gesammelt werden können, werden wichtig und wertvoll. Eye-Tracking Informatiker sind dafür bekannt, dass sie sich mit einer Reihe von Gefühlen, gesundheitlichen Bedingungen, psychischen Zuständen und Handlungen verbinden. Aber weil das Sehen das Ergebnis ständiger Augenbewegungen ist, ist das Ausreißen des Wichtiges aus dem, was Lärm ist, komplex und datenintensiv. Darüber hinaus besteht die Kontrolle darüber, was die Menschen im Vergleich zu dem, was ihnen präsentiert wird, zu kontrollieren.
Im Folgenden finden Sie eine Methodik zur Kombination und Analyse von Eye-Tracking auf einem Video einer natürlichen und komplexen Szene mit einer maschinellen Lerntechnik zur Analyse des Inhalts des Videos. Im Protokoll geht es um die Analyse von Daten von gefilmten Videos, wie ein Video am besten verwendet werden kann, um die Eye-Tracking-Daten der Teilnehmer aufzuzeichnen, und wie der Inhalt des Videos analysiert und mit den Eye-Tracking-Daten kombiniert werden kann. Wir präsentieren eine kurze Zusammenfassung der Ergebnisse und eine Diskussion über das Potenzial der Methode für weitere Studien in komplexen Umgebungen.

Abbildung 1 und Abbildung 2 zeigen das Ergebnis, dass alle Eye-Tracking-Daten für das gesamte Video über alle Teilnehmer hinweg erfasst werden und eine Wärmekarte erstellt wird; Dies ist der Standard-Ansatz, der in Eye-Tracking-Softwarepaketen verfügbar ist. Durch den Vergleich von Abbildung 1 und Abbildung 2 lässt sich feststellen, dass im Durchschnitt die Teilnehmer links und rechts auf der x-Koordinate de...

Watch this Scientific Journal Video about Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment at JoVE.com

Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment

Ziel des Protokolls ist es, detailliert darzulegen, wie Videodaten für den Einsatz im Labor gesammelt werden können; Wie man die Daten der Teilnehmer, die sich die Daten ansehen, aufzeichnet und wie man den Inhalt der Videos, die sie mit Hilfe einer maschinellen Lerntechnik betrachten, effizient analysiert.

Die Kombination von Eye-Tracking-Daten mit einer Analyse von Video-Inhalten aus dem Free-Viewing eines Videos von einem Walk in einer urbanen Park-Umgebung

As individuals increasingly live in cities, methods to study their everyday movements and the data that can be collected becomes important and valuable. ...

Viele Eye-Tracking-Studien basieren auf komplexen Videoreizen und realen Einstellungen, was die Analyse der Daten hochkomplex macht. Diese Analysetechnik ermöglicht einen viel umfassenderen und automatisierten Ansatz zur Analyse von videobasierten Daten als derzeit verfügbare Methoden, die zu einer umfassenderen Extraktion komplexerer Daten führen. Diese Methode könnte in vielen verschiedenen Eye-Tracking-Anwendungen verwendet werden, vor allem in realen Situationen oder solche, die Video als Stimulus verwenden.Landschaftsstudien haben sich darauf verlassen, zu verstehen, wie Menschen auf unterschiedliche visuelle Reize reagieren. Diese Technik in Kombination mit Eye Tracking könnte verwendet werden, um diese Annahmen zu testen. Für diese Art der Forschung ist ein Teamansatz unerlässlich, da es mehrere Aspekte gibt, die einen hohen Input und eine hohe Berücksichtigung erfordern.Demonstrieren das Verfahren mit mir wird mein Postgraduierten-Student Andrew Treller sein. Die Filmsequenzen sollten in einem Eye-Tracking-Labor gezeigt werden, in dem natürliches Licht zur Verfügung steht, das aber gesteuert werden kann, um Reflexionen auf dem Bildschirm auf einer möglichst großen Leinwand zu vermeiden, um so viel vom Gesichtsfeld zu besetzen, dass Ablenkungen von außerhalb des Sichtfeldes vermieden werden. Nachdem Sie den Teilnehmer 60-65 Zentimeter vom Bildschirm entfernt sitzen, bitten Sie ihn, sich vorzustellen, dass er mit einem Satz, der es dem Teilnehmer ermöglicht, sich im Kontext des Eye-Tracking-Videos vorzustellen, eine Wiederherstellung braucht.Spielen Sie dann die Filme für den Teilnehmer in einer vorgegebenen zufälligen Reihenfolge mit einem Desktop-Eye-Tracking-Gerät ab, um die Augenbewegungen des Teilnehmers während jedes Videos aufzuzeichnen. Um einen Interessenbereich zu entwerfen, wählen Sie Elemente aus, die für die Studie von Interesse sind, z. B. Bäume, Sträucher, Wegweiser, Gebäude, Pfade, Schritte. Für optimale Leistung und minimale Trainingsanforderungen verwenden Sie Elemente, die sich mit bloßem Auge leicht voneinander unterscheiden lassen und/oder die unterschiedliche Bereiche jedes Videoframes konsequent einnehmen.Im Allgemeinen sollte das Einschließen ausreichender Schulungsbeispiele, die die visuell unterscheidenden Unterschiede der einzelnen AOI darstellen, für eine robuste Leistung ausreichen. Wenn alle Elemente geändert wurden, wählen Sie eine entsprechende Anzahl von Trainingsrahmen aus, um den Trainingssatz zu bilden. Es gibt keine feste Nummer, die angemessen ist.Öffnen Sie anschließend jeden Trainingsrahmen aus dem Video in der Bildbearbeitungssoftware, und überlagern Sie für jeden Frame eine transparente Bildebene auf dem geladenen Bild für die Beschriftung, und erstellen Sie eine Farbpalette, die eine Farbe für jede bestimmte Objektklasse von Interesse bereitstellt. Um die Farbe für den von Interesse ausgewählten Beispielbereich auszuwählen, klicken und ziehen Sie Pixel innerhalb eines Bereichs, um sie in einem Bereich des Beispiels mit der entsprechenden Palettenauswahl zu färben. Nachdem die Beschriftung eines Frames abgeschlossen ist, exportieren Sie die überlagerte Ebene als separate Bilddatei, wobei darauf zu achten ist, dass der Basisdateiname mit dem ursprünglichen Frame-Basisdateinamen übereinstimmt, jedoch mit einem an das Ende angehängten C.Um die Genauigkeit des trainierten Klassifiierers quantitativ zu validieren, wählen Sie Frames aus der ursprünglichen Videosequenz aus, die noch nicht ausgewählt ist, um in das Trainingsset aufgenommen zu werden, und beschriften Sie die Pixel in jedem Frame, wie gerade gezeigt, damit die Trainingsrahmen so präzise und umfassend wie möglich sind. Wenn die Beschriftung eines Frames abgeschlossen ist, verwenden Sie die gleiche Benennungskonvention wie für die Schulung, indem Sie die Dateien in einem separaten Validierungsrahmenordner speichern. Starten Sie für die automatische Pixelbeschriftung der Videosequenz die darwingrafische Benutzeroberfläche, und klicken Sie auf Trainingsbeschriftungen laden.Um die GUI für Schulungen und Beschriftungen zu konfigurieren, wählen Sie Projekt erstellen aus, und geben Sie dem Projekt mithilfe des Popupdialogfelds einen Namen an. Wählen Sie den Ordner aus, der alle Originalframes der Videosequenz enthält, im Popupfenster. Wählen Sie im Dialogfeld Popupdatei Explorer den Ordner mit den beschrifteten Trainingsbildern für die entsprechende Videosequenz aus.Und wählen Sie im Dialogfeld Datei-Explorer den Ordner aus, der alle beschrifteten Validierungsbilder für die entsprechende Videosequenz enthält. Folgen Sie der Aufforderung, einen Zielordner für alle Ausgabeframes auszuwählen, die in Form von beschrifteten Bildern mit derselben Farbpalette wie im Training verwendet werden. Geben Sie unter den Interessengebieten die zu beschriftenden Bereiche ein, die die rot/grün/blauen Werte enthalten, die zum Markieren der einzelnen Regionen in den Schulungsbeispielen verwendet werden.Der Algorithmus untersucht jeden beschrifteten Trainingsrahmen und lernt ein Darstellungsmodell für die Klassifizierung der Pixel in eine der angegebenen Objektklassen von Interesse. Sobald die Schulung abgeschlossen ist, klicken Sie auf Schulung überprüfen. Und wählen Sie im Dialogfeld Datei-Explorer den Ordner aus, der alle beschrifteten Validierungsbilder für die entsprechende Videosequenz enthält.Um die generierten Beschriftungen visuell zu überprüfen, klicken Sie auf visuelle Validierung. Jedes generierte beschriftete Bild wird neben dem ursprünglichen Validierungsrahmen angezeigt. Wenn die bei der quantitativen oder qualitativen Validierung beobachtete Genauigkeit unter akzeptable Werte fällt, schließen Sie Weitere Ausbildungsbeispiele ein und schulen Sie sie um.Nachdem die Klassenschulung und Validierungsphasen abgeschlossen sind, klicken Sie auf Inferenz ausführen, um mit der vollständigen Beschriftung aller Frames in der Videosequenz mit dem trainierten Klassifier zu beginnen. Sobald die Beschriftung abgeschlossen ist, was mehrere Stunden dauern kann, klicken Sie auf Ausgabe durchsuchen, um die resultierenden Beschriftungen anzuzeigen. Die meisten Eye-Tracking-Software zeigt Ihnen, dass im Durchschnitt die Teilnehmer links und rechts auf der x-Koordinate des Videos im ersten Video im Vergleich zum zweiten Video gescannt haben, für das die Heatmap eine rundere Form zeigt.Mithilfe der in diesem Dokument beschriebenen Machine Learning-Pixelbeschriftungstechnik können wir mehr Details sehen. Diese grafische Darstellung der prozentualen Fixierungszeit zeigt, dass der Pfad im Verlauf des Videos deutlich sichtbar ist. Wie diese Abbildung aus den Eye-Tracking-Daten zeigt, hat sich der Teilnehmer diese Funktion jedoch nur gelegentlich an wichtigen Punkten angesehen.Hier wird eine Zusammenfassung der Verweilzeit aller 39 Teilnehmer dieser repräsentativen Studie gezeigt, wenn man Objekte über die gesamte Länge des Videos betrachtet. In diesem Diagramm wurden die gleichen Daten zur Verweilzeit durch die Zeit und den Raum geteilt, die verschiedene Objekte im Video belegten. Der Wert 1 gibt an, dass die Verweilzeit durch die Menge des Objekts im Video berücksichtigt werden kann.Beispielsweise wurden Objekte, die in beiden Bildern weniger relevant waren, wie z. B. der Himmel, vergleichsweise weniger als andere Objekte angesehen. Künstliche Objekte wie Straßenlaternen und Bänke wurden im Vergleich zu anderen Naturobjekten stärker bewohnen. Diese Arten von Analysen können viele weit reichende Anwendungen haben, um Fragen der Aufmerksamkeit und Salienität zu untersuchen, und können viele weit reichende Anwendungen in verschiedenen Forschungsbereichen haben.Da die Verwendung von Kurzfilmen als visuelle Reize immer häufiger wird, erwarten wir, dass diese Technik immer beliebter wird.

Research

JoVE Journal

Environment

Analysis of Fatty Acid Content and Composition in Microalgae

Die Analyse der Fettsäuregehalt und Zusammensetzung in Mikroalgen

A method to determine the content and composition of total fatty acids present in microalgae is described. Fatty acids are a major constituent of ...

Forschung

Umwelt

Design and Construction of an Urban Runoff Research Facility

Design und Bau eines Stadt Abfluss Research Facility

As the urban population increases, so does the area of irrigated urban landscape. Summer water use in urban areas can be 2-3x winter base line water use ...

An Aquatic Microbial Metaproteomics Workflow: From Cells to Tryptic Peptides Suitable for Tandem Mass Spectrometry-based Analysis

Ein Aquatic Microbial Metaproteomik Workflow: Von der Zelle zum tryptischen Peptide Geeignet für Tandem-Massenspektrometrie-basierte Analyse

Meta-omic technologies such as metagenomics, metatranscriptomics and metaproteomics can aid in the understanding of microbial community structure and ...

The Use of an Automated System (GreenFeed) to Monitor Enteric Methane and Carbon Dioxide Emissions from Ruminant Animals

The Use of an Automated System GreenFeed to Monitor Enteric Methane and Carbon Dioxide Emissions from Ruminant Animals

Die Verwendung eines automatisierten Systems (GreenFeed) bis Enteric Methan und der Kohlendioxidemissionen von Wiederkäuern Überwachen

Ruminant animals (domesticated or wild) emit methane (CH4) through enteric fermentation in their digestive tract and from decomposition of manure during ...

Extracting Metrics for Three-dimensional Root Systems: Volume and Surface Analysis from In-soil X-ray Computed Tomography Data

Extrahieren von Metriken für die dreidimensionale Wurzelsysteme: Volumen und Oberflächenanalyse von In-Boden Röntgen Computertomographie Daten

Plant roots play a critical role in plant-soil-microbe interactions that occur in the rhizosphere, as well as processes with important implications to ...

Spotting Cheetahs: Identifying Individuals by Their Footprints

Spek Cheetahs: Identifizierung von Personen durch ihre Spuren

The cheetah (Acinonyx jubatus) is Africa's most endangered large felid and listed as Vulnerable with a declining population trend by the IUCN1. It ranges ...

A Video Surveillance System to Monitor Breeding Colonies of Common Terns (Sterna Hirundo)

A Video Surveillance System to Monitor Breeding Colonies of Common Terns Sterna Hirundo

Ein Video-Überwachungssystem zur Überwachung Brutkolonien der Flussseeschwalben (Sterna Hirundo)

Many waterbird populations have faced declines over the last century, including the common tern (Sterna hirundo), a waterbird species with a widespread ...

Protocol for Producing Three-Dimensional Infrared Video of Freezing in Plants

Protokoll zur Herstellung von dreidimensionalen Infrarot-Video des Einfrierens in Pflanzen

Freezing in plants can be monitored using infrared (IR) thermography, because when water freezes, it gives off heat. However, problems with color contrast ...

Quantifying Plant Soluble Protein and Digestible Carbohydrate Content, Using Corn (Zea mays) As an Exemplar

Quantifying Plant Soluble Protein and Digestible Carbohydrate Content, Using Corn Zea mays As an Exemplar

Quantifizierung der Pflanze lösliche Protein und verdauliche Kohlenhydrate Inhalt, Verwendung von Mais (Zea Mays) als ein Exemplar

Elemental data are commonly used to infer plant quality as a resource to herbivores. However, the ubiquity of carbon in biomolecules, the presence of ...

Long-term Video Tracking of Cohoused Aquatic Animals: A Case Study of the Daily Locomotor Activity of the Norway Lobster (Nephrops norvegicus)