Name: a methodology for capturing joint visual attention using mobile eye-trackers
Uploaded: 2020-01-18T14:00:00
Description: Watch this Scientific Journal Video about A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers at JoVE.com

Разработка этой методологии была поддержана Национальным научным фондом (NSF #0835854), ведущим домом технологий образования для призвания, финансируемых Швейцарским государственным секретариатом по образованию, исследованиям и инновациям, и Декан венчурный фонд Гарвардской школы образования.

1. Скрининг участников
<ol><li>Убедитесь, что участники с нормальным или исправленным к нормальному зрению набираются. Поскольку участникам будет предложено носить мобильный глаз-трекер, они могут носить контактные линзы, но не обычные очки.</li>
</ol>2. Подготовка к эксперименту</p...

<ol>
	<li>Tomasello, M., Moore, C., Dunham, P. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Joint+attention+as+social+cognition.">Joint attention as social cognition.</a> Joint attention: Its origins and role in development. , 103-130 (1995).</li><li>Mundy, P., Sigman, M., Kasari, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+longitudinal+study+of+joint+attention+and+language+development+in+autistic+children.">A longitudinal study of joint attention and language development in autistic children.</a> Journal of Autism and Developmental Disorders. 20, 115-128 (1990).</li><li>Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Grounding+in+communication.">Grounding in communication.</a> Perspectives on socially shared cognition. , 127-149 (1991).</li><li>Siposova, B., Carpenter, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+new+look+at+joint+attention+and+common+knowledge.">A new look at joint attention and common knowledge.</a> Cognition. 189, 260-274 (2019).</li><li>Gergle, D., Clark, A. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=See+What+I'm+Saying?:+Using+Dyadic+Mobile+Eye+Tracking+to+Study+Collaborative+Reference.">See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference.</a> Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).</li><li>Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Spatial+References+with+Gaze+and+Pointing+in+Shared+Space+of+Humans+and+Robots.">Spatial References with Gaze and Pointing in Shared Space of Humans and Robots.</a> Spatial Cognition IX. , 121-136 (2014).</li><li>Shvarts, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Automatic+detection+of+gaze+convergence+in+multimodal+collaboration:+a+dual+eye-tracking+technology.">Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology.</a> The Russian Journal of Cognitive Science. 5, 4 (2018).</li><li>. Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: <a target="_blank" href="https://github.com/chili-epfl/qml-chilitags">https://github.com/chili-epfl/qml-chilitags</a> (2013)</li><li>Jermann, P., Mullins, D., N&#252;ssli, M. -. A., Dillenbourg, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Collaborative+Gaze+Footprints:+Correlates+of+Interaction+Quality.+Connecting+Computer-Supported+Collaborative+Learning+to+Policy+and+Practice.">Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice.</a> CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).</li><li>Richardson, D. C., Dale, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Looking+To+Understand:+The+Coupling+Between+Speakers'+and+Listeners'+Eye+Movements+and+Its+Relationship+to+Discourse+Comprehension.">Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension.</a> Trends in Cognitive Sciences. 29, 1045-1060 (2005).</li><li>Richardson, D. C., Dale, R., Kirkham, N. Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=The+Art+of+Conversation+Is+Coordination+Common+Ground+and+the+Coupling+of+Eye+Movements+During+Dialogue.">The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue.</a> Psychological Science. 18, 407-413 (2007).</li><li>Schneider, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Using+Mobile+Eye-Trackers+to+Unpack+the+Perceptual+Benefits+of+a+Tangible+User+Interface+for+Collaborative+Learning.">Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning.</a> ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).</li><li>Meier, A., Spada, H., Rummel, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=A+rating+scheme+for+assessing+the+quality+of+computer-supported+collaboration+processes.">A rating scheme for assessing the quality of computer-supported collaboration processes.</a> Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).</li><li>Schneider, B., Pea, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=PubMed&cmd=Search&doptcmdl=Citation&defaultField=Title+Word&term=Real-time+mutual+gaze+perception+enhances+collaborative+learning+and+collaboration+quality.">Real-time mutual gaze perception enhances collaborative learning and collaboration quality.</a> Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).</li></ol>

Методология, описанная в настоящем документе, обеспечивает строгий способ захвата JVA в колокационных диадах. С появлением доступной технологии зондирования и усовершенствованных алгоритмов компьютерного зрения, теперь можно изучать совместное взаимодействие с точностью, которая ра?...

JVA была широко изучена в течение последнего столетия, особенно психологов по развитию, изучающих приобретение языка. Было быстро установлено, что совместное внимание больше, чем просто способ узнать слова, а скорее предшественником детских теорий ума1. Таким образом, он играет важную роль во многих социальных процессах, таких как общение с другими людьми, сотрудничество и развитие эмпатии. Аутистических детей, например, не хватает возможности координировать свое визуальное внимание со своими воспитателями, что связано со значительными социальными нарушениями2. Людям необходимо совместное внимание, чтобы стать функциональными членами общества, координировать свои действия и учиться у других. От детей, приобретающих свои первые слова, подростков, обучающихся у школьных учителей, студентов, сотрудничающих над проектами, и групп взрослых, работающих над достижением общих целей, совместное внимание является фундаментальным механизмом для установления общей позиции между людьми3. В этой статье я сосредотачиваюсь на изучении JVA в области образовательных исследований. Понимание того, как совместное внимание разворачивается с течением времени, имеет первостепенное значение для изучения совместных процессов обучения. Как таковой, он играет доминирующую роль в социокструктивистских условиях.
Точное определение совместного внимания по-прежнему обсуждается4. Этот документ касается подконструкции совместного внимания (JA), а именно JVA. JVA происходит, когда два предмета смотрят на одном и том же месте в то же время. Следует отметить, что JVA не предоставляет никакой информации о других важных конструкциях, представляющих интерес для изучения JA, таких как мониторинг общего, взаимного и общего внимания, или, в более общем плане, осведомленности о познании другого члена группы. Этот документ упрощает и упрощает JVA путем объединения глаз отслеживания данных от двух участников и анализа частоты, в которой они выравнивают их взгляды. Для более всестороннего обсуждения, заинтересованный читатель может узнать больше об изучении конструкции JA в Siposovaet al.4.
За последнее десятилетие технологический прогресс коренным образом изменил исследования jVA. Основной сдвиг парадигмы заключается в использовании нескольких глаз-трекеров для получения количественных показателей внимания выравнивания, в отличие от качественного анализа видеозаписей в лаборатории или экологической обстановке. Такое развитие событий позволило исследователям собрать точную и подробную информацию о зрительной координации диад. Кроме того, глаз-трекеры становятся все более доступными: до недавнего времени их использование было зарезервировано для академических параметров или крупных корпораций. Теперь можно приобрести недорогие глаз-трекеры, которые генерируют надежные наборы данных. Наконец, постепенное включение возможностей слежения за взглядом в существующие устройства, такие как ноутбуки высокого класса и гарнитуры виртуальной и дополненной реальности, предполагает, что отслеживание глаз скоро станет повсеместным.
Из-за популяризации устройств слежения за глазами, важно понимать, что они могут и не могут рассказать нам о социальных взаимодействиях. Методология, представленная в настоящем документе, знаменует собой первый шаг в этом направлении. Я решаю две задачи в захвате JVA из нескольких глаз-трекеров: синхронизация данных на 1) временной шкале, и 2) по пространственной шкале. В частности, в этом протоколе используются фидуциальные маркеры, размещенные в реальных средах, для информирования алгоритмов компьютерного зрения, где участники ориентируются. Этот новый вид методологии прокладывает путь к тщательному анализу поведения человека в небольших группах.
Этот протокол исследования соответствует руководящим принципам комитета по этике исследований человека Гарвардского университета.

<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Tobii Glasses 2</td>
			<td>Tobii</td>
			<td>N/A</td>
			<td><a href="https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/" target="_blank">https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/</a></td>
		</tr>
		<tr>
			<td>Fiducial markers</td>
			<td>Chili lab &#8211; EPFL, Switzerland</td>
			<td>N/A</td>
			<td><a href="https://github.com/chili-epfl/chilitags" target="_blank">https://github.com/chili-epfl/chilitags</a></td>
		</tr>
	</tbody>
</table>

a methodology for capturing joint visual attention using mobile eye-trackers

С появлением новых технологических достижений можно изучать социальные взаимодействия на микроуровне с беспрецедентной точностью. Высокочастотные датчики, такие как глаз-трекеры, электродермальная активность браслеты, ЭЭГ полосы, и датчики движения обеспечивают наблюдения на миллисекундном уровне. Такой уровень точности позволяет исследователям собирать большие наборы данных о социальных взаимодействиях. В этой статье я обсуждаю, как несколько глаз-трекеров может захватить фундаментальную конструкцию в социальных взаимодействиях, совместное визуальное внимание (JVA). JVA был изучен психологов развития, чтобы понять, как дети приобретают язык, обучение ученых, чтобы понять, как небольшие группы учащихся работают вместе, и социологи, чтобы понять взаимодействия в небольших группах. В настоящем документе описывается методология захвата JVA в колокационных настройках с помощью мобильных глаз-трекеров. Он представляет некоторые эмпирические результаты и обсуждает последствия захвата микронаблюдений для понимания социальных взаимодействий.

Методология, представленная выше, была использована для обучения студентов, которые следовали программе профессионального обучения в области логистики (n No 54)12. В этом эксперименте пары студентов взаимодействовали с осязаемым пользовательским интерфейсом (TUI), который ими...

Watch this Scientific Journal Video about A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers at JoVE.com

A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers

Использование мультимодальных датчиков является многообещающим способом понять роль социальных взаимодействий в образовательных учреждениях. В настоящем документе описывается методология захвата совместного визуального внимания от колокационных диад с помощью мобильных глаз-трекеров.

Методология захвата совместного визуального внимания с помощью мобильных глаз-трекеров

With the advent of new technological advances, it is possible to study social interactions at a microlevel with unprecedented accuracy. High frequency ...

Research

JoVE Journal

Behavior

Automated Visual Cognitive Tasks for Recording Neural Activity Using a Floor Projection Maze

Автоматизированные Визуальные Задачи Когнитивные для записи нейронной активности с использованием этаж Проекция Maze

Neuropsychological tasks used in primates to investigate mechanisms of learning and memory are typically visually guided cognitive tasks. We have ...

The 5-Choice Serial Reaction Time Task: A Task of Attention and Impulse Control for Rodents

5-Выбор Серийный Время реакции Задача: Задача Внимания и импульсного управления для Грызунов

This protocol describes the 5-choice serial reaction time task, which is an operant based task used to study attention and impulse control in rodents. ...

Topographical Estimation of Visual Population Receptive Fields by fMRI

Топографическая Оценка Визуальный населения рецептивных полей по МРТ

Visual cortex is retinotopically organized so that neighboring populations of cells map to neighboring parts of the visual field. Functional magnetic ...

Methods to Test Visual Attention Online

Методы тестирования зрительного внимания Интернет

Online data collection methods have particular appeal to behavioral scientists because they offer the promise of much larger and much more representative ...

A Method to Quantify Visual Information Processing in Children Using Eye Tracking

Разработан метод Количественно Визуальный обработки информации в интересах детей с помощью глаз слежения

Visual problems that occur early in life can have major impact on a child's development. Without verbal communication and only based on observational ...

Visualizing Visual Adaptation

Визуальное Визуальная адаптация

Many techniques have been developed to visualize how an image would appear to an individual with a different visual sensitivity: e.g., because of optical ...

Measuring Attention and Visual Processing Speed by Model-based Analysis of Temporal-order Judgments

Измерение внимание и скорость обработки визуальной модели на основе анализа судебных решений Temporal порядка

This protocol describes how to conduct temporal-order experiments to measure visual processing speed and the attentional resource distribution. The ...

Central and Divided Visual Field Presentation of Emotional Images to Measure Hemispheric Differences in Motivated Attention

Центральный и разделенные поля зрения презентация эмоциональных образов для измерения полушария различия в почве внимания

Two dominant theories on lateralized processing of emotional information exist in the literature. One theory posits that unpleasant emotions are processed ...

Methodology for Establishing a Community-Wide Life Laboratory for Capturing Unobtrusive and Continuous Remote Activity and Health Data

Методология создания лаборатории жизнь всей общины для захвата ненавязчивым и непрерывное удаленное деятельности и медицинских данных

An end-to-end suite of technologies has been established for the unobtrusive and continuous monitoring of health and activity changes occurring in the ...

Visual Classical Conditioning in Wood Ants

Визуальные классический подготовлять в древесных муравьёв

Several species of insects have become model systems for studying learning and memory formation. Although many studies focus on freely moving animals, ...