Mapeamento tridimensional da rotação de objetos virtuais interativos com dados de rastreamento ocular

Summary

Desenvolvemos um método simples, personalizável e eficiente para registrar dados processuais quantitativos de tarefas espaciais interativas e mapear esses dados de rotação com dados de rastreamento ocular.

Abstract

Apresentamos um método para registro em tempo real da interação humana com objetos virtuais tridimensionais (3D). A abordagem consiste em associar dados de rotação do objeto manipulado a medidas comportamentais, como rastreamento ocular, para fazer melhores inferências sobre os processos cognitivos subjacentes.

A tarefa consiste em exibir dois modelos idênticos do mesmo objeto 3D (uma molécula), apresentados em uma tela de computador: um objeto interativo giratório (iObj) e um objeto alvo estático (tObj). Os participantes devem girar o iObj usando o mouse até que considerem sua orientação idêntica à do tObj. O computador rastreia todos os dados de interação em tempo real. Os dados do olhar do participante também são registrados usando um rastreador ocular. A frequência de medição é de 10 Hz no computador e 60 Hz no rastreador ocular.

Os dados de orientação de iObj em relação a tObj são registrados em quatérnios de rotação. Os dados do olhar são sincronizados com a orientação do iObj e referenciados usando este mesmo sistema. Este método nos permite obter as seguintes visualizações do processo de interação humana com iObj e tObj: (1) disparidade angular sincronizada com outros dados dependentes do tempo; (2) trajetória de rotação 3D dentro do que decidimos chamar de "bola de rotações"; (3) Mapa de calor de fixação 3D. Todas as etapas do protocolo utilizaram software livre, como GNU Octave e Jmol, e todos os scripts estão disponíveis como material suplementar.

Com essa abordagem, podemos realizar estudos quantitativos detalhados do processo de resolução de tarefas envolvendo rotações mentais ou físicas, em vez de apenas o resultado alcançado. É possível medir com precisão a importância de cada parte dos modelos 3D para o participante na resolução de tarefas e, assim, relacionar os modelos a variáveis relevantes, como as características dos objetos, as habilidades cognitivas dos indivíduos e as características da interface homem-máquina.

Introduction

A rotação mental (RM) é uma habilidade cognitiva que permite aos indivíduos manipular e girar objetos mentalmente, facilitando uma melhor compreensão de suas características e relações espaciais. É uma das habilidades visuoespaciais, um grupo cognitivo fundamental que foi estudado já em 1890¹. As habilidades visuoespaciais são um componente importante do repertório cognitivo de um indivíduo que é influenciado por fatores hereditários e ambientais 2,3,4,5. O interesse em habilidades vi....

Protocol

1. Preparação de ferramentas de coleta de dados

1. Configure a coleta de dados online (opcional).
   NOTA: Esta etapa descreve como configurar um clone personalizável do código do projeto e da página da Web de trabalho (consulte Arquivo Suplementar 1). Esta etapa foi adaptada dos tutoriais disponíveis em https://pages.github.com/ e https://github.com/jamiewilson/form-to-google-sheets. Se os usuários estiverem interessados apenas no método .......

Discussion

Como dito anteriormente, este artigo tem como objetivo apresentar um procedimento detalhado de mapeamento em tempo real de dados de fixação e movimento sacádico em objetos 3D interativos, que é facilmente personalizável e utiliza apenas softwares disponíveis gratuitamente, fornecendo instruções passo a passo para que tudo funcione.

Embora essa configuração experimental envolvesse uma tarefa altamente interativa, como mover um objeto 3D para correspon.......

Materials

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.