Göz İzleme Verileri ile Etkileşimli Sanal Nesnelerin Dönüşünün Üç Boyutlu Haritalanması

Özet

Etkileşimli uzamsal görevlerden nicel süreçsel verileri kaydetmek ve bu rotasyon verilerini göz izleme verileriyle eşleştirmek için basit, özelleştirilebilir ve verimli bir yöntem geliştirdik.

Özet

Üç boyutlu (3D) sanal nesnelerle insan etkileşiminin gerçek zamanlı olarak kaydedilmesi için bir yöntem sunuyoruz. Yaklaşım, altta yatan bilişsel süreçler hakkında daha iyi çıkarımlar yapmak için manipüle edilen nesnenin dönüş verilerini göz izleme gibi davranışsal ölçümlerle ilişkilendirmekten oluşur.

Görev, bir bilgisayar ekranında sunulan aynı 3B nesnenin (bir molekül) iki özdeş modelini görüntülemekten oluşur: dönen, etkileşimli bir nesne (iObj) ve statik, bir hedef nesne (tObj). Katılımcılar, yönünün tObj'ninkiyle aynı olduğunu düşünene kadar fareyi kullanarak iObj'yi döndürmelidir. Bilgisayar, tüm etkileşim verilerini gerçek zamanlı olarak izler. Katılımcının bakış verileri de bir göz izleyici kullanılarak kaydedilir. Ölçüm frekansı bilgisayarda 10 Hz ve göz izleyicide 60 Hz'dir.

iObj'nin tObj'ye göre oryantasyon verileri, dönme kuaterniyonlarında kaydedilir. Bakış verileri iObj'nin oryantasyonuyla senkronize edilir ve aynı sistem kullanılarak referans alınır. Bu yöntem, iObj ve tObj ile insan etkileşim sürecinin aşağıdaki görselleştirmelerini elde etmemizi sağlar: (1) diğer zamana bağlı verilerle senkronize edilmiş açısal eşitsizlik; (2) "Dönme topu" olarak adlandırmaya karar verdiğimiz şeyin içindeki 3D dönme yörüngesi; (3) 3D sabitleme ısı haritası. Protokolün tüm adımlarında GNU Octave ve Jmol gibi özgür yazılımlar kullanılmıştır ve tüm komut dosyaları ek materyal olarak mevcuttur.

Bu yaklaşımla, yalnızca ulaşılan sonuçtan ziyade, zihinsel veya fiziksel rotasyonları içeren görev çözme sürecinin ayrıntılı nicel çalışmalarını yapabiliriz. 3D modellerin her bir parçasının görev çözmede katılımcı için ne kadar önemli olduğunu kesin olarak ölçmek ve böylece modelleri nesnelerin özellikleri, bireylerin bilişsel yetenekleri ve insan-makine arayüzünün özellikleri gibi ilgili değişkenlerle ilişkilendirmek mümkündür.

Giriş

Zihinsel rotasyon (MR), bireylerin nesneleri zihinsel olarak manipüle etmelerini ve döndürmelerini sağlayan, özelliklerinin ve mekansal ilişkilerinin daha iyi anlaşılmasını kolaylaştıran bilişsel bir yetenektir. 1890 gibi erken bir tarihte incelenen temel bir bilişsel grup olan görsel-uzamsal yeteneklerden biridir¹. Görsel-uzamsal yetenekler, hem kalıtsal hem de çevresel faktörlerden etkilenen bir bireyin bilişsel repertuarının önemli bir bileşenidir 2,3,4,5. Görsel-uzamsal yetenekler....

Protokol

1. Veri toplama araçlarının hazırlanması

1. Çevrimiçi veri toplamayı ayarlayın (isteğe bağlı).
   NOT: Bu adım, proje kodunun ve çalışan web sayfasının özelleştirilebilir bir klonunun nasıl kurulacağını açıklar (bkz. Ek Dosya 1). Bu adım, https://pages.github.com/ ve https://github.com/jamiewilson/form-to-google-sheets'da bulunan eğitimlerden uyarlanmıştır. Kullanıcılar, veri kaydıyla değil de yalnızca veri işleme yöntemiyle ilgileniyorlarsa, aşağıdakilerle birlikte web sayfasını https://rodrigocnstest.github.io/iRT_JoVE.html kullanabilirler:Ek Tablo S1 ve depo dosyalarını http....

Tartışmalar

Daha önce belirtildiği gibi, bu makale, kolayca özelleştirilebilir ve yalnızca ücretsiz olarak sunulan yazılımı kullanan, her şeyin çalışmasını sağlamak için adım adım talimatlar sağlayan, etkileşimli 3B nesneler üzerinde sabitleme ve sakkad hareket verilerinin gerçek zamanlı haritalandırılması için ayrıntılı bir prosedür sunmayı amaçlamaktadır.

Bu deney kurulumu, üç olası eksenden ikisinde bir 3B nesneyi başka bir nesnen.......

Malzemeler

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.