Göz İzleme Verileri ile Etkileşimli Sanal Nesnelerin Dönüşünün Üç Boyutlu Haritalanması

Özet

Etkileşimli uzamsal görevlerden nicel süreçsel verileri kaydetmek ve bu rotasyon verilerini göz izleme verileriyle eşleştirmek için basit, özelleştirilebilir ve verimli bir yöntem geliştirdik.

Özet

Üç boyutlu (3D) sanal nesnelerle insan etkileşiminin gerçek zamanlı olarak kaydedilmesi için bir yöntem sunuyoruz. Yaklaşım, altta yatan bilişsel süreçler hakkında daha iyi çıkarımlar yapmak için manipüle edilen nesnenin dönüş verilerini göz izleme gibi davranışsal ölçümlerle ilişkilendirmekten oluşur.

Görev, bir bilgisayar ekranında sunulan aynı 3B nesnenin (bir molekül) iki özdeş modelini görüntülemekten oluşur: dönen, etkileşimli bir nesne (iObj) ve statik, bir hedef nesne (tObj). Katılımcılar, yönünün tObj'ninkiyle aynı olduğunu düşünene kadar fareyi kullanarak iObj'yi döndürmelidir. Bilgisayar, tüm etkileşim verilerini gerçek zamanlı olarak izler. Katılımcının bakış verileri de bir göz izleyici kullanılarak kaydedilir. Ölçüm frekansı bilgisayarda 10 Hz ve göz izleyicide 60 Hz'dir.

iObj'nin tObj'ye göre oryantasyon verileri, dönme kuaterniyonlarında kaydedilir. Bakış verileri iObj'nin oryantasyonuyla senkronize edilir ve aynı sistem kullanılarak referans alınır. Bu yöntem, iObj ve tObj ile insan etkileşim sürecinin aşağıdaki görselleştirmelerini elde etmemizi sağlar: (1) diğer zamana bağlı verilerle senkronize edilmiş açısal eşitsizlik; (2) "Dönme topu" olarak adlandırmaya karar verdiğimiz şeyin içindeki 3D dönme yörüngesi; (3) 3D sabitleme ısı haritası. Protokolün tüm adımlarında GNU Octave ve Jmol gibi özgür yazılımlar kullanılmıştır ve tüm komut dosyaları ek materyal olarak mevcuttur.

Bu yaklaşımla, yalnızca ulaşılan sonuçtan ziyade, zihinsel veya fiziksel rotasyonları içeren görev çözme sürecinin ayrıntılı nicel çalışmalarını yapabiliriz. 3D modellerin her bir parçasının görev çözmede katılımcı için ne kadar önemli olduğunu kesin olarak ölçmek ve böylece modelleri nesnelerin özellikleri, bireylerin bilişsel yetenekleri ve insan-makine arayüzünün özellikleri gibi ilgili değişkenlerle ilişkilendirmek mümkündür.

Giriş

Zihinsel rotasyon (MR), bireylerin nesneleri zihinsel olarak manipüle etmelerini ve döndürmelerini sağlayan, özelliklerinin ve mekansal ilişkilerinin daha iyi anlaşılmasını kolaylaştıran bilişsel bir yetenektir. 1890 gibi erken bir tarihte incelenen temel bir bilişsel grup olan görsel-uzamsal yeteneklerden biridir¹. Görsel-uzamsal yetenekler, hem kalıtsal hem de çevresel faktörlerden etkilenen bir bireyin bilişsel repertuarının önemli bir bileşenidir 2,3,4,5. Görsel-uzamsal yeteneklere olan ilgi, yaşlanma⁶ ve gelişim⁷, bilim, teknoloji, mühendislik ve matematikte performans (STEM)^8,9, yaratıcılık 10 ve evrimsel özellikler¹¹ gibi kilit konulardaki önemine dair artan kanıtlar nedeniyle yirminci yüzyıl boyunca artmıştır.

Çağdaş MR fikri, Shepard ve Metzler (SM) tarafından 1971'de yayınlanan öncü çalışmadan kaynaklanmaktadır¹². Bir dizi "aynı veya farklı" görev kullanarak kronometrik bir yöntem geliştirdiler ve yan yana görüntülenen soyut 3D nesnelerin iki projeksiyonunu sundular. Katılımcılar, nesneleri bir eksen üzerinde zihinsel olarak döndürmek ve bu projeksiyonların aynı nesneyi farklı şekilde mi yoksa farklı nesneleri mi tasvir ettiğine karar vermek zorunda kaldılar. Çalışma, tepki süresi (RT) ile aynı nesnenin temsilleri arasındaki açısal eşitsizlik (AD) arasında pozitif bir doğrusal korelasyon olduğunu ortaya koydu. Bu korelasyon, açı eşitsizliği etkisi (ADE) olarak bilinir. ADE, MR'nin davranışsal bir tezahürü olarak kabul edilir ve 13,14,15,16,17,18,19,20,21,22,23,24,25 alanındaki birçok etkili çalışmada her yerde bulunur. SM çalışmasında kullanılan 3D nesneler, Bell Laboratories^26'da bilgisayar grafiği öncüsü Michael Noll tarafından üretilen 10 bitişik küpten oluşuyordu. Bunlar SM figürleri olarak adlandırılır ve MR çalışmalarında yaygın olarak kullanılır.

Shepard ve Metzler'in ufuk açıcı çalışmalarında iki gelişme büyük önem taşıyordu; ilk olarak, MR değerlendirmeleri alanındaki katkıları göz önünde bulundurarak. 1978'de Vanderberg ve Kuze²⁷, zihinsel rotasyon testi (VKMRT) olarak bilinen SM "aynı veya farklı" rakamlara dayanan psikometrik 20 maddelik bir kalem ve kağıt testi geliştirdi. Her test öğesi bir hedef uyaran sunar. Katılımcılar, hangilerinin hedef uyaranda tasvir edilen aynı nesneyi temsil ettiği ve hangilerinin temsil etmediği dört uyaran arasından seçim yapmalıdır. VKMRT, MR yeteneği ile cinsiyete bağlı farklılıklar 6,21,24,28,29,30, yaşlanma ve gelişim ^6,31,32, akademik performans⁸ gibi diğer çeşitli faktörler arasındaki ilişkiyi araştırmak için kullanılmıştır.^,33 ve müzik ve spor becerileri³⁴. 1995 yılında, Peters ve ark. VKMRT^35,36 için yeniden çizilmiş rakamlarla bir çalışma yayınladılar. Benzer şekilde, "aynı veya farklı" görev tasarımını takiben, MR süreçlerini araştırmak ve MR yeteneklerini değerlendirmek için bilgisayar tarafından oluşturulan çeşitli başka uyaran kütüphaneleri kullanılmıştır (orijinal SM uyaranlarının 3D versiyonları 19,22,23,37,38, SM figürlerini taklit eden insan vücudu 25,39,40, 2D döndürme için düz çokgenler ^{41, 42}, anatomi ve organlar⁴³, organik şekiller⁴⁴, moleküller^45,46, diğerleri arasında²¹). Guay tarafından 1976^47'de önerilen Purdue Mekansal Görselleştirme Testi (PSVT) de önemlidir. MR (PSVT:R) dahil olmak üzere bir dizi test gerektirir. VKMRT'dekilerden farklı uyaranlar kullanan PSVT:R, katılımcıların bir model uyarandaki bir rotasyon işlemini tanımlamasını ve bunu zihinsel olarak farklı bir uyarana uygulamasını gerektirir. PSVT:R, özellikle STEM başarısında MR'nin rolünü araştıran çalışmalarda da yaygın olarak kullanılmaktadır 48,49,50.

Shepard ve Metzler'in ufuk açıcı çalışmasında büyük önem taşıyan ikinci ilerleme, özellikle göz izleme cihazlarının kullanımıyla MR sürecinin anlaşılmasına yapılan katkıları içermektedir. 1976'da Just ve Carpenter¹⁴, Shepard ve Metzler'in ADE deneyine dayanan bir çalışma yürütmek için analog video tabanlı göz izleme ekipmanı kullandılar. Sakkadik göz hareketleri ve RT'ler hakkındaki sonuçlarından, üç aşamadan oluşan bir MR süreçleri modeli önerdiler: 1) şekillerin benzer kısımlarının tanındığı arama aşaması; 2) tanımlanan parçalardan birinin zihinsel olarak döndürüldüğü dönüşüm ve karşılaştırma aşaması; 3) Rakamların aynı olup olmadığına karar verilen onay aşaması. Aşamalar, bir karar verilene kadar tekrar tekrar tekrarlanır. Her adım, gözlenen ADE'lerle yakın ilişki içinde spesifik sakkadik ve fiksasyonel göz hareketi modellerine karşılık gelir. Böylece, göz aktivitesini kronometrik verilerle ilişkilendirerek, Just ve Carpenter, MR süreçlerinin incelenmesi için bilişsel bir imza sağladılar. Bugüne kadar, bu model, uyarlamalarla birlikte, çeşitli çalışmalarda benimsenmiştir 15,42,46,51,52,53.

Bu yolu takiben, davranışsal 18,19,22,23,25,34,40,54,55 ve beyin aktivitesi 20,22,56,57'yi izleyen birkaç çalışma devam ediyor Uyaran rotasyonu sırasındaki fonksiyonlar gerçekleştirildi. Bulguları, MR ve motor süreçler arasında işbirlikçi bir role işaret etmektedir. Ayrıca, bireysel farklılıklarla ilgili olarak MR'yi içeren problem çözme stratejilerinin araştırılmasına artan bir ilgi vardır 15,41,46,51,58.

Genel olarak, MR süreçlerini anlamayı amaçlayan çalışmaların tasarımının, katılımcılardan bir MR işlemi gerçekleştirmelerini isteyen ve dolayısıyla bir motor reaksiyon gerektiren görsel uyaranlarla bir görev sunmaya dayandığı düşünülebilir. Bu reaksiyon uyaranların dönmesine izin veriyorsa, genellikle fiziksel rotasyon (PR) olarak adlandırılır. Her çalışmanın özel amaçlarına bağlı olarak, MR ve PR'nin veri toplama ve analizi için farklı stratejiler ve cihazlar kullanılmıştır. Görev uyaranı sunum adımında, uyaran türlerini değiştirmek mümkündür (yani, daha önce alıntılanan örnekler); projeksiyon (geleneksel ekranlarda 22,23,25,29,40,41,59 ve ayrıca stereoskop¹⁹ ve sanal⁶⁰ ve karma ⁴³ gerçeklik ortamlarında bilgisayar tarafından oluşturulan görüntüler); ve uyaranların etkileşimi (statik görüntüler 12,27,36, animasyonlar ⁶¹ ve etkileşimli sanal nesneler 19,22,23,43,53,59).

MR genellikle RT'lerin (ADE) yanı sıra oküler ve beyin aktivitesi^{ölçümlerinden çıkarılır} 25,46,62. Oküler aktivite, sakkadik hareketler ve fiksasyonlar 14,15,42,51,52,54,58,60 ve ayrıca pupillometri ^40'tan oluşan göz izleme verileri kullanılarak ölçülür. RT verileri tipik olarak, kollar¹³, düğmeler ve anahtarlar ^14,53, pedallar⁵³, döner düğmeler¹⁹, joystickler³⁷, klavye⁶¹ ve fare 29,58,60, tahrik tekerlekleri⁵³, atalet sensörleri^22,23, dokunmatik ekranlar^52,59 gibi çeşitli cihazları çalıştırırken kaydedilen motor tepki verilerinden kaynaklanırve mikrofonlar²². PR'yi ölçmek için, RT'lere ek olarak, çalışma tasarımı, katılımcılar MR görevini ^22,23,52,53 gerçekleştirirken etkileşimli uyaranların manuel rotasyonlarının kaydedilmesini de içerecektir.

1998'de Wohlschläger ve Wohlschläger¹⁹ , bir düğme ile manipüle edilen etkileşimli sanal SM uyaranlarıyla "aynı veya farklı" görevleri kullandılar ve dönüşler görev başına bir eksenle sınırlıydı. RT'yi ve görevler sırasında gerçekleştirilen fiziksel rotasyonların kümülatif kaydını ölçtüler. Etkileşimli uyaranların gerçek rotasyonu olan ve olmayan durumları karşılaştırarak, MR ve PR'nin hem hayal edilen hem de gerçekte gerçekleştirilen rotasyonlar için ortak bir süreci paylaştığı sonucuna vardılar.

2014 yılında, sanal etkileşimli uyaranlarla aynı tür görevlerin kullanıldığı iki çalışma yapılmıştır^22,23. Bununla birlikte, nesneler, 3B uzayda hareketi yakalayan atalet sensörleri ile manipüle edildi. Her iki durumda da, RT'lere ek olarak, rotasyon yörüngeleri kaydedildi - görevler sırasında referans ve etkileşimli uyaranlar arasındaki rotasyon farklılıklarının evrimi. Bu yörüngelerden, hem kümülatif bilgileri (yani, kuaterniyonik birimlerde toplam dönme sayısı) hem de çözüm stratejileri hakkında ayrıntılı bilgi elde etmek mümkün oldu. Adams ve ^ark.23 MR ve PR arasındaki işbirlikçi etkiyi incelemiştir. RT'lere ek olarak, dönme yörüngelerinin integralini çözünürlüğün doğruluğu ve nesnelliği parametresi olarak kullandılar. Eğri profilleri, üç aşamalı bir model^63'e (planlama, ana rotasyon, ince ayar) göre yorumlandı. Sonuçlar, MR ve PR'nin mutlaka tek ve ortak bir faktöre sahip olmadığını göstermektedir. Gardony ve ^ark.22, RT, doğruluk ve gerçek zamanlı rotasyon hakkında veri topladı. MR ve PR arasındaki ilişkiyi doğrulamanın yanı sıra, rotasyon yörüngelerinin analizi, katılımcıların farklı olup olmadıklarını belirleyene kadar rakamları manipüle ettiklerini ortaya koydu. Aynı olsalardı, katılımcılar aynı görünene kadar onları döndürürlerdi.

Bu stratejiyi sürdüren Wetzel ve Bertel⁵² , 2018'de arayüz olarak dokunmatik ekranlı tabletleri kullanarak "aynı veya farklı" görevlerde etkileşimli SM figürleri de kullandılar. Ek olarak, MR görevlerinin çözümünde yer alan bilişsel yükün parametreleri olarak fiksasyon süresi ve sakkadik genlik hakkında kümülatif veriler elde etmek için bir göz izleme cihazı kullandılar. Yazarlar, MR ve PR arasındaki ilişkiler ve görev çözme süreçleri ile ilgili olarak yukarıda tartışılan önceki çalışmaları doğruladılar. Ancak bu çalışmada uyaranlar için fiksasyon haritalama ve sakkad verilerini kullanmamışlardır.

Sanal 3B nesneler üzerinde göz izleme verilerinin haritalandırılması için metodolojik yaklaşımlar, genellikle sanal ortamlarda görsel dikkat ile ilgili faktörleri incelemekle ilgilenen araştırmacılar tarafından önerilmiş ve sürekli olarak geliştirilmiştir⁶⁴. Uygun fiyatlı olmasına ve benzer göz izleme cihazları kullanmasına rağmen, görünüşe göre, bu yöntemler, daha önce bahsedilenler gibi etkileşimli 3D nesnelerle zihinsel rotasyon çalışmalarında kullanılan deneysel repertuara etkili bir şekilde entegre edilmemiştir. Buna karşılık, literatürde etkileşimli 3D nesneler üzerinde fiksasyon ve sakkad hareket verilerinin gerçek zamanlı haritalanmasını bildiren herhangi bir çalışma bulamadık. Göz aktivitesi verilerini rotasyon yörüngeleriyle kolayca entegre etmek için uygun bir yöntem yok gibi görünüyor. Bu araştırmada bu boşluğun doldurulmasına katkıda bulunmayı amaçlıyoruz. Prosedür, veri toplamadan grafiksel çıktı oluşturmaya kadar ayrıntılı olarak sunulmaktadır.

Bu yazıda, sanal etkileşimli 3B nesnelerle zihinsel rotasyon süreçlerini incelemek için bir yöntemi ayrıntılı olarak açıklıyoruz. Aşağıdaki gelişmeler vurgulanmıştır. İlk olarak, 3D sanal modellerle etkileşim oturumları sırasında kantitatif davranışsal motor (bir bilgisayar arayüzü aracılığıyla elle yönlendirilen nesne döndürme) ve oküler (göz izleme) veri toplamayı entegre eder. İkincisi, görsel görev tasarımı, veri toplama, kaydetme ve işleme için yalnızca geleneksel bilgisayar ekipmanı ve göz izleme cihazları gerektirir. Üçüncüsü, veri analizini kolaylaştırmak için kolayca grafiksel çıktı üretir - açısal eşitsizlik, fiziksel rotasyon, kuaterniyonik rotasyon yörüngeleri ve 3D sanal nesneler üzerinden göz izleme verilerinin isabet haritalaması. Son olarak, yöntem yalnızca özgür yazılım gerektirir. Geliştirilen tüm kod ve komut dosyaları ücretsiz olarak sunulmaktadır (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Access restricted. Please log in or start a trial to view this content.

Protokol

1. Veri toplama araçlarının hazırlanması

1. Çevrimiçi veri toplamayı ayarlayın (isteğe bağlı).
   NOT: Bu adım, proje kodunun ve çalışan web sayfasının özelleştirilebilir bir klonunun nasıl kurulacağını açıklar (bkz. Ek Dosya 1). Bu adım, https://pages.github.com/ ve https://github.com/jamiewilson/form-to-google-sheets'da bulunan eğitimlerden uyarlanmıştır. Kullanıcılar, veri kaydıyla değil de yalnızca veri işleme yöntemiyle ilgileniyorlarsa, aşağıdakilerle birlikte web sayfasını https://rodrigocnstest.github.io/iRT_JoVE.html kullanabilirler:Ek Tablo S1 ve depo dosyalarını https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave ve 1.1, 1.2 adımlarını ve alt adımlarını atlayın.
   1. GitHub'da (https://github.com/) oturum açın.
   2. Özgün GitHub sayfaları deposunun genel bir kopyasını oluşturun.
      1. Hesapta oturum açmış durumdayken https://github.com'ten depoyu içe aktar'a tıklayın.
      2. Eski deponuzun klon URL'si alanına, URL'yi https://github.com/rodrigocns/rodrigocns_JoVE Depo adı alanına yapıştırın, kullanıcı adının hesapta kullanılan kullanıcı adı olduğu username.github.io yazın ve Genel seçeneğinin etkinleştirildiğinden emin olun. Ardından, yeşil düğmeye tıklayın İçe aktarmaya başla.
         NOT: Depo artık bu kurulumun geri kalanı için gereken dosyaların çoğunu içermektedir ve depoda yapılan herhangi bir değişiklik birkaç dakika sonra web sitesinde güncellenecektir. Örnek olarak, rodrigocnstest adlı kullanıcı https://rodrigocnstest.github.io'da kendi sayfasına ve https://github.com/rodrigocnstest/rodrigocnstest.github.io'da GitHub deposuna erişir.
   3. Deneme verilerini çevrimiçi olarak depolamak için bir bulut e-tablosu oluşturun.
      1. Kaydolun veya bir Google hesabında oturum açın.
      2. Hesapta oturum açmış durumdayken, şu adreste bulunan iRT elektronik tabloları temiz dosyasına gidin https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=sharing.
      3. Bu e-tablonun içinde, Dosya | Bir kopya oluşturun. Küçük bir onay penceresi görünecektir.
      4. Küçük pencerenin içinde dosyaya bir ad verin ve Kopyasını oluştur düğmesine tıklayın.
   4. Oluşturduğunuz e-tablonun içindeki veri depolamayı otomatikleştirmek için bir Google Apps Komut Dosyası oluşturun.
      1. Elektronik tablo dosyasının içindeyken, seçeneğe tıklayın Uzantı | Uygulamalar Komut Dosyası.
         NOT: Bu komut dosyasının, kendisiyle ilişkilendirilebilmesi için elektronik tablonun içinden oluşturulması veya bu komut dosyasına erişilmesi gerekir. Harici olarak bir komut dosyası oluşturmaya çalışmak işe yaramayabilir.
      2. Komut dosyasını ilk kez çalıştırmak için Çalıştır düğmesine tıklayın.
      3. İzinleri gözden geçir düğmesine tıklayın. Yeni bir pencere açılacaktır. E-tabloyu oluştururken kullanılan aynı hesaba tıklayın.
         NOT: Bu adım ilk kez gerçekleştiriliyorsa, hesaptaki bilgilere erişim isteyen uygulama hakkında kullanıcıyı uyaran bir güvenlik uyarısı görünebilir. Uygulama, elektronik tablo içeriğine ulaşmaya çalıştığı ve onu verilerle doldurmak için izin istediği için güvenlidir. Herhangi bir uyarı görüntülenmezse, adım 1.1.4.4 atlanabilir.
      4. Tıklayın Gelişmiş | iRT'den sayfalara (güvenli olmayan) bölümüne gidin | İzin Ver düğmesi.
         NOT: Yürütmeden sonra, yürütmenin tamamlandığını belirten bir bildirim, yürütme günlüğünün içinde görünmelidir.
      5. Sol kayan panelde, Tetikleyiciler düğmesine tıklayın (yukarıdan aşağıya dördüncü simge) | + Tetik Ekle düğmesi.
      6. Hangi işlevin çalıştırılacağını seçin altında, doPost'u seçin; Olay kaynağını seç altında, Elektronik tablodan'ı seçin; Etkinlik türünü seçin altında, Form gönderiminde'yi seçin. Ardından, Kaydet'i tıklayın. Herhangi bir izin açılır penceresi görünürse, 1.1.4.3-1.1.4.4 adımlarını izleyin. Tarayıcı açılır pencereyi engellerse, engellemesini kaldırın.
      7. Dağıt açılır düğmesine tıklayın | Yeni dağıtım.
      8. Fareyi dişli simgesinin üzerine getirin ve Web Uygulaması seçeneğinin seçili olduğundan emin olun.
      9. Yeni açıklama alanına Dağıtım 1 gibi bir açıklama yazın; Erişimi olan kişiler alanında, Herkes'i seçin ve ardından Dağıt düğmesine tıklayın.
         NOT: Yeni açıklama alanının amacı, kişinin komut dosyası dağıtımlarını düzenlemektir. İlk dağıtım gibi okuyucunun istediği şekilde adlandırılabilir. Farklı yürüt alanı zaten Ben (e-posta) olarak görünmelidir, burada e-posta şimdiye kadar kullanılan e-postadır.
      10. Yeni açılır pencerenin içinde, betik dağıtımının Web uygulaması URL'sini kopyalayın.
          NOT: Herhangi bir nedenle kopyalanan Web uygulaması URL'sini kaybederseniz, Dağıt açılır menüsüne tıklayarak geri alın | Dağıtımları yönetin. Web uygulaması URL'si orada olmalıdır.
      11. GitHub'da kullanılan kullanıcı adının rodrigocnstest olduğu https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js adresindeki sayfaya gidin. Adım 1.1.4.10'da kopyalanan Web uygulaması URL'si için 5. satırdaki mevcut URL'yi değiştirin ve yeşil düğmeye tıklayın Değişiklikleri uygula....
          NOT: Kopyalanan URL değeri tek ' ' veya çift " "' tırnak işaretleri arasında kalmalıdır. Kopyalanan URL'nin Web uygulamasından doğru URL olup olmadığını bir kez daha kontrol edin.
      12. Son olarak, ekranın ortasındaki Commit changes onay düğmesine tıklayın.
   5. İşlemin doğru bir şekilde tamamlandığından ve sayfanın çalıştığından emin olun.
      1. Kullanıcı adının GitHub'da kullanılan kullanıcı adı olduğu https://github.com/username/username.github.io/'daki depoya gidin ve adım 1.4.14'te yapılan değişikliklerden sonra dağıtımın güncelleştirilip güncelleştirilmediğini denetleyin.
      2. https://username.github.io/iRT_JoVE adresindeki web sayfasına gidin, kullanıcı adını GitHub'da kullanılan kullanıcı adıyla değiştirin ve ardından İleri'ye tıklayın.
      3. Git'e tıklayın, sağdaki nesneye fare ile tıklayıp sürükleyerek herhangi bir etkileşim yapın ve ardından BİTTİ! düğmesine tıklayın.
      4. Adım 1.1.3 ve 1.1.4'te yapılandırılan elektronik tablo dosyasına geri dönün ve BİTTİ düğmesine her basıldığında yeni eklenen bir veri satırının varlığını doğrulayın.
2. Çevrimdışı veri alımını ayarlayın (isteğe bağlı).
   NOT: Etkileşimli döndürme görevinin (iRT) verilerini çalıştırmak ve almak için tasarlanan yöntem, yukarıda açıklanan adımlarda yapılandırılan bulut hizmetleri aracılığıyla çevrimiçidir. İstenirse (internet bağlantısı bir sorun olabileceğinden veya onu çalıştırmanın alternatif bir yoluna sahip olabileceğinden), testi testin yürütüleceği yerde internet bağlantısı olsun veya olmasın yerel olarak çalıştırmak da mümkündür. Aşağıdaki adımlar isteğe bağlı bir alternatiftir ve bunun nasıl başarılacağını açıklar. Aksi takdirde, adım 1.3'e atlayın.
   1. GitHub deposuna şu bağlantıdan erişin: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Yeşil düğmeye tıklayın < > Kodu | ZIP dosyasını indirin ve ardından indirilen dosyaları açın.
      NOT: Yerel olarak depolanan dosyalarda yapılan değişiklikler, depodaki dosyaları değiştirmez ve bunun tersi de geçerlidir. Her iki sürüm için de amaçlanan tüm değişiklikler, güncelleştirilmiş dosyaları el ile kopyalayarak veya git/GitHub masaüstü kullanılarak her iki konuma da uygulanmalıdır.
   2. Mozilla Firefox'un en son sürümünü şu bağlantıdan edinin: https://www.mozilla.org/en-US/firefox/new/.
   3. Mozilla Firefox tarayıcısını açın, URL yuvasına "about:config" yazın, arama alanına "security.fileuri.strict_origin_policy" yazın ve değerini false olarak değiştirin. NOT: Şimdi, Windows işletim sistemindeki Mozilla Firefox, bilgisayarınıza indirilen web sayfası dosyalarına yerel olarak erişebilmelidir. Diğer tarayıcılar ve işletim sistemleri, her birinin kurulumu http://wiki.jmol.org/index.php/Troubleshooting/Local_Files bağlantıda açıklanan şekilde yerel olarak çalışacak şekilde yapılandırılabilir.
3. Veri işleme aracını ayarlayın.
   1. GNU Octave'ın en son sürümünü https://octave.org/download'den indirin ve yükleyin.
4. Göz izleme cihazını kurun.
   1. Kayıt sistemi yazılımının dizüstü bilgisayarda yüklü olduğundan emin olun.
   2. Dikkatinizin dağılmasını önlemek için araştırma odasının temiz ve iyi organize edildiğinden emin olun.
   3. Gün boyunca tutarlı aydınlatmayı korumak için odada yapay aydınlatma kullanın.
   4. Bilgisayarı bir masanın üzerine kurun ve katılımcının fareyi rahatça hareket ettirebildiğinden emin olun.
   5. Test sırasında hareketi en aza indirmek için katılımcı için rahat bir sandalye, tercihen sabit bir sandalye sağlayın.
   6. Kızılötesi aydınlatmaya güç sağlamak için bir USB kablosunu ve dizüstü bilgisayar/bilgisayar ile kamera için göz izleyici arasına başka bir USB kablosu bağlayın.
   7. Göz izleyiciyi ekranın altına yerleştirin.

2. Veri toplama

1. Veri toplama yazılımını başlatın.
   1. Göz izleyiciden veri almak için bilgisayardaki göz izleme yazılımını çalıştırın.
   2. Deney sırasında bakışı yakalamak için yazılımın ana penceresinde Ekran Yakalama seçeneğini seçin (bu yazılımı ısı haritası görselleştirmesi ve ham dışa aktarma verileri için kullanmak da mümkündür).
   3. Verilerin kaydedilmesi gereken yeni bir proje ve proje klasörü oluşturmak için Yeni Proje'ye tıklayın.
   4. Örnek olarak sunulanı veya adım 1.1'de oluşturulan sayfayı kullanıyorsanız https://rodrigocnstest.github.io/iRT_JoVE.html test sayfasını açın. Alternatif olarak, iRT_JoVE.html dosyasını adım 1.2'de önceden yapılandırılmış tarayıcıdan yerel olarak açın.
   5. Gerekirse, veri tanımlamaya yardımcı olmak için ad ve e-posta alanlarını doldurun ve üretilen verilerin yedek bir kopyasını indirmek için kutuyu işaretleyin.
      NOT: Çevrimdışı yöntemi kullanıyorsanız (adım 1.2), yedek kopyaları indirmeniz önerilir.
   6. Tarayıcının öğeleri doğru şekilde yükleyeceğinden ve sunulan görevler veya veri toplama ile ilgili herhangi bir sorun olmadığından emin olmak için denemeyi bir kez çalıştırmayı deneyin.
2. Denemeyi çalıştırın.
   1. Katılımcıya deneyin amacını, kullanılan teknolojiyi ve dahil etme/dışlama kriterlerini açıklayın. Katılımcının her şeyi anladığından emin olun. Katılımcının Onay formunu doldurmasını sağlayın.
   2. Katılımcıdan Göz İzleme Sisteminin önüne oturmasını ve mümkün olduğunca rahat etmesini isteyin.
   3. Katılımcı ile kamera arasında en uygun mesafeyi sağlamak için sandalyeyi hareket ettirin (ideal uzunluk, göz izleyiciden katılımcının gözlerine kadar olan mesafe 65 cm'dir).
   4. Katılımcıdan deney sırasında mümkün olduğunca hareketsiz kalmasını isteyin. Katılımcının göz bebeklerini doğru bir şekilde yakalamak için kameranın yüksekliğini ayarlayın (bazı yazılımlar Kornea Yansımasını göstermek için göz bebeğini vurgular).
   5. Öğrenciler bulunana kadar kamera kazancını değiştirerek öğrenci takibini optimize etmek için Otomatik Kazancı Etkinleştir'e tıklayın (bazı yazılımlarda bu seçenek yoktur).
   6. Katılımcıdan ekrandaki bir dizi noktaya bakmasını ve başını hareket ettirmeden noktanın hareketini takip etmesini isteyin.
   7. Kalibrasyonu başlatmak için Kalibre Et'e tıklayın (bu, göz izleyicinin katılımcının ekranda nereye baktığını takip edebilmesini sağlayacaktır).
      NOT: Ekran kararacak ve bir kalibrasyon işareti (nokta) ekranda beş konum boyunca hareket edecektir.
   8. Kalibrasyondan sonra, kalibrasyon doğruluğunu kontrol etmek için ekranda görsel bir bakış noktası tahmini çizilecektir. Bakışın doğru şekilde görüntülenip görüntülenmeyeceğini görmek için katılımcıdan ekrandaki belirli bir noktaya bakmasını isteyin.
   9. Kalibrasyon tatmin edici değilse, kamerayı ayarlayın ve sistem bakışları uygun şekilde izleyene kadar kalibrasyonu tekrar deneyin.
   10. Veri toplama modunu etkinleştirmek için Göz izleme yazılımının (ana menü) sağ tarafındaki Veri Topla düğmesine tıklayın. Yakalanan ekranın gerçek zamanlı görüntüsü, birincil ekran penceresinde gösterilen bakış verileriyle birlikte sunulacaktır.
   11. Göz izleyici tarafından yakalanan kullanıcının yüzünü görüntülemek için ana menüdeki Gaze video düğmesine tıklayın. Ardından, deneye başlamak için Kaydı başlat'a tıklayın.
       NOT: Deney sırasında, katılımcının göz bebeği vurgulanır ve gözleri dizüstü bilgisayar ekranında hareket eden bir nokta olarak görüntülenir. Göz izleyicinin göz bebeğini ve gözü ekran boyunca takip ettiğinden emin olun.
   12. Nokta sık sık kayboluyor veya titriyorsa, deneyi durdurun ve yeniden kalibre etmeyi deneyin.
   13. Daha önce açılan iRT'nin penceresini açın ve katılımcıya İleri'yi tıklamasını söyleyin.
   14. Katılımcıya aşağıdaki talimatları verin: "Bu bölümde üç rotasyon görevi gerçekleştireceksiniz. GO'ya tıkladığınızda! düğmesine bastığınızda, ekranın zıt taraflarında iki nesne görünecektir. Amacınız, sağdaki nesneyi, soldaki nesneyle olabildiğince yakından eşleşene kadar döndürmektir. Nesneyi döndürmek için, farenizi üzerine tıklayın ve sürükleyin. Üç görevin her birini tamamladığınızda, BİTTİ! sonuçlandırmak için düğmesine basın."
       NOT: Her görev için, 5 dakika işaretini (tam olarak 327^{. saniye)} aşan herhangi bir iRT verisi kaybolabilir. Yöntemi daha da geliştirdikçe, bu sınır genişletilmelidir.
   15. Deneyin sonunda, göz izleyicinin uzatma kablosundan kapalı olduğundan emin olun ve lens kapağını fotoğraf makinesine geri takın.
3. Verileri ayıklayın.
   1. Göz izleyici veri toplama işlemi tamamlandıktan sonra, toplanan verilere erişmek için Verileri Analiz Et'e tıklayın.
   2. Kullanıcı için kaydedilen tüm verileri içeren bir .csv dosyasını dışa aktarın.
      NOT: Göz izleyici verilerinin ilk sütunu, verilerin UNIX dönemi olmalıdır, çünkü farklı veri kümelerini zaman içinde doğru bir şekilde eşleştirmenin tek yolu budur. Dosya bir tane içermiyorsa, kullanılan diğer herhangi bir zaman standardından dönüştürülmelidir. Dosya ".csv" veya ".xlsx" biçiminde olabilir.
   3. Etkileşimli rotasyon görevleri sayfasının çevrimiçi sürümünü kullanıyorsanız (adım 1.1), çevrimiçi verileri almak için kullanılan Google E-Tablolar dosyasını açın (adım 1.1.3'te oluşturulan) ve Dosya | İndir | Microsoft Excel (.xlsx).
      NOT: Bu veriler, veri aktarımını kolaylaştırmak için paketlenmiştir (her görev, verilerle dolu bir satıra karşılık gelir). İçerideki verileri işlemek için, paketlenmiş verilerin her satırının önce "paketinden çıkarılması" gerekir.

3. Veri işleme ve analizi

1. Verileri paketinden çıkarın, birleştirin ve işleyin.
   NOT: Aşağıdaki adımlarda, sağlanan komut dosyaları kullanılarak verilerin nasıl işleneceği açıklanmaktadır (Ek Dosya 2'ye bakın). GNU Octave komut dosyaları, kullanıcı girdilerinden dosyaları hakkında bilgi isteyecektir. Girişler boş olarak gönderilirse, bunun yerine hiçbir kullanıcı verisinin üzerine yazılmamışsa sağlanan örnek verilere başvuran varsayılan değerler kullanılır. Komut dosyasının çalışması tamamlandıktan sonra kapatılabilir.
   1. Henüz indirilmemişse, kullanılan depoyu (kullanıcının kendi deposu veya https://github.com/rodrigocns/rodrigocns_JoVE orijinali) indirin ve açın.
   2. 1.unpacking_sheets.m, 2.data_merge_and_process.m 3.3D rotational trajectory.m komut dosyalarının ve klasör modellerinin Octave klasöründeki indirilen deponun içinde olduğundan emin olun ve 2.3.2 ve 2.3.3 adımlarından indirilen veri dosyalarını oktav komut dosyalarının bulunduğu bu klasöre taşıyın.
      NOT: Klasörde bulunan ve yeni yazılan dosyalarla aynı adlara sahip mevcut dosyaların üzerine yazılabilir. Dosyaları uygun şekilde yeniden adlandırın veya başka bir klasöre taşıyın.
   3. Komut dosyasını GNU Octave Launcher ile 1.unpacking_sheets.m açın. Düzenleyici sekmesinde, verileri daha okunabilir bir yapıya açmak için yeşil Dosyayı kaydet ve çalıştır düğmesine tıklayarak komut dosyasını çalıştırın.
      NOT: İstenen veri dosyalarından herhangi biri yerel olarak açıksa, komut dosyasını çalıştırmadan önce bunları kapatmayı unutmayın. Tüm .m komut dosyaları GNU Octave Launcher kullanılarak yürütüldü.
   4. Birbiri ardına iki istem görünecektir. İndirilen dosyanın adını ilk istemin içine ve paketlenmemiş dosyanın adını ikinci alanın içine girin. Alternatif olarak, dahil edilen örnek dosyalara yönelik varsayılan adları kullanmak için her iki istem alanını da boş bırakın. Kullanıcıya işlemin tamamlandığını ve yeni dosyanın yazıldığını bildiren bir açılır pencere için (veri hacmine bağlı olarak) birkaç dakika bekleyin.
   5. Hem göz izleyiciden hem de iRT'den gelen verileri birleştirmek için 2.data_merge_and_process.m komut dosyasını açın ve çalıştırın.
      NOT: Bu komut dosyası karmaşık olmasına ve yüzlerce kod satırını kapsamasına rağmen, üç ana bölüme ayrılmıştır: ayarlar, işlevler ve komut dosyaları. Hepsi kapsamlı bir şekilde yorumlanır ve açıklanır, gerekirse gelecekteki değişiklikleri kolaylaştırır.
   6. Dört istem görünecektir. sessionID değerini, taskID değerini (her ikisi de iRT veri tablosundan), paketlenmemiş iRT veri dosya adını (adım 3.1.5'te yazılmıştır) ve göz izleyici veri dosya adını (adım 2.3.2'de dışa aktarılmıştır) girin veya varsayılan değerleri kullanmak için tümünü boş bırakın.
      NOT: Birkaç dakika sonra, bir yardım açılır penceresi, komut dosyasının hesaplamayı tamamladığını ve kullanılan ve oluşturulan dosyaların adlarını gösterecektir. Senaryo işlemi sırasında açısal eşitsizliğin üç örnek çizimi görünecektir: basit bir çizim, renkli bakış verilerine sahip bir çizim ve göz bebeği çapı verilerine sahip bir çizim. Oluşturulan iki dosya, her ikisi de adım 3.1.6'nın başında yazılan X Y.xlsx çıktı birleştirme ve çıkış jmol konsolu X Y.xlsx'dir, burada X sessionID değeridir ve Y , taskID değeridir.
2. 3B döndürme yörüngesi görüntülerini oluşturun.
   1. Komut dosyasını 3.3D döndürme yörüngesini açın ve çalıştırın.
   2. Üç istem görünecektir. sessionID değerini, taskID değerini ve paketlenmemiş iRT veri dosya adını girin veya varsayılan değerleri kullanmak için boş bırakın.
      NOT: Bir 3D grafik görünecektir. Oluşturulan grafik, belirtilen oturumun ve görevin 3B döndürme yörüngesidir.
3. Animasyonları yeniden oynatın.
   1. Katılımcının görev etkileşimini yeniden oynatmak için önce etkileşimli görev web sayfasına gidin, testi başlatın (her iki 3B modeli de göstererek), fare işaretçisini Ek Dosya 2'de gösterildiği gibi fare simgesi metne dönüşene kadar ekranın sağ üst köşesinde hareket ettirin ve ardından hata ayıklama modunu etkinleştirerek görünmez Hata Ayıklama metnine tıklayın.
   2. Modeller arasında karşınıza çıkan butonlardan timerStop butonuna tıklayarak görevi yarıda kesiniz ve konsol butonuna tıklayarak sağ tarafta bulunan modelin JSmol konsolunu açınız. İlgilenilen etkileşimden elde edilen görev ilk görev değilse, ekranda gösterilen görevi değiştirmek için üst hata ayıklama alanındaki numaralı düğmelere tıklayın.
      NOT: JSmol, web sayfasında kullanılan moleküler modelleme yazılımıdır.
   3. Jmol console.xlsx çıktı dosyasını açın ve Jmol komutlarının tüm sayfasını kopyalayın.
      NOT: Her sayfa farklı bir sahne veya animasyon için komutlar içerir.
   4. JSmol konsolunun içinde, kopyalanan komutların listesini yapıştırın ve yürütmek için Çalıştır düğmesine tıklayın veya klavyede Enter tuşuna basın.
   5. İsterseniz .gif bir animasyon oluşturun. Dosya adı, oluşturulacak .gif dosyasının adı ve çıktı, her ikisini de çift tırnak işaretleri içinde tutarak, adım 3.3.3'te kopyalanan komutların tam listesi olan JSmol konsolunun içine capture "filename" SCRIPT "output" komutunu yazın.
      NOT: Komutlar ne kadar karmaşık hale gelirse, modeller büyüdükçe veya zaman içinde daha fazla değişiklik yaptıkça ve kullanılan bilgisayarın özellikleri ne kadar az etkili olursa, animasyon o kadar yavaşlar. Jmol, kimyasal bileşikleri ve reaksiyonları görselleştirmeye odaklanmıştır ve araştırmamızla üretilen animasyon türleri, Jmol'un işleme kapasitelerinin sınırlarını zorlamaktadır. Bu animasyonla herhangi bir nicel ölçüm yapılırken bu noktalar dikkate alınmalı ve hesaba katılmalıdır.

4. Görev özelleştirme

NOT: Bu bölümün tamamı isteğe bağlıdır ve yalnızca kodlamayı denemeyi veya anlamayı sevenler için önerilir. Aşağıda, mevcut birçok özelleştirilebilir seçenekten bazılarını bulacaksınız ve yöntemleri daha da geliştirdikçe daha fazla seçenek kullanılabilir hale gelecektir.

1. Yeni veya mevcut görevleri yapılandırın.
   1. Katılımcı tarafından kaç etkileşimli görevin gerçekleştirileceğini tanımlayın ve mevcut öğe adlarını değiştirmeden veya daha fazlasını eklemeden task_list dosyada object_configs.js dizinin içinde her birini adlandırın. Daha sonra tanımlayıcı olarak kullanılacakları için her adın benzersiz olduğundan emin olun.
   2. Etkileşimli görevleri (http://wiki.jmol.org/index.php/File_formats) gerçekleştirmek için JSmol uyumlu 3B koordinat dosyalarını seçin. Bu dosyaları modeller klasörüne kopyalayın.
      Not: Bu makalede yer alan komut dosyaları, .xyz dosya biçimini kullanan asimetrik modeller için en iyi duruma getirilmiştir. Koordinat dosyalarını seçerken, belirsiz çözümlere sahip oldukları için döndürme simetrilerinden kaçının⁶⁵.
   3. prepMolecule(num) fonksiyonu içinde 3B nesneler için görüntü oluşturma ayarlarını tanımlayın.
      NOT: JSmol tarafından gerçekleştirilen bir görevden diğerine yapılan tüm değişiklikler buraya gider: renk desenini değiştirme, boyutu veya grafik öğelerinin oluşturulma şeklini değiştirme, yönlendirme, çeviri, nesnenin parçalarını gizleme, yeni 3D modeller yükleme vb. (daha fazla örnek için https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm bakınız). task_list'da adlandırılan her görev bir duruma karşılık gelir. JSmol'un yürütmesi için her komut şu yapıyı takip eder: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); burada jsmol_obj , değiştirilen nesneyi (jsmol_ref ve jsmol_obj hedef ve etkileşimli nesneler için varsayılandır) ve ardından ";;" ile ayrılmış bir veya daha fazla komutu ifade eder.
2. Yeni modeller oluşturun.
   1. Çevrimiçi olarak indirilen veya Avogadro (https://avogadro.cc/) gibi moleküler düzenleyiciler tarafından oluşturulan herhangi bir .xyz modelini kullanın.

Access restricted. Please log in or start a trial to view this content.

Sonuçlar

Açısal eşitsizliğin ve diğer değişkenlerin evrimi
Ek Dosya 2'deki adım 3.3.1'de gösterildiği gibi, video monitörü ekranında katılımcıya aynı 3B sanal nesnenin kopyalarını farklı yönlerde gösteren iki tuval sunulur. Sol tuvalde, hedef nesne (tObj) statik kalır ve hedef konum veya tObj konumu olarak görev yapar. Sağ tuvalde, etkileşimli nesne (iObj) farklı bir konumda gösterilir ve katılımcının bir fare ...

Access restricted. Please log in or start a trial to view this content.

Tartışmalar

Daha önce belirtildiği gibi, bu makale, kolayca özelleştirilebilir ve yalnızca ücretsiz olarak sunulan yazılımı kullanan, her şeyin çalışmasını sağlamak için adım adım talimatlar sağlayan, etkileşimli 3B nesneler üzerinde sabitleme ve sakkad hareket verilerinin gerçek zamanlı haritalandırılması için ayrıntılı bir prosedür sunmayı amaçlamaktadır.

Bu deney kurulumu, üç olası eksenden ikisinde bir 3B nesneyi başka bir nesnen...

Access restricted. Please log in or start a trial to view this content.

Malzemeler

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Any updated modern browser that is compatible with WebGL (https://caniuse.com/webgl), and in turn with Jmol, can be used
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Any computer that can run the eye tracking system software.
Mangold Software Suite	Mangold		Software interface used for the Eye tracking device. Any Software that outputs the data with system time values can be used.
Mouse			Any mouse capable of clicking and dragging with simple movements should be compatible. Human interfaces analogous to a mouse with the same capabilities, such as a touchscreen or pointer, should be compatible, but may behave differently.
Vt3mini	EyeTech Digital Systems		60 Hz. Any working Eye Tracking device should be compatible.