Oturum Aç

Bu içeriği görüntülemek için JoVE aboneliği gereklidir. Oturum açın veya ücretsiz deneme sürümünü başlatın.

Bu Makalede

  • Özet
  • Özet
  • Giriş
  • Protokol
  • Sonuçlar
  • Tartışmalar
  • Açıklamalar
  • Teşekkürler
  • Malzemeler
  • Referanslar
  • Yeniden Basımlar ve İzinler

Özet

Göz izleme, bilgi işlemeyi araştırmak için invaziv olmayan bir yöntemdir. Bu makale, düşük zamanlı pilotlarda (yani, 350 uçuş saati) bir uçuş simülasyonu acil durum görevi sırasında bakış davranışını incelemek için göz izlemenin nasıl kullanılabileceğini < açıklamaktadır.

Özet

Göz izleme, beceri performansının altında yatan bilişsel, algısal ve duyusal-motor süreçler hakkında fikir edinmek için bir vekil olarak yaygın bir şekilde kullanılmıştır. Önceki çalışmalar, geleneksel ve gelişmiş bakış ölçümlerinin pilot uzmanlığı, bilişsel yük, yorgunluk ve hatta durum farkındalığı (SA) açısından sağlam farklılıklar gösterdiğini göstermiştir.

Bu çalışma, yüksek kaliteli bir uçuş hareketsiz simülatörde doğal baş ve göz hareketlerini (yani bakışları) yakalayan giyilebilir bir göz izleyici ve bakış haritalama algoritmasının kullanımına ilişkin metodolojiyi açıklamaktadır. Bu yazıda özetlenen yöntem, katılımcıların nereye baktıklarıyla ilgili daha fazla bağlam sağlayan ilgi alanı (AOI) tabanlı bakış analizlerini ve sabitlenmiş bilgileri ne kadar verimli bir şekilde işlediklerini gösteren bekleme süresini açıklar. Protokol, uçuş sırasında beklenmedik bir acil duruma yanıt olarak bakış davranışındaki değişiklikleri değerlendirmek için giyilebilir bir göz izleyici ve bilgisayarla görme algoritmasının faydasını göstermektedir.

Temsili sonuçlar, acil durum olayı başlatıldığında bakışların önemli ölçüde etkilendiğini gösterdi. Spesifik olarak, dikkat tahsisi, bakış dağılımı ve bakış dizisi karmaşıklığı önemli ölçüde azaldı ve acil durum senaryosu sırasında ön pencerenin dışına ve hava hızı göstergesine bakmaya yüksek oranda odaklandı (tüm p değerleri 0.05<). Bakış davranışının uzay-zamansal özelliklerini ve bunun havacılık alanındaki bilgi işleme ile ilişkisini anlamak için yüksek kaliteli hareketsiz bir uçuş simülasyon ortamında giyilebilir bir göz izleyici kullanmanın faydası ve sınırlamaları tartışılmaktadır.

Giriş

İnsanlar ağırlıklı olarak çevrelerindeki dünyayla, görüş hatlarını (yani bakışlarını) belirli bir nesneye veya ilgilenilen yere odaklamak için önce gözlerini ve başlarını hareket ettirerek etkileşime girerler. Bu, özellikle pilotların birden fazla rekabet eden uyaranla karşı karşıya kaldığı uçak kokpitleri gibi karmaşık ortamlarda geçerlidir. Bakış hareketleri, insanların çevreleriyle güvenli ve esnek bir şekilde etkileşime girmesine olanak tanıyan yüksek çözünürlüklü görsel bilgilerintoplanmasını sağlar 1 ki bu havacılıkta büyük önem taşır. Çalışmalar, göz hareketlerinin ve bakış davranışının, çeşitli görevlerde altta yatan algısal, bilişsel ve motor süreçler hakkında fikir verdiğini göstermiştir 1,2,3. Ayrıca, nereye baktığımız, üst ekstremite hareketlerinin planlanması ve yürütülmesi üzerinde doğrudan bir etkiye sahiptir3. Bu nedenle, havacılık görevleri sırasında bakış davranışı analizi, göz hareketi modellerinin bilgi işleme ve performansın çeşitli yönleriyle nasıl ilişkili olduğunu ortaya çıkarabilecek objektif ve invaziv olmayan bir yöntem sağlar.

Birkaç çalışma, çeşitli laboratuvar paradigmalarının yanı sıra karmaşık gerçek dünya görevlerinde (örneğin, bir uçağı çalıştırmak) bakış ve görev performansı arasında bir ilişki olduğunu göstermiştir. Örneğin, görevle ilgili alanlar daha sık ve daha uzun toplam süreler boyunca sabitlenme eğilimindedir, bu da sabitleme yeri, sıklığı ve kalma süresinin nörobilişsel ve havacılık görevlerinde dikkatin tahsisi için vekiller olduğunu düşündürmektedir 4,5,6. Son derece başarılı performans gösterenler ve uzmanlar, daha az başarılı performans gösterenlere veya acemilere kıyasla görev açısından kritik alanlara yönelik önemli sabitleme yanlılıkları göstermektedir 4,7,8. Bakışın uzay-zamansal yönleri, çeşitli ilgi alanlarındaki (AOI'ler) bekleme süresi modellerindeki değişiklikler veya sabitleme dağılımı ölçümleri (yani, Sabit Bakış Entropisi: SGE) yoluyla yakalanır. Laboratuvar tabanlı paradigmalar bağlamında, ortalama fiksasyon süresi, tarama yolu uzunluğu ve bakış dizisi karmaşıklığı (yani, Bakış Geçişi Entropisi: GTE), problem çözmek ve daha zorlu görev hedefleri/çözümleri üzerinde detaylandırmak için gereken artan tarama ve işleme nedeniyle artma eğilimindedir 4,7.

Tersine, havacılık çalışmaları, tarama yolu uzunluğunun ve bakış dizisi karmaşıklığının görev karmaşıklığı ve bilişsel yük ile azaldığını göstermiştir. Bu tutarsızlık, görev bileşenlerini ve kullanılan paradigmanın taleplerini anlamanın, bakış ölçümlerinin doğru yorumlanması için kritik öneme sahip olduğu gerçeğini vurgulamaktadır. Toplamda, bugüne kadar yapılan araştırmalar, bakış ölçümlerinin, görev zorluğu, bilişsel yük ve görev performansındaki farklılıkların altında yatan göreve özgü bilgi işlemeye ilişkin anlamlı, nesnel bir içgörü sağladığını desteklemektedir. Göz izleme teknolojisindeki ilerlemelerle (yani taşınabilirlik, kalibrasyon ve maliyet), 'vahşi doğada' bakış davranışını incelemek, tıp 9,10,11 ve havacılık 12,13,14 alanlarında mesleki eğitimi ilerletmeye yönelik somut uygulamaları olan yeni ortaya çıkan bir araştırma alanıdır.

Mevcut çalışma, düşük zamanlı pilotlarda bir acil uçuş simülasyon görevi sırasında özellikle giyilebilir bir göz izleyici kullanarak bilgi işleme hakkında bilgi edinme konusunda içgörü elde etmek için bakış tabanlı ölçümleri kullanmanın faydasını daha fazla incelemeyi amaçlamaktadır. Bu çalışma, uçuş zorluğunun bir fonksiyonu olarak bakış davranışı ölçümlerindeki farklılıkları (yani hava koşullarındaki değişiklikler) incelemek için kafa stabilize edilmiş bir göz izleyici (yani EyeLink II) kullanan önceki çalışmaları genişletmektedir5. Bu yazıda sunulan çalışma, bir sanal gerçeklik sisteminde göz izlemeyi kullanmak için metodolojik ve analitik yaklaşımları tanımlayan diğer çalışmaları da genişletmektedir15. Çalışmamız daha yüksek kaliteli bir hareketsiz simülatör kullandı ve göz hareketi verilerinin (yani entropi) ek analizini rapor etti. Bu tür bir analiz önceki makalelerde bildirilmiştir; Bununla birlikte, mevcut literatürdeki bir sınırlama, analitik adımların raporlanmasında standardizasyon eksikliğidir. Örneğin, ilgi alanlarının nasıl tanımlandığını raporlamak, ortaya çıkan entropi değerlerini16 doğrudan etkilediği için kritik öneme sahiptir.

Özetlemek gerekirse, mevcut çalışma geleneksel ve dinamik bakış davranışı metriklerini incelerken, görev zorluğu uçuş sırasında bir acil durum senaryosunun (yani, beklenmedik toplam motor arızası) tanıtılması yoluyla manipüle edildi. Uçuş sırasında bir acil durum senaryosunun tanıtılmasının, daha zorlu görev koşulları sırasında bilgi işlemenin altında yatan bakış davranışı değişiklikleri hakkında fikir vermesi bekleniyordu. Burada bildirilen çalışma, yetkinlik temelli pilot eğitimini bilgilendirmek için bir uçuş simülatöründe göz izlemenin faydasını inceleyen daha büyük bir çalışmanın parçasıdır. Burada sunulan sonuçlar daha önce yayınlanmamıştır.

Protokol

Aşağıdaki protokol, giyilebilir bir göz takip cihazı ve bir uçuş simülatörü içeren çalışmalara uygulanabilir. Mevcut çalışma, bir uçuş simülatöründe havacılıkla ilgili karmaşık görevlerin yanı sıra kaydedilen göz izleme verilerini içermektedir (bkz. Malzeme Tablosu). Simülatör, bir Cessna 172'yi temsil edecek şekilde yapılandırıldı ve gerekli gösterge paneli (buhar göstergesi konfigürasyonu), bir aviyonik/GPS sistemi, bir ses/ışık paneli, bir kesici paneli ve bir Uçuş Kontrol Ünitesi (FCU) ile kullanıldı (bkz. Şekil 1). Bu çalışmada kullanılan uçuş simülatörü cihazı, eğitim amaçlı sertifikalandırılabilir ve yerel uçuş okulu tarafından düşük riskli bir ortamda motor arızası gibi çeşitli acil durum senaryolarına müdahale etmek için gereken beceri setlerini eğitmek için kullanılır. Bu çalışmaya katılanların tümü lisanslıydı; Bu nedenle, daha önce eğitimleri sırasında motor arıza simülatörü senaryosunu deneyimlediler. Bu çalışma Waterloo Üniversitesi Araştırma Etiği Ofisi tarafından onaylanmıştır (43564; Tarih: 17 Kasım 2021). Tüm katılımcılar (N = 24; 14 erkek, 10 kadın; ortalama yaş = 22 yıl; uçuş saati aralığı: 51-280 saat) yazılı bilgilendirilmiş onam verdi.

figure-protocol-1354
Resim 1: Uçuş simülatörü ortamı. Uçuş simülatörü ortamının bir örneği. Katılımcının kokpite bakış açısı, Waterloo Uluslararası Havaalanı, Breslau, Ontario, CA'ya rüzgar yönünden üsse ve finale yaklaşım için önceden ayarlanmış bir Cessna 172 ile uçan bir pilotun bakış açısını kopyaladı. Turuncu kutular, bakış analizlerinde kullanılan on ana ilgi alanını temsil ediyor. Bunlar arasında (1) hava hızı, (2) tutum, (3) altimetre, (4) dönüş koordinatörü, (5) yön, (6) dikey hız ve (7) güç göstergelerinin yanı sıra (8) ön, (9) sol ve (10) sağ camlar bulunur. Bu rakam Ayala ve ark.5'ten değiştirilmiştir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

1. Katılımcı taraması ve bilgilendirilmiş onam

  1. Katılımcıyı, dahil etme/dışlama kriterleri 2,5'e dayalı bir öz bildirim anketi aracılığıyla tarayın: en az Özel Pilot Lisansına (PPL), normal veya normale düzeltilmiş görüşe sahip olmak ve daha önce nöropsikiyatrik/nörolojik bozukluk veya öğrenme güçlüğü tanısı almamak.
  2. Deneyci ve denetleyici uçuş eğitmeni/simülatör teknisyeni tarafından ele alınan ayrıntılı bir brifing aracılığıyla katılımcıyı çalışma hedefleri ve prosedürleri hakkında bilgilendirin. Kurumun etik inceleme kurulu onaylı onay belgesinde belirtilen riskleri gözden geçirin. Potansiyel risklerle ilgili tüm soruları yanıtlayın. Herhangi bir çalışma prosedürüne başlamadan önce yazılı bilgilendirilmiş onay alın.

2. Donanım/yazılım gereksinimleri ve devreye alma

  1. Uçuş simülatörü (genellikle simülatör teknisyeni tarafından tamamlanır)
    1. Simülatör ve projektör ekranlarını açın. Projektörlerden biri diğerleriyle aynı anda açılmazsa simülatörü yeniden başlatın.
    2. Talimat Ekranında, Ön Ayarlar sekmesine basın ve gerekli Konum ve/veya Hava Durumu ön ayarlarının mevcut olduğunu doğrulayın. Gerekirse, yeni bir hazır ayar türü oluşturun; Yardım için teknisyene danışın.
  2. Koleksiyon dizüstü bilgisayar
    1. Dizüstü bilgisayarı çevirin ve kimlik bilgileriyle giriş yapın.
    2. İstendiğinde, önceden var olan bir profili seçin veya yeni bir katılımcıyı test ediyorsanız bir profil oluşturun. Alternatif olarak, son kalibrasyonunun üzerine yazmak için Misafir seçeneğini belirleyin.
      1. Yeni bir profil oluşturmak için, profil listesinin sonuna gidin ve Ekle'yi tıklayın.
    3. Profil kimliğini katılımcı kimliği olarak ayarlayın. Bu profil kimliği, bir kayıt tamamlandıktan sonra göz izleme verilerini tutan klasörü etiketlemek için kullanılacaktır.
  3. Gözlük kalibrasyonu
    NOT: Kayıt yapmak için gözlüklerin dizüstü bilgisayara bağlı kalması gerekir. Kutu ile kalibrasyonun, veri toplamanın başlangıcında yalnızca bir kez tamamlanması gerekir.
    1. Göz izleyici kutusunu açın ve gözlüğü çıkarın.
    2. USB'den mikro USB kablosuna dizüstü bilgisayardan gözlüğe bağlayın. Dizüstü bilgisayarda istenirse, bellenimi güncelleyin.
    3. Göz izleyici kutusunun içindeki siyah kalibrasyon kutusunu bulun.
    4. Koleksiyon dizüstü bilgisayarında, göz izleme Hub'ında Araçlar | Cihaz Kalibrasyonu.
    5. Gözlükleri kutunun içine yerleştirin ve kalibrasyona başlamak için açılır pencerede Başlat'a basın.
    6. Kalibrasyon tamamlandıktan sonra gözlükleri kutudan çıkarın.
  4. Burunluk uygun
    1. Burunluğu seçin.
    2. Katılımcıya kokpitte oturmasını ve gözlükleri takmasını söyleyin.
    3. Göz izleme Merkezi'nde Dosya | Ayarlar | Burun Sihirbazı.
    4. Ekranın sol tarafındaki gözlüğünüzün uyumunu ayarla kutusunu kontrol edin. Uyum Mükemmel ise, bir sonraki adıma geçin. Aksi takdirde, kutuyu tıklayın.
    5. Katılımcıya ekranda gösterilen uyum önerisi talimatlarını izlemesini söyleyin: burunluğu ayarlayın, gözlükleri rahatça oturacak şekilde ayarlayın ve dizüstü bilgisayara doğrudan ileriye bakın.
    6. Gerekirse, burunluğu değiştirin. Burunluğu ortasından sıkıştırın, gözlüklerden dışarı kaydırın ve ardından başka bir tane daha içeri kaydırın. Katılımcıya en uygun olanı belirlenene kadar farklı burun parçalarını test etmeye devam edin.
  5. Hava Trafik Kontrol (ATC) çağrıları
    NOT: Çalışma ATC çağrıları gerektiriyorsa, katılımcının kendi kulaklığını getirmesini veya laboratuvar kulaklığını kullanmasını sağlayın. Göz küresi kalibrasyonunu ancak katılımcı kulaklığı taktıktan sonra tamamlayın, çünkü kulaklık gözlüğü kafanın üzerinde hareket ettirebilir ve bu da kalibrasyon doğruluğunu etkiler.
    1. Kulaklığın, gösterge panelinin sol alt tarafındaki jaka takılıp takılmadığını kontrol edin.
    2. Katılımcıya kulaklığı takmasını söyleyin. Kayıt bitene kadar dokunmamalarını veya çıkarmamalarını isteyin.
      NOT: Kulaklık (ve dolayısıyla gözlükler) her hareket ettirildiğinde yeniden kalibrasyon gereklidir.
    3. Bir radyo kontrolü yapın.
  6. Göz küresi kalibrasyonu
    NOT: Katılımcı gözlükleri kafasına her kaydırdığında, göz küresi kalibrasyonunu tekrarlamalıdır. Katılımcıdan, denemeleri bitene kadar gözlüklere dokunmamasını isteyin.
    1. Göz izleme Merkezi'nde, ekranın solundaki parametre kutusuna gidin.
      1. Kalibrasyon modunu kontrol edin ve buna göre sabit bakış veya sabit kafa seçin.
      2. Kalibrasyon noktalarının toplam 5 nokta için 5 x 25 ızgara olduğunu kontrol edin.
      3. Doğrulama modunu kontrol edin ve kalibrasyon moduyla eşleştiğinden emin olun.
      4. Göz izleme çıktılarını inceleyin ve çalışma için kaydedilmesi gereken her şeyin onay kutuları kullanılarak kontrol edildiğini doğrulayın.
    2. File tıklayın | Ayarlar | Gelişmiş ve örnekleme hızının 250 Hz olduğunu kontrol edin.
    3. Fareyi kullanarak ekrandaki Göz izlemenizi kalibre edin kutusunu işaretleyin. Kalibrasyon talimatları moda göre değişecektir. Mevcut çalışmayı takip etmek için sabit bakış kalibrasyon modunu kullanın: katılımcılara, kutu siyah kare ile örtüşecek ve hizalanacak şekilde başlarını hareket ettirmelerini söyleyin. Ardından, katılımcıdan bakışlarını siyah karedeki artı işaretine odaklamasını ve boşluk çubuğuna basmasını isteyin.
    4. Ayarlarınızı doğrulayın kutusuna basın. Talimatlar, adım 2.6.3'teki ile aynı olacaktır. Doğrulama rakamı MAE'nin (Ortalama Mutlak Hata) <1° olduğunu kontrol edin. Değilse, 2.6.3 ve 2.6.4 adımlarını tekrarlayın.
    5. Her kalibrasyon ve doğrulama tamamlandığında kalibrasyonu profile kaydetmek için Kalibrasyonu Kaydet'e basın.
  7. iPad kullanımı
    NOT: iPad, gösterge panelinin solunda bulunur (bkz. Şekil 1). Genellikle uçuştan sonra anketler için kullanılır.
    1. iPad'i açın ve İnternet'e bağlı olduğundan emin olun.
    2. Safari'de bir pencere açın ve çalışma anketinin bağlantısını girin.

3. Veri toplama

NOT: Her deneme için bu adımları tekrarlayın. Dizüstü bilgisayarın kokpitin dışındaki bankın üzerine yerleştirilmesi önerilir.

  1. Uçuş simülatörü bilgisayarında, talimat ekranında, Ön Ayarlar'a basın ve ardından simüle edilmek üzere istenen Konum ön ayarını seçin. Uygula düğmesine basın ve değişikliğin gerçekleştiğini doğrulamak için simülatörü çevreleyen ekranları izleyin.
  2. Hava durumu ön ayarını uygulamak için adım 3.1'i tekrarlayın.
  3. Katılımcıya deneme veya uçuş rotası hakkında herhangi bir özel talimat verin. Bu, başlamadan önce gösterge panelindeki herhangi bir ayarı değiştirmelerini söylemeyi içerir.
  4. Talimat ekranında, veri toplamayı başlatmak için turuncu STOP düğmesine basın. Renk yeşile dönecek ve metinde UÇUYOR yazacaktır. Uçağı uçurmaya başlayabileceklerini bilmeleri için katılımcıya sözlü bir ipucu verdiğinizden emin olun. Turuncu durdurma düğmesine basıldığında önerilen işaret "3, 2, 1, kontrolleriniz var" dır.
  5. Koleksiyon dizüstü bilgisayarında, göz izleyici verilerinin uçuş simülatörü verileriyle senkronize edilmesi için Kaydı Başlat'a basın.
  6. Katılımcı devresini tamamlayıp indiğinde, uçağın hareket etmeyi bırakmasını bekleyin.
    NOT: Beklemek önemlidir çünkü işlem sonrası; Yer hızı 0'a düştüğünde veriler kesilir. Bu, tüm denemelerin uç noktası için tutarlılık sağlar.
  7. Talimat ekranında yeşil FLYING düğmesine basın. Renk turuncuya dönecek ve metinde DURDURULDU yazacaktır. Bu adımda veri toplama sona ermek üzereyken sözlü bir ipucu verin. Önerilen işaret "3, 2, 1, durdur" dur.
  8. Katılımcıya iPad'de deneme sonrası anket(ler)i tamamlaması talimatını verin. Bir sonraki deneme sürümü için sayfayı yenileyin.
    NOT: Bu çalışmada, tek deneme sonrası anket olarak Durum Farkındalığı Derecelendirme Tekniği (SART) öz değerlendirme anketi kullanılmıştır17.

4. Veri işleme ve analizi

  1. Uçuş simülatörü verileri
    NOT: Uçuş simülatöründen kopyalanan .csv dosyası, simülatörde kontrol edilebilen 1.000'den fazla parametre içerir. İlgilenilen ana performans ölçütleri Tablo 1'de listelenmiş ve açıklanmıştır.
    1. Her katılımcı için, görev koşullarındaki yüzdeyi alarak Eşitlik (1) kullanarak başarı oranını hesaplayın. Başarısız denemeler, uçak oryantasyonu ve dikey hız nedeniyle iniş sırasında denemeyi otomatik olarak sonlandıran simülatör içinde programlanan önceden belirlenmiş kriterlerle tanımlanır. Bu kriterin gerçek uçak sınırlamalarıyla uyumlu olduğundan emin olmak için deneme sonrası doğrulama yapın (yani, Cessna 172 iniş takımı hasarı/çarpışması, iniş sırasında 700 fit/dak [fpm] > dikey hızlarda belirgindir).
      Başarı oranı = figure-protocol-12278 (1)
      NOT: Daha düşük başarı oranı değerleri, başarılı iniş girişimlerinde bir azalma ile ilişkili oldukları için daha kötü sonuçları gösterir.
    2. Her deneme için, uçağın pistte durduğunu gösteren zaman damgasına göre tamamlanma süresini hesaplayın (yani, Yer Hızı = 0 knot).
      NOT: Daha kısa bir tamamlama süresi her zaman daha iyi performans anlamına gelmeyebilir. Görev koşullarının (yani ek rüzgarlar, acil durum senaryoları vb.) tamamlanma süresini nasıl etkilemesinin beklendiğini anlamak için dikkatli olunmalıdır.
    3. Her deneme için, uçağın piste ilk indiği andaki uçak dikey hızına (fpm) dayalı olarak iniş sertliğini belirleyin. Bu değerin, AircraftOnGround durumundaki 0'dan (havada) 1'e (yerde) yapılan ilk değişiklikle ilişkili zaman damgasında alındığından emin olun.
      NOT: -700 fpm ila 0 fpm aralığındaki değerler güvenli kabul edilirken, 0'a yakın değerler daha yumuşak inişleri (yani daha iyi) temsil eder. Negatif değerler aşağı doğru dikey hızı temsil eder; Pozitif değerler yukarı doğru dikey hızı temsil eder.
    4. Her deneme için, iniş koordinatları ile pistteki referans noktası (500 ft işaretleyicilerin merkezi) arasındaki farka dayalı olarak iniş hatasını (°) hesaplayın. Referans noktasını kullanarak, Eşitlik (2) kullanarak iniş hatasını hesaplayın.
      Fark = √((Δ Enlem)2 + (Δ Boylam)2) (2)
      NOT: 1°'nin altındaki değerler normal 5,15 olarak gösterilmiştir. Büyük değerler, iniş bölgesinden daha uzakta olan uçak temas noktalarıyla ilişkili daha büyük bir iniş hatasını gösterir.
    5. Her görev koşulu için her bir performans sonucu değişkeni için tüm katılımcıların ortalamalarını hesaplayın. Bu değerleri raporlayın.
  2. Durum farkındalığı verileri
    1. Her deneme için, SA17'nin 10 boyutunda kendi kendine bildirilen SART puanlarına dayalı olarak SA skorunu hesaplayın.
      1. Katılımcıların genel görev zorluğuna ilişkin öznel yanıtlarının yanı sıra, görev performansı sırasında ne kadar dikkat kaynağına sahip oldukları ve harcadıkları konusundaki izlenimlerini belirlemek için SART anketini17 kullanın.
      2. 7 puanlık bir Likert ölçeği kullanarak, katılımcılardan durumun karmaşıklığı, dikkatin bölünmesi, yedek zihinsel kapasite ve bilgi miktarı ve kalitesi dahil olmak üzere derinlemesine sorularda algılanan deneyimlerini derecelendirmelerini isteyin.
      3. Bu ölçekleri, dikkat talepleri (Talep), dikkat arzı (Arz) ve durum anlayışı (Anlama) gibi daha büyük boyutlarda birleştirin.
      4. Eşitlik (3) e dayalı bir SA ölçüsü hesaplamak için bu derecelendirmeleri kullanın:
        SA = Anlama - (Talep-Arz) (3)
        NOT: Bir anlayış ölçüsü sağlamak için birleştirilen ölçeklerdeki daha yüksek puanlar, katılımcının eldeki görevi iyi anladığını gösterir. Benzer şekilde, tedarik alanındaki yüksek puanlar, katılımcının belirli bir göreve ayıracak önemli miktarda dikkat kaynağına sahip olduğunu göstermektedir. Buna karşılık, yüksek bir talep puanı, görevin tamamlanması için önemli miktarda dikkat kaynağı gerektirdiğini gösterir. Bu puanların, tek başına ölçümler olarak kullanılmak yerine, koşullar arasında (yani kolay ve zor koşullar) karşılaştırıldığında en iyi şekilde yorumlandığını açıklığa kavuşturmak önemlidir.
    2. Veri toplama tamamlandıktan sonra, her bir görev koşulu (yani temel, acil durum) için tüm katılımcıların ortalamalarını hesaplayın. Bu değerleri raporlayın.
  3. Göz izleme verileri
    1. Bakış eşlemede kullanılmak üzere AOI'leri manuel olarak tanımlamak için bir göz izleme toplu komut dosyası kullanın. Komut dosyası, analiz edilecek tüm anahtar AOI'leri net bir şekilde görüntülemesi gereken anahtar çerçeve seçimi için yeni bir pencere açacaktır. Videoda ilerleyin ve tüm AOI'leri net bir şekilde gösteren bir çerçeve seçin.
    2. Ekrandaki talimatları izleyerek, çerçevenin tüm video boyunca görünecek, benzersiz ve sabit kalacak bir bölgesinin üzerine bir dikdörtgen çizin.
      NOT: Bu adımın amacı, kafa hareketleri video kaydı boyunca ortamdaki nesnelerin konumunun değişmesine neden olduğundan, video kaydı boyunca kullanılabilecek bir "ekran içi" koordinat çerçevesi oluşturmaktır.
    3. Resimdeki her AOI için birer birer dikdörtgen çizin. Onları buna göre adlandırın. Yeni bir AOI eklemek için Daha fazla ekle'ye tıklayın ve sonuncusunda Bitti'ye basın. Belirli bir sabitleme sırasında bakış koordinatları, "ekran içi" koordinat çerçevesinde tanımlandığı gibi nesne alanı içine inerse, bu sabitlemeyi ilgili AOI etiketiyle etiketleyin.
      NOT: Bu adımın amacı, bakış koordinatlarını ekran içi koordinatlarla karşılaştırırken referans olarak kullanılacak bir nesne koordinatları kitaplığı oluşturmaktır.
      Tipik olarak 10 AOI vardır, ancak bu, uçuş simülatörünün nasıl yapılandırıldığına bağlıdır. Gösterge paneli farklı olabilir. Önceki çalışma 5,18 ile uyumlu olarak, mevcut çalışma aşağıdaki AOI'leri kullanır: Hava Hızı, Tutum, Altimetre, Dönüş Koordinatörü, Yön, Dikey Hız, Güç, Ön Pencere, Sol Pencere ve Sağ Pencere (bkz. Şekil 1).
    4. Komut dosyasının AOI'leri işlemeye başlamasına ve sabitleme verileri oluşturmasına izin verin. Video üzerinde sakkadları ve fiksasyonları gösteren bir çizim oluşturur.
    5. İki yeni dosya oluşturulur: fixations.csv ve aoi_parameters.yaml. Toplu işlemci, her deneme ve her katılımcı için bakış verilerinin son işlemesini tamamlayacaktır.
      NOT: İlgilenilen ana göz izleme ölçümleri Tablo 2'de listelenmiştir ve her bir çalışma için her bir AOI için hesaplanmıştır.
    6. Her deneme için, fixation.csv dosyasında oluşturulan verilere dayalı olarak her AOI için geleneksel bakış metriklerini 4,5 hesaplayın.
      NOT: Burada, belirli bir AOI için fiksasyonların toplamının tüm fiksasyonların toplamına bölünmesi ve belirli bir AOI'de harcanan sürenin yüzdesini elde etmek için bölümün 100 ile çarpılmasıyla hesaplanan bekleme süresine (%) odaklanıyoruz. Hesaplanan bekleme sürelerinden doğal bir negatif/pozitif yorum yoktur. Dikkatin ağırlıklı olarak nereye tahsis edildiğine dair bir gösterge verirler. Daha uzun ortalama fiksasyon süreleri, artan işleme taleplerinin göstergesidir.
    7. Her deneme için, Eşitlik (4) kullanarak göz kırpma oranını hesaplayın:
      Göz kırpma hızı = Toplam göz kırpma/tamamlanma süresi (4)
      NOT: Önceki çalışmalar, göz kırpma hızınınbilişsel yük 2,6,13,19,20 ile ters orantılı olduğunu göstermiştir.
    8. Her deneme için eşitlik (5)21 kullanarak SGE'yi hesaplayın:
      figure-protocol-19889(5)
      Burada v ,i'inci AOI'yi görüntüleme olasılığıdır ve V , AOI'lerin sayısıdır.
      NOT: Daha yüksek SGE değerleri, daha büyük bir fiksasyon dağılımı ile ilişkilendirilirken, daha düşük değerler, fiksasyonların daha odaklı bir tahsisinin göstergesidir22.
    9. Her deneme için eşitlik (6)23 kullanarak GTE'yi hesaplayın:
      figure-protocol-20423(6)
      Burada V, iinci AOI'yi görüntüleme olasılığıdır ve M, iinci AOI'nin önceki görüntülemesi göz önüne alındığında jinci AOI'yi görüntüleme olasılığıdır.
      NOT: Daha yüksek GTE değerleri, daha öngörülemeyen, karmaşık görsel tarama yollarıyla ilişkilendirilirken, daha düşük GTE değerleri daha öngörülebilir, rutin görsel tarama yollarının göstergesidir.
    10. Her bir göz izleme çıktısı değişkeni (ve belirtildiğinde AOI) ve her bir görev koşulu için tüm katılımcıların ortalamalarını hesaplayın. Bu değerleri raporlayın.
TerimTanım
Başarı (%)Başarılı iniş denemelerinin yüzdesi
Tamamlanma süresi (s)İniş senaryosunun başlamasından uçağın pistte tamamen durmasına kadar geçen süre
İniş Sertliği (fpm)Touchdown noktasındaki iyi oranı
İniş Hatası (°)Uçağın merkezi ile iniş noktasındaki 500 ft pist işaretleyicisinin merkezi arasındaki fark

Tablo 1: Simülatör performans sonuç değişkenleri. Hava aracı performansına bağlı değişkenler ve tanımları.

figure-protocol-22041
Resim 2: İniş senaryosu uçuş yolu. (A) tüm denemelerde tamamlanan iniş devresinin ve (B) iniş bölgesi için referans noktası olarak kullanılan 500 ft işaretleyicili pistin şeması (yani, merkez turuncu daire). Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-22658
Şekil 3: İlgi Alanı haritalaması. Çerçeve seçimi için bir pencereyi gösteren toplu komut dosyasının bir çizimi. En uygun karenin seçimi, eşlenecek ilgi alanlarının çoğunu veya tümünü içeren bir video karesinin seçilmesini içerir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-23263
Şekil 4: "Ekran içi" koordinatları eşleştiren İlgi Alanı oluşturma. "Ekran içi" koordinat seçimi için bir pencere gösteren toplu komut dosyasının bir çizimi. Bu adım, kayıt boyunca görünür kalan, görüntüye özgü ve statik kalan kare/dikdörtgen bir bölgenin seçilmesini içerir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-23914
Şekil 5: Haritalanacak İlgi Alanının Belirlenmesi. İlgi alanlarının seçilmesine ve etiketlenmesine izin veren toplu komut dosyası penceresinin bir çizimi. Kısaltma: AOI'ler = ilgi alanları. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-24479
Şekil 6: Toplu komut dosyası işleme. Videoyu işleyen toplu komut dosyasının bir çizimi ve deneme boyunca yapılan tespitleri haritalayan bakışlar. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

TerimTanım
Bekleme süresi (%)Bir AOI'de biriken tüm fiksasyon sürelerinin toplamının, tüm AOI'lerde biriken fiksasyon sürelerinin toplamına göre yüzdesi
Ortalama fiksasyon süresi (ms)Girişten çıkışa kadar bir AOI üzerinde bir sabitlemenin ortalama süresi
Göz kırpma hızı (göz kırpma/sn)Saniyedeki yanıp sönme sayısı
SGE (bit)Fiksasyon dağılımı
GTE (bit)Tarama sırası karmaşıklığı
Maç SayısıBilişsel tünelleme olaylarının sayısı (>10 sn)
Toplam Maç Süresi (s)Bilişsel tünelleme olaylarının toplam süresi

Tablo 2: Göz izleme sonuç değişkenleri. Bakış, davranışa bağımlı değişkenler ve tanımları.

Sonuçlar

Görev taleplerinin uçuş performansı üzerindeki etkisi
Veriler, temel ve acil durumlarda başarılı iniş denemelerine dayalı olarak analiz edildi. Tüm ölçümler eşleştirilmiş örneklem t-testine tabi tutuldu (konu içi faktör içi: görev durumu (temel, acil durum)). Tüm t-testleri, 0.05 olarak ayarlanmış bir alfa seviyesi ile gerçekleştirildi. Dört katılımcı acil durum senaryosu denemesi sırasında düştü ve seyrek veriler ...

Tartışmalar

Burada açıklanan göz izleme yöntemi, giyilebilir bir göz izleyici aracılığıyla bir uçuş simülatörü ortamında bilgi işlemenin değerlendirilmesini sağlar. Bakış davranışının mekansal ve zamansal özelliklerinin değerlendirilmesi, yüksek kontrollü laboratuvar paradigmaları kullanılarak kapsamlı bir şekilde incelenen insan bilgi işlemesi hakkında fikir verir 4,7,28. ...

Açıklamalar

Rekabet eden hiçbir finansal çıkar mevcut değildir.

Teşekkürler

Bu çalışma kısmen Kanada Doğa Bilimleri ve Mühendislik Araştırma Konseyi'nden (NSERC) Kanada Yüksek Lisans Bursu (CGS) ve New Frontiers in Research Fund'dan Exploration Grant (00753) tarafından desteklenmektedir. Bu materyalde ifade edilen herhangi bir görüş, bulgu, sonuç veya tavsiye yazar(lar)a aittir ve sponsorların görüşlerini yansıtmayabilir.

Malzemeler

NameCompanyCatalog NumberComments
flight simulatorALSIMAL-250fixed fully immersive flight simulation training device
laptopHpLenovoeye tracking data collection laptop; requirements: Windows 10 and python 3.0
portable eye-trackerAdHawk MindLink eye tracking glasses (250 Hz, <2° gaze error, front-facing camera); eye tracking batch script is made available with AdHawk device purchase

Referanslar

  1. de Brouwer, A. J., Flanagan, J. R., Spering, M. Functional use of eye movements for an acting system. Trends Cogn Sci. 25 (3), 252-263 (2021).
  2. Ayala, N., Kearns, S., Cao, S., Irving, E., Niechwiej-Szwedo, E. Investigating the role of flight phase and task difficulty on low-time pilot performance, gaze dynamics and subjective situation awareness during simulated flight. J Eye Mov Res. 17 (1), (2024).
  3. Land, M. F., Hayhoe, M. In what ways do eye movements contribute to everyday activities. Vision Res. 41 (25-26), 3559-3565 (2001).
  4. Ayala, N., Zafar, A., Niechwiej-Szwedo, E. Gaze behavior: a window into distinct cognitive processes revealed by the Tower of London test. Vision Res. 199, 108072 (2022).
  5. Ayala, N. The effects of task difficulty on gaze behavior during landing with visual flight rules in low-time pilots. J Eye Mov Res. 16, 10 (2023).
  6. Glaholt, M. G. . Eye tracking in the cockpit: a review of the relationships between eye movements and the aviators cognitive state. , (2014).
  7. Hodgson, T. L., Bajwa, A., Owen, A. M., Kennard, C. The strategic control of gaze direction in the Tower-of-London task. J Cognitive Neurosci. 12 (5), 894-907 (2000).
  8. van De Merwe, K., Van Dijk, H., Zon, R. Eye movements as an indicator of situation awareness in a flight simulator experiment. Int J Aviat Psychol. 22 (1), 78-95 (2012).
  9. Kok, E. M., Jarodzka, H. Before your very eyes: The value and limitations of eye tracking in medical education. Med Educ. 51 (1), 114-122 (2017).
  10. Di Stasi, L. L., et al. Gaze entropy reflects surgical task load. Surg Endosc. 30, 5034-5043 (2016).
  11. Laubrock, J., Krutz, A., Nübel, J., Spethmann, S. Gaze patterns reflect and predict expertise in dynamic echocardiographic imaging. J Med Imag. 10 (S1), S11906-S11906 (2023).
  12. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PloS One. 13 (11), e0207439 (2018).
  13. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. Int J Aero Psych. 28 (3-4), 98-112 (2018).
  14. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. Int J Aviat Psychol. 26 (3-4), 75-104 (2016).
  15. Ke, L., et al. Evaluating flight performance and eye movement patterns using virtual reality flight simulator. J. Vis. Exp. (195), e65170 (2023).
  16. Krejtz, K., et al. Gaze transition entropy. ACM Transactions on Applied Perception. 13 (1), 1-20 (2015).
  17. Taylor, R. M., Selcon, S. J. Cognitive quality and situational awareness with advanced aircraft attitude displays. Proceedings of the Human Factors Society Annual Meeting. 34 (1), 26-30 (1990).
  18. Ayala, N., et al. Does fiducial marker visibility impact task performance and information processing in novice and low-time pilots. Computers & Graphics. 199, 103889 (2024).
  19. Recarte, M. &. #. 1. 9. 3. ;., Pérez, E., Conchillo, &. #. 1. 9. 3. ;., Nunes, L. M. Mental workload and visual impairment: Differences between pupil, blink, and subjective rating. Spanish J Psych. 11 (2), 374-385 (2008).
  20. Zheng, B., et al. Workload assessment of surgeons: correlation between NASA TLX and blinks. Surg Endosc. 26, 2746-2750 (2012).
  21. Shannon, C. E. A mathematical theory of communication. The Bell System Technical Journal. 27 (3), 379-423 (1948).
  22. Shiferaw, B., Downey, L., Crewther, D. A review of gaze entropy as a measure of visual scanning efficiency. Neurosci Biobehav R. 96, 353-366 (2019).
  23. Ciuperca, G., Girardin, V. Estimation of the entropy rate of a countable Markov chain. Commun Stat-Theory and Methods. 36 (14), 2543-2557 (2007).
  24. Federal aviation administration. . Airplane flying handbook. , (2021).
  25. Brown, D. L., Vitense, H. S., Wetzel, P. A., Anderson, G. M. Instrument scan strategies of F-117A Pilots. Aviat, Space, Envir Med. 73 (10), 1007-1013 (2002).
  26. Lu, T., Lou, Z., Shao, F., Li, Y., You, X. Attention and entropy in simulated flight with varying cognitive loads. Aerosp Medicine Hum Perf. 91 (6), 489-495 (2020).
  27. Dehais, F., Peysakhovich, V., Scannella, S., Fongue, J., Gateau, T. "Automation surprise" in aviation: Real-time solutions. , 2525-2534 (2015).
  28. Kowler, E. Eye movements: The past 25 years. J Vis Res. 51 (13), 1457-1483 (2011).
  29. Zafar, A., et al. Investigation of camera-free eye-tracking glasses compared to a video-based system. Sensors. 23 (18), 7753 (2023).
  30. Leube, A., Rifai, K. Sampling rate influences saccade detection in mobile eye tracking of a reading task. J Eye Mov Res. 10 (3), (2017).
  31. Diaz-Piedra, C., et al. The effects of flight complexity on gaze entropy: An experimental study with fighter pilots. Appl Ergon. 77, 92-99 (2019).
  32. Shiferaw, B. A., et al. Stationary gaze entropy predicts lane departure events in sleep-deprived drivers. Sci Rep. 8 (1), 1-10 (2018).
  33. Parker, A. J., Kirkby, J. A., Slattery, T. J. Undersweep fixations during reading in adults and children. J Exp Child Psychol. 192, 104788 (2020).
  34. Ayala, N., Kearns, S., Irving, E., Cao, S., Niechwiej-Szwedo, E. The effects of a dual task on gaze behavior examined during a simulated flight in low-time pilots. Front Psychol. 15, 1439401 (2024).
  35. Ayala, N., Heath, M. Executive dysfunction after a sport-related concussion is independent of task-based symptom burden. J Neurotraum. 37 (23), 2558-2568 (2020).
  36. Huddy, V. C., et al. Gaze strategies during planning in first-episode psychosis. J Abnorm Psychol. 116 (3), 589 (2007).
  37. Irving, E. L., Steinbach, M. J., Lillakas, L., Babu, R. J., Hutchings, N. Horizontal saccade dynamics across the human life span. Invest Opth Vis Sci. 47 (6), 2478-2484 (2006).
  38. Yep, R., et al. Interleaved pro/anti-saccade behavior across the lifespan. Front Aging Neurosci. 14, 842549 (2022).
  39. Manoel, E. D. J., Connolly, K. J. Variability and the development of skilled actions. Int J Psychophys. 19 (2), 129-147 (1995).

Yeniden Basımlar ve İzinler

Bu JoVE makalesinin metnini veya resimlerini yeniden kullanma izni talebi

Izin talebi

Daha Fazla Makale Keşfet

JoVE de bu aysay 218

This article has been published

Video Coming Soon

JoVE Logo

Gizlilik

Kullanım Şartları

İlkeler

Araştırma

Eğitim

JoVE Hakkında

Telif Hakkı © 2020 MyJove Corporation. Tüm hakları saklıdır