JoVE Logo
Yazarlar
Bize Ulaşın

Oturum Aç

Bu içeriği görüntülemek için JoVE aboneliği gereklidir. Oturum açın veya ücretsiz deneme sürümünü başlatın.

Bu Makalede

  • Özet
  • Özet
  • Giriş
  • Protokol
  • Sonuçlar
  • Tartışmalar
  • Açıklamalar
  • Teşekkürler
  • Malzemeler
  • Referanslar
  • Yeniden Basımlar ve İzinler

Özet

Burada, kişilerarası iletişimde jest üretimi üzerindeki etkisini incelemek için muhatap görünürlüğünü manipüle eden bir protokol sunuyoruz. Bu protokol, uygulanan görevlere, incelenen hareketlere ve iletişim yöntemine göre esnektir. İkinci dil öğrenenler ve otizm spektrum bozukluğu olan bireyler gibi iletişim güçlüğü çeken popülasyonlar için idealdir.

Özet

Konuşmacıların muhataplarla konuşurken neden ortak konuşma el hareketlerini değiştirdiklerini anlamak, bu hareketlerin yüz yüze ve sanal bağlamlarda kişilerarası iletişime nasıl katkıda bulunduğuna dair değerli bilgiler sağlar. Mevcut protokoller, iletişimin zor olduğu durumlarda görünürlüğün jest üretimi üzerindeki etkisini incelemek için konuşmacıların ve muhataplarının görünürlüğünü yüz yüze bir bağlamda birlikte manipüle ediyor. Bu protokollerde konuşmacılar, yabancı bir ikinci dilden kelimeler öğretmek veya çizgi film vinyetlerindeki olayları başka bir katılımcı veya konfederasyon olan bir muhataba anlatmak gibi görevleri tamamlarlar. Bu görevleri yerine getirirken, konuşmacılar muhatapları tarafından görülebilir veya görünmez ve konuşmacı katılımcı tarafından görülebilir veya görünmez. Kelime öğrenme görevinde, birbirlerine göremeyen konuşmacılar ve muhataplar, birbirlerine görünmeyen konuşmacılara ve muhataplara göre el şekli ve hareket yoluyla anlam ileten daha temsili jestler ve deiktik (işaret etme) jestler üretirler. Anlatı yeniden anlatım protokolünde, otizm spektrum bozukluğu (ASD) olan ergenler, görünür muhataplarla konuşurken görünür olmayan muhataplara göre daha fazla jest ürettiler. Mevcut protokolün önemli bir gücü, incelenen görevler, popülasyonlar ve hareketler açısından esnekliğidir ve mevcut protokol, yüz yüze bağlamların yanı sıra video konferansta da uygulanabilir. Bu nedenle, mevcut protokol, iletişim güçlüğü çeken popülasyonlarda kişilerarası iletişimdeki rolünü açıklayarak jest üretimi anlayışını ilerletme potansiyeline sahiptir.

Giriş

Birlikte konuşma jestleri (şimdiye kadar jestler) - konuşma ile eşzamanlı olarak üretilen anlamlı el hareketleri - sözlü içeriği tamamlayan bilgileri ileterek kişilerarası iletişime katkıda bulunur1. En yaygın kullanılan taksonomi 2,3'e göre, jestler üç kategoriye ayrılabilir: göndergeleri biçimleri ve hareketleri aracılığıyla ileten temsili jestler (örneğin, uçmayı iletmek için elleri ileri geri çırpmak); basit noktalama hareketleriyle vurguyu ileten vuruş hareketleri (örneğin, "şu anda" ifadesindeki her kelimeyle bağlantılı olarak baskın eli hafifçe aşağı doğru hareket ettirmek); ve işaret etme yoluyla bir varlığın varlığına veya yokluğuna dikkat çeken deiktik hareketler (örneğin, arkasındaki bir şeyi belirtmek için başparmağı geriye doğru sallamak). Temsili jestler ayrıca iki ek kategoriye ayrılabilir: somut referansları ileten ikonik jestler (örneğin, bir kuş) ve metaforik referansları ileten metaforik jestler (örneğin, ecstasy). Jest ve konuşma aynı kavramsal içerikten kaynaklandığından, anlam bakımından yakından ilişkilidirler 4,5. Jestler, iletişim için ikonik bir görsel araç olarak hizmet ederek, konuşulan dilde sınırlı yeterlilik 7,8 veya konuşmayı duymada zorluk gibi çevresel faktörler 9,10 gibi bireysel faktörler nedeniyle konuşulan dili anlamada zorluklar ortaya çıktığında telafi etmeye yardımcı olabilir 6. Bu nedenle, jestler, yüz yüze ve sanal bağlamlarda kişilerarası iletişimi anlamanın ayrılmaz bir parçasıdır ve konuşmacıların ve dinleyicilerin bilgileri çok modlu olarak nasıl ilettikleri ve anladıkları konusunda fikir verir.

Jestlerin kişilerarası iletişimi nasıl etkilediğini ölçmek için çeşitli yapılandırılmış etkileşimli görevler geliştirilmiştir. Bu görevler arasında, katılımcıların kişisel deneyimlerini anlatarak sorulara yanıt verdikleri görüşmeleryer almaktadır 11,12; 13,14'ü tanımlamak için katılımcılara statik bir görüntünün sunulduğu görüntü açıklaması; katılımcıların bileşenleri uzamsal olarak doğru bir şekilde yönlendirerek bir bulmacayı nasıl çözeceklerini anlattıkları bulmaca çözme15,16; katılımcılara, dinleyicilerin aşina olmadığı bir yere yön vermeleri talimatının verildiği yön hükmü 17,18,19; ve katılımcıların bir dizi olayı tasvir eden bir karikatürü izledikleri ve daha sonra bunları anlattıkları anlatı yeniden anlatımı20,21,22. Yukarıda belirtilen çalışmalarda kullanılan görevlerin çoğu, jestin belirli bir etkinlikle ilettiği mekansal içerik ve eylemi içerir 15,23,24,25. Yukarıda belirtilen çalışmaların görevlerinde, katılımcılar tipik olarak dil ile bağlantılı olarak jestler üretirler ve jest yoluyla iletilen bilgiler ve bunun eşzamanlı olarak üretilen dil ile ilişkisi değerlendirilir. Alternatif olarak, katılımcılar, bu görevlerden birini tamamlarken el hareketi yapan (veya yapmayan) ve dil üreten birinin kaydını görüntüleyebilir ve ardından katılımcıların anlaması değerlendirilir. Bu görevlerin tümü hem sanal hem de yüz yüze gerçekleştirilebilir, bu da çok çeşitli katılımcılardan veri toplamaya ve modaliteler arasında karşılaştırma yapmaya olanak tanır.

Jestlerin kişilerarası iletişim üzerindeki etkisi geniş bir katılımcı yelpazesiyle uygulanmıştır. Küçük çocuklar 26,27,28,29,30, ikinci dil (L2) kullanıcıları 8,31,32,33, otizm spektrum bozukluğu (ASD) olan bireyler 20,21,22,34, belirli dil bozukluğu olan bireyler 35,36,37, afazili bireyler 12,38, beyin hasarı olan bireyler39 ve kekeme olan bireyler40,41'dir. Bu çalışma, bu popülasyonların birçoğunun iletişimi kolaylaştırmak için jestleri kullanabilmesine rağmen, otizm spektrum bozukluğu olan bireyler gibi bazılarının, etkili bir şekilde iletişim kurmak için jestlerden yararlanmada zorluklarla karşılaşabileceğini ortaya koymuştur. Bulgular, bunun, bu popülasyonların izleyici tasarımını ve çevresel ipuçlarını ne ölçüde dikkate aldığından kaynaklanabileceğini ve bu açıklamaların jestlerin iletişim üzerindeki etkisine ilişkin pratik sonuçlarını vurguladığını göstermektedir.

Hareketlerin kişilerarası iletişim üzerindeki etkisine dair fikir veren önemli bir özellik muhatap görünürlüğüdür. Jest araştırması alanında büyük önem taşıyan bir soru, katılımcıların kendi çıkarları için ne ölçüde jest yaptıkları, bilişsel işlemlerin vücuda boşaltıldığını ve muhataplarının yararına karşı, iletişim kurmak için jest kullanımını gösteren bir jest yaptıklarıdır. Bu soru, opak bir bölme26,42 kullanımı yoluyla yüz yüze bağlamlarda ve ayrıca telefon bağlamlarında 13 ve sanal bağlamlarda43 muhatap (olmayan) görünürlüğün jest üretimi üzerindeki etkisi incelenerek araştırılmıştır. Genel olarak, bu çalışmanın sonuçları, konuşmacıların kendi çıkarları için hareket etmelerine rağmen, görünür muhataplarla iletişim kurarken görünür olmayan muhataplara göre daha fazla temsili jest ürettiklerini, oysa vuruş hareketi üretiminin muhatap görünürlüğünden bağımsız olarak benzer olduğunu göstermektedir. Bu nedenle, temsili jestin çeşitli bağlamlarda iletişimi kolaylaştırdığını, konuşmacıların muhataplarının bakış açısını dikkate almalarını ve jest üretimlerini buna göre değiştirmelerini önermektedirler. Muhatap görünürlüğünün etkisini inceleyen önceki araştırmalar, jestlerin kişilerarası iletişime katkıları hakkında fikir vermede etkili olmuş olsa da, tipik olarak gelişmekte olan popülasyonlarda ilk dil olarak İngilizce'ye (L1) odaklanmıştır, bu nedenle bulguların iletişim güçlüğü çeken popülasyonlara genişletilip genişletilemeyeceği belirsizdir. Bu tür iki popülasyon, hedef dilde konuşma yoluyla iletişim kurmakta zorlanabilen L2 öğrencileri ve sözlü ve sözsüz iletişimi anormal olan ASD'li çocuklardır. Ayrıca, çok az araştırma, muhatap görünürlüğünün sanal bağlamlarda jest üretimi üzerindeki etkisini incelemiştir, bu da muhatabın görünürlüğünün katılımcı üzerindeki etkisinin, katılımcının muhatap üzerindeki görünürlüğünün etkisinden ayrılmasına izin verir, bu nedenle bu bağlamlardan elde edilen bulguların tekrarlanabilirliği şu anda belirsizdir. Son olarak, bazı araştırmalar muhatap görünürlüğünün belirli jest türlerinin üretimi üzerindeki etkisine odaklanmıştır, bu nedenle diğer jest türlerinin üretiminin muhatap görünürlüğünden benzer şekilde etkilenip etkilenmediği belirsizdir.

Aşağıda açıklanan protokoller, zorlu koşullarda jest üretimini incelemek için muhatap görünürlüğünü manipüle eder: ASD'li bireyler tarafından L2 kelime öğrenimi ve anlatı yeniden anlatımı. L2 kelime öğrenme protokolü, jestleri gözlemlemenin L2 kelime öğrenimi üzerindeki etkisini inceleyen araştırmalarla, etkileşimli bir kelime öğrenme paradigması aracılığıyla jestlerin iletişime katkısını inceleyen araştırmalar arasında köprü kurar. Bu paradigmada, hedef dile aşina olmayan katılımcılar, hedef dildeki kelimeleri öğrenir ve daha sonra bu kelimeleri hedef dile aşina olmayan diğer katılımcılara öğretir, bu da muhatap görünürlüğünün jest üretimi üzerindeki etkisinin, L2 ediniminin en erken aşamalarında bir konuşma bağlamında incelenmesine izin verir. Karikatür yeniden anlatım paradigması, muhatap görünürlüğü yeni bir popülasyonla manipüle edildiğinde jest üretimindeki farklılıkların gözlemlendiği, yaygın olarak kullanılan bir anlatı yeniden anlatma görevi kullanır: ASD'li ergenler. Bu popülasyon ilgi çekicidir, çünkü jest üretimi de dahil olmak üzere dil gelişimi ergenlik döneminde olgunlaşır ve ASD, jestler de dahil olmak üzere sözlü ve sözsüz iletişimde zorluk çekmenin yanı sıra muhatapların iletişimsel ihtiyaçlarına duyarlılık eksikliği gerektirir. Birlikte, bu protokoller, kişilerarası iletişim zor olduğunda jest üretiminin konuşmaya ne ölçüde bağımlı olduğu ve tersine, bunu telafi edebileceği - hakkında fikir verir.

Dinleyici görünürlüğünün L1 İngilizce konuşanlar 13,26,42,43 tarafından jest üretimini nasıl etkilediğini gösteren bulgulara dayanarak, katılımcıların L2 kelimelerini görünür olmayan bir muhataptan ziyade görünür bir muhatapla tartışırken daha genel jestler ve daha fazla temsili jest üretecekleri varsayılmıştır. OSB20,44'te jest üretimindeki anormallikleri gösteren bulgulara dayanarak, OSB'li ergenlerin, tipik olarak gelişen (TD) ergenlere göre daha az genel jest ve daha az temsili ve deiktik jest üreteceği varsayılmıştır. Ayrıca, OSB'nin perspektif almada güçlük çektiğini gösteren bulgulara45 dayanarak, OSB'li ergenlerin jest üretiminin, görünür ve görünür olmayan muhatapların varlığında anlamlı bir farklılık göstermeyeceği varsayılmıştır. Son olarak, tanı ve görünürlük arasında bir etkileşim öngörülmüştür, öyle ki jest üretimi OSB'li ergenler için görünürlüğe göre farklılık göstermeyecek, ancak TD ergenleri için farklılık gösterecektir.

Access restricted. Please log in or start a trial to view this content.

Protokol

Tüm katılımcılar yazılı onay verdi ve tüm protokoller ev sahibi kurumdaki Kurumsal İnceleme Kurulları tarafından onaylandı. Temsili sonuçların dayandığı çalışmalarda L2 kelime öğrenme ve çizgi film anlatım protokolleri uygulanmıştır21,33. Bu protokoller bugüne kadar yalnızca yüz yüze bağlamlarda gerçekleştirilmiş olsa da, muhatabın ve katılımcının görünürlüğünü manipüle eden ilgili bir protokol, burada açıklanmayan bağımsız olarak, bu bağlamda tekrarlanabilirlik hakkında fikir vermek için şu anda yürütülmektedir ve bunu ASD'li bireyler gibi iletişim zorlukları olan popülasyonlara genişletme planları vardır.

1. Katılımcılar

NOT: Her çalışma için katılımcı özellikleri üzerindeki gerekli kısıtlamalara saygı göstermekle birlikte, örnekler mümkün olduğunca daha büyük popülasyonu temsil etmelidir.

  1. L2 kelime öğrenme protokolü için katılımcı alımı
    1. 18 yaş ve üstü, normal veya düzeltilmiş görme ve normal işitme ile L1 İngilizce konuşan katılımcıları işe alın. Çalışmanın, jestin başlangıç aşaması L2 kelime öğrenimi üzerindeki etkisini incelediğinden emin olmak için, hedef dil olan Macarca hakkında herhangi bir bilgisi olmayan katılımcıları işe alın.
  2. Çizgi film anlatım protokolü için katılımcı alımı
    1. Deneysel görevi tamamlayabilecek bir yaştaki (Morett ve ark.21'de 10-20 yaş) ASD tanısı olan veya tipik olarak gelişmekte olan (TD) katılımcıları işe alın.
      1. Katılımcıların deney görevini başarıyla tamamlayabilmelerini sağlamak için, L1 İngilizce konuşan, normal veya düzeltilmiş görme ve normal işitmeye sahip olan ve standart bir değerlendirme yoluyla çalışmanın öncesinde veya sırasında ölçüldüğü üzere 85 veya daha yüksek tam ölçekli IQ'ya sahip katılımcıları işe alın46.
      2. Çalışmanın ASD'nin jest üretimi üzerindeki spesifik etkilerini incelediğinden emin olmak için, epilepsi, menenjit, ensefalit, diyabet, çocuklukta dezaksiyonatif bozukluk veya Yaygın gelişimsel bozukluk - başka türlü belirtilmemiş (PDD-NOS) olmayan ASD'li katılımcıları işe alın.
      3. OSB'de jest üretiminin tipik jest üretimi ile karşılaştırılabilmesini sağlamak için, komorbid psikiyatrik bozuklukları olmayan TD katılımcılarını veya yaygın gelişimsel bozukluk tanısı konmuş birinci derece akrabaları işe alın.

2. Görünürlük manipülasyonuna genel bakış

  1. L2 kelime öğrenme protokolünde olduğu gibi, spontan hareketler üretmenin ve gözlemlemenin etkileri incelenecekse, katılımcıları çiftler halinde işe alın. Çizgi film yeniden anlatım protokolünde olduğu gibi, yalnızca spontane hareketler üretmenin etkileri incelenecekse, katılımcı olarak hareket eden bir araştırma görevlisi ile koordineli olarak katılımcıları bireysel olarak işe alın.
  2. Katılımcılara çalışma hakkında bilgi içeren bilgilendirilmiş bir onam formu verin ve bu formla ilgili herhangi bir soruyu imzalayın ve çalışmanın jest üretimine odaklandığını ortaya koymamaya özen gösterin. Katılımcılar imzaladıktan sonra formu toplayın.
  3. Çiftler halinde işe alınan katılımcılar için, hangi katılımcının konuşmacı olarak görev yapacağını, deneysel görevde konuşmanın çoğunu kimin yapacağını ve hangi katılımcının muhatap olarak görev yapacağını, dinlemenin çoğunu kimin yapacağını ve zaman zaman deneysel görevde konuşmacı ile etkileşime gireceğini belirlemek için yazı tura atma gibi bir seçim yöntemi kullanın. Katılımcı olarak hareket eden bir araştırma görevlisi ile bireysel olarak işe alınan katılımcılar için, katılımcının her zaman konuşmacı olarak hizmet etmesini ve araştırma görevlisinin her zaman muhatap olarak hizmet etmesini sağlamak için hileli yazı tura atma gibi sabit bir seçim yöntemi kullanın.
  4. Deneysel oturumların yarısında, birbirlerinin yüzünü veya ellerini görememelerini sağlamak için konuşmacı ve muhatap arasına opak bir ayırıcı yerleştirin.
  5. Katılımcılara deney görevinde ne yapacaklarını açıklayın ve bununla ilgili soruları yanıtlayın. Katılımcılara, bu amaçla kullanılan mikrofonu işaret ederek konuşmalarının ses kaydına tabi tutulacağını bildirin. Video kaydı farkındalığının jest üretimi üzerinde herhangi bir etkisini önlemek için, katılımcılara video kaydedilecekleri konusunda bilgi vermeyin ve bu amaçla kullanılan video kameranın katılımcılar tarafından görülmediğinden emin olun.
  6. Uygun düğmelere basarak video ve ses kaydını başlatın. Konuşmacıdan ve varsa katılımcı muhataptan konuşma ve jest elde etmek için deneysel görevi uygulayın.
  7. Katılımcı içi bir tasarım kullanılıyorsa, ilk yinelemede kullanılıyorsa opak bölücüyü çıkarın veya ilk yinelemede kullanılmıyorsa konuşmacı ile muhatap arasına yerleştirin.
  8. Tüm uyaranlar tükenene kadar deneysel görevi gerektiği kadar tekrarlayın.
  9. Uygun düğmelere basarak video ve ses kaydını durdurun. Katılımcılara çalışmanın hareketlere odaklandığını ve bunların video kaydı olduğunu bildirin ve istenirse veri analizinden önce videolarını silmeyi teklif edin.
  10. Katılımcılardan gelen soruları yanıtlayın ve onları reddetmeden önce katıldıkları için teşekkür edin.

3. L2 kelime öğrenme protokolü

  1. Video ve ses, konuşmacıyı ve muhatabı kaydeder, böylece deneysel görev sırasında konuşma ve jest üretimi daha sonra analiz edilebilir.
    1. Ses kaydı için hoparlör ile muhatap arasına bir masa mikrofonu yerleştirin. Konuşmacı ile muhatap arasına 90° açıyla bir video kamera yerleştirin ve katılımcılar tarafından görülmediğinden emin olun.
    2. Ek olarak, hem konuşmacının hem de muhatabın video kameranın görüş alanı içinde yer aldığından ve L2 kelimelerinin analizde sunulduğu duruma karşı körlüğü korumak için bilgisayar ekranının video kameranın görüş alanı içinde görünmediğinden emin olun.
  2. Bir bilgisayar kullanarak, hedef dilden bir L2 kelimesini muhatap tarafından duyulmamasını sağlamak için kulaklık aracılığıyla konuşmacıya işitsel olarak sunun, böylece konuşmacı daha sonra muhataba öğretebilir. Aynı zamanda, hedef dilin bir L1 konuşmacısının L2 kelimesini söylediği ve anlamını ileten temsili bir jest ürettiği bir videoyu ekranın alt kısmında L2 kelimesinin metni ile veya L2 kelimesini ekranın ortasında metin olarak konuşmacıya video olmadan sunun.
  3. 500 ms'lik bir duraklamadan sonra, L2 kelimesinin L1 çevirisini ekranın ortasında metin olarak 2000 ms boyunca hoparlöre sunun.
  4. Açıklayıcıdan, L2 kelimesini ve anlamını muhataba konuşma ve/veya jest yoluyla öğretmesini isteyin.
  5. Hazır olduğunda devam etmek için hoparlöre bir düğmeye basmasını söyleyin. Konuşmacı bunu yaptıktan sonra, başka bir L2 kelimesi sunun. 20 L2 kelimenin tümü rastgele sırayla sunulana kadar bu işlemi tekrarlayın.
  6. Konuşmacının ve muhatabın deneysel görevde sunulan L2 kelimeleri hakkındaki bilgilerini, her L2 kelimesini metin olarak sunarak ve L1 çevirisini söylemelerini veya çevirisini hatırlamıyorlarsa kelimeyi atlamalarını isteyerek bireysel olarak test edin.

4. Çizgi film yeniden anlatma protokolü

  1. Katılımcının IQ'su daha önce standart bir IQ değerlendirmesi ile ölçülmediyse, IQ'larının 85 veya üzerinde olduğundan emin olmak için bir IQ değerlendirmesi uygulayın.
  2. Konuşma ve jest üretimlerinin daha sonra analiz edilebilmesi için video ve ses kaydı katılımcıları. Ses kaydı için katılımcının önüne bir masa mikrofonu yerleştirin. Katılımcının bir tarafına 90° açıyla bir kamera yerleştirin ve kameranın katılımcı tarafından görülmediğinden emin olun.
  3. Looney Tunes çizgi filmi Canary Row'un ilk yarısını katılımcıya sunun. Çizgi filmin bu yarısı, kedi Sylvester'ın Tweety kuşunu yakalamaya çalıştığı ve başarısız olduğu birkaç skeç içeriyor.
  4. Katılımcıya, karikatürün ilk yarısındaki olayları muhataplara hatırlayabildikleri kadar ayrıntılı bir şekilde yeniden anlatması talimatını verin. Muhataba, katılımcının anlatımını dinlemesi talimatını verin ve katılımcının kısa olması durumunda daha fazlasını söylemesini isteyin.
  5. 4.1 adımlarını tekrarlayın. ve 4.2. kedi Sylvester'ın Tweety kuşunu yakalamaya çalıştığı ve başarısız olduğu birkaç skeç daha içeren Canary Row videosunun ikinci yarısı için.

5. Transkripsiyon ve kodlama

NOT: Yanlılığı en aza indirmek için, mümkün olduğunda, hangi katılımcıların ve denemelerin hangi koşullara atandığını bilmeden verileri kör olarak yazıya dökün ve kodlayın. İdeal olarak, kopyalayıcılar ve kodlayıcılar veri toplamaya dahil olmamalıdır.

  1. Bir kelime sayısı oluşturmak için CHAT47 gibi standart bir şemaya göre uygun yazılımı kullanarak tüm katılımcı konuşmalarını elle imla olarak yazıya dökün. Dolgular ve düzeltmeler gibi tüm sözlü bilgileri yazıya dökün, ancak duraklamaları yazıya dökmeyin.
  2. Her hareket türü için bir sayı oluşturmak üzere tüm katılımcı hareketlerini tanımlayın ve kodlayın. Dinlenmeden dinlenmeye hareketleri tanımlayın ve bunları McNeill'in taksonomisi 2,3'e göre dört türe ayırın: ikonik, metaforik, vuruş ve deiktik. Bazı hareketlerin birden fazla tür olarak sınıflandırılabileceğini unutmayın.
  3. Temsili hareketlerin sayısını kelime sayısına bölerek ve her vinyet için 100 ile çarparak yüz kelime başına hareket oranını hesaplayın.
  4. Verilerin %25'i için bağımsız bir kodlayıcı kodu katılımcısının hareket etmesini sağlayın. Her iki kodlayıcı tarafından kodlanan veriler için yüzde anlaşmasını hesaplayın ve yeterli değerlendirici güvenilirliğini sağlamak için en az %80 olduğundan emin olun.

Access restricted. Please log in or start a trial to view this content.

Sonuçlar

L2 kelime öğrenme
Uygulama: Aşağıda bildirilen sonuçlar, yukarıda belirtilen protokole göre 52 sağlıklı katılımcıdan (21 erkek, 31 kadın; yaş: M = 20.15, SS = 1.73, aralık = 18-28) toplanan verilere dayanmaktadır. Tüm konuşma ve jestler, hem konuşmacıdan hem de muhataptan gelen veriler adım 3.4'te açıklandığı gibi tek bir kamera kullanılarak kaydedildiği için görünürlük durumuna karşı kör olamayan bir bir...

Access restricted. Please log in or start a trial to view this content.

Tartışmalar

Mevcut protokol, konuşmacının ve muhatabın birbirine görünürlüğünü manipüle ederek, zorlu koşullar altında jest üretimi üzerindeki etkisine dair fikir vermektedir: ASD'li ergenler tarafından L2 kelime öğrenimi ve anlatının yeniden anlatılması. Bu protokol yüz yüze veya sanal olarak uygulanabilir ve katılımcı ve muhatap görünürlüğünün birlikte veya bağımsız olarak manipüle edilmesine izin verir. Çok çeşitli deneysel görevleri, jestleri ve popüla...

Access restricted. Please log in or start a trial to view this content.

Açıklamalar

Yazarın beyan etmesi gereken rekabet eden hiçbir mali çıkarı yoktur.

Teşekkürler

L2 kelime öğrenme protokolünün geliştirilmesi ve doğrulanması, ABD Savunma Bakanlığı Hava Kuvvetleri Bilimsel Araştırma Ofisi tarafından verilen Ulusal Savunma Bilimi ve Mühendisliği Yüksek Lisans (NDSEG) Bursu (32 CFR 168a) ile desteklenmiştir. ASD'li ergenlerle çizgi film yeniden anlatım protokolünün geliştirilmesi ve doğrulanması, Ulusal Ruh Sağlığı Enstitüleri'nden Ruth S. Kirschstein Kurumsal Ulusal Araştırma Hizmeti Ödülü (T32) ile desteklenmiştir. Yazar, veri toplama ve kodlama konusunda yardımları için Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo ve Marco Pilotta'ya teşekkür eder.

Access restricted. Please log in or start a trial to view this content.

Malzemeler

NameCompanyCatalog NumberComments
ComputerAppleZ13124" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphoneTonorB07GVGMW59
ELANThe Language ArchiveSoftware application used to transcribe speech and gesture
Video RecorderVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of IntelligencePearson158981561Used to verify full scale IQ ≥ 80 in Morett et al. (2016)

Referanslar

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Access restricted. Please log in or start a trial to view this content.

Yeniden Basımlar ve İzinler

Bu JoVE makalesinin metnini veya resimlerini yeniden kullanma izni talebi

Izin talebi

Daha Fazla Makale Keşfet

Jest retimiG r n rl kleti im ZorluklarY z Y ze Ba lamVideo KonferansTemsili JestlerDeiktik JestlerOtizm Spektrum Bozuklu u ASDKelime renmeAnlat Yeniden Anlat m

This article has been published

Video Coming Soon

JoVE Logo

Gizlilik

Kullanım Şartları

İlkeler

Bize Ulaşın

KÜTÜPHANEYE TAVSİYE ET

JoVE HABER BÜLTENLERİ

Araştırma

Eğitim

Yazarlar

Kütüphaneciler

JoVE Hakkında

Telif Hakkı © 2020 MyJove Corporation. Tüm hakları saklıdır