JoVE Logo

Oturum Aç

Bu içeriği görüntülemek için JoVE aboneliği gereklidir. Oturum açın veya ücretsiz deneme sürümünü başlatın.

Bu Makalede

  • Özet
  • Özet
  • Giriş
  • Protokol
  • Sonuçlar
  • Tartışmalar
  • Açıklamalar
  • Teşekkürler
  • Malzemeler
  • Referanslar
  • Yeniden Basımlar ve İzinler

Özet

Kolektif Güven Oyunu, araştırmacıların kolektif güvenin ve adalet, karşılıklılık veya ileri sinyal gibi ilgili yapıların ortaya çıkışını değerlendirmelerini sağlayan HoneyComb paradigmasına dayanan bilgisayar tabanlı, çok ajanlı bir güven oyunudur. Oyun, oyundaki hareket davranışı yoluyla grup süreçlerinin ayrıntılı gözlemlerine izin verir.

Özet

Gruplara olan güveni bütünsel olarak anlama ihtiyacı, kolektif güveni ölçmeye yönelik yeni yaklaşımlarda bir artışa yol açmıştır. Bununla birlikte, bu yapı genellikle mevcut araştırma yöntemleri tarafından ortaya çıkan niteliklerinde tam olarak yakalanmamaktadır. Bu yazıda, araştırmacıların kolektif güvenin ortaya çıkışını değerlendirmelerini sağlayan HoneyComb paradigmasına dayanan bilgisayar tabanlı, çok ajanlı bir güven oyunu olan Kolektif Güven Oyunu (CTG) sunulmaktadır. CTG, kişilerarası güven üzerine yapılan önceki araştırmalara dayanır ve yaygın olarak bilinen Güven Oyununu, Petek paradigmasındaki bir grup ortamına uyarlar. Katılımcılar yatırımcı veya mütevelli rolünü üstlenirler; her iki rol de gruplar tarafından oynanabilir. Başlangıçta, yatırımcılara ve mütevellilere bir miktar para verilir. Daha sonra, yatırımcıların, eğer varsa, bağışlarının ne kadarını mütevellilere göndermek istediklerine karar vermeleri gerekir. Eğilimlerini ve nihai kararlarını, olası yatırım tutarlarını gösteren bir oyun alanında ileri geri hareket ederek iletir. Karar sürelerinin sonunda, yatırımcıların üzerinde anlaştıkları miktar çarpılır ve mütevellilere gönderilir. Mütevelliler, eğer varsa, bu yatırımın ne kadarını yatırımcılara geri vermek istediklerini iletmek zorundadır. Yine, bunu oyun alanında hareket ederek yaparlar. Bu prosedür birden fazla tur boyunca tekrarlanır, böylece kolektif güven tekrarlanan etkileşimler yoluyla paylaşılan bir yapı olarak ortaya çıkabilir. Bu prosedür ile CTG, hareket verilerinin kaydedilmesi yoluyla kolektif güvenin ortaya çıkışını gerçek zamanlı olarak takip etme fırsatı sunar. CTG, belirli araştırma sorularına göre son derece özelleştirilebilir ve az, düşük maliyetli ekipmanlarla çevrimiçi bir deney olarak çalıştırılabilir. Bu makale, CTG'nin grup etkileşimi verilerinin zenginliğini ekonomik oyunların yüksek iç geçerliliği ve zaman etkinliği ile birleştirdiğini göstermektedir.

Giriş

Kolektif Güven Oyunu (CTG), bir grup insan içinde çevrimiçi olarak kolektif güveni ölçme fırsatı sunar. Berg, Dickhaut ve McCabe1'in (BDM) orijinal Güven Oyununu grup seviyesine genelleştirir ve ortaya çıkan nitelikleri 2,3,4'ün yanı sıra adalet, karşılıklılık veya ileri sinyal gibi ilgili kavramlarda kolektif güveni yakalayabilir ve ölçebilir.

Önceki araştırmalar çoğunlukla, güveni, daha yüksek analiz seviyeleri hariç, örneğin bir lider ile bir takipçiarasındaki 5,6 gibi, yalnızca kişilerarası bir yapı olarak kavramsallaştırmaktadır. Özellikle örgütsel bağlamlarda, bu güveni bütünsel olarak kavramak için yeterli olmayabilir, bu nedenle güvenin grup düzeyinde inşa edildiği (ve azaldığı) süreçleri anlamaya büyük ihtiyaç vardır.

Son zamanlarda, güven araştırması daha çok seviyeli düşünmeyi dahil etmiştir. Fulmer ve Gelfand7 , güven üzerine bir dizi çalışmayı gözden geçirdi ve bunları her çalışmada araştırılan analiz seviyesine göre kategorize etti. Üç farklı analiz seviyesi kişilerarası (dyadik), grup ve organizasyoneldir. Daha da önemlisi, Fulmer ve Gelfand7 ayrıca farklı referanslar arasında ayrım yapar. Referanslar, güvenin yönlendirildiği varlıklardır. Bu, "A, B'den X'e güvendiğinde", A'nın (ekonomik oyunlardaki yatırımcı) seviye (bireysel, grup, örgütsel) ve B'nin (mütevelli) referans (birey, grup, örgütsel) tarafından temsil edildiği anlamına gelir. X, güvenin başvurduğu belirli bir etki alanını temsil eder. Bu, X'in ekonomik oyunlarda olduğu gibi genel olarak olumlu bir eğilim, aktif destek, güvenilirlik veya finansal değişimler gibi herhangi bir şey olabileceği anlamına gelir1.

Burada, kolektif güven, Rousseau ve meslektaşlarının kişilerarası güven8 tanımına dayanarak ve kolektif güven9,10,11,12,13,14 ile ilgili önceki çalışmalara benzer şekilde tanımlanmıştır; Kolektif güven, bir grubun başka bir bireyin, grubun veya kuruluşun niyetlerinin veya davranışlarının olumlu beklentilerine dayanan kırılganlığı kabul etme niyetini içerir. Kolektif güven, bir grup insan arasında paylaşılan ve bu grup arasındaki etkileşimde oluşan psikolojik bir durumdur. Bu nedenle kolektif güvenin en önemli yönü, bir grup içindeki paylaşımdır.

Bu, kolektif güven üzerine yapılan araştırmaların, bireysel süreçlerin basit bir ortalamasının ötesine bakması ve kolektif güveni ortaya çıkan bir fenomen olarak kavramsallaştırması gerektiği anlamına gelir, çünkü grup bilimindeki yeni gelişmeler grup süreçlerinin akışkan, dinamik ve ortaya çıkan 2,15 olduğunu göstermektedir. Ortaya çıkışı "alt düzey sistem öğelerinin etkileşime girdiği ve bu dinamikler aracılığıyla sistemin daha yüksek bir seviyesinde tezahür eden fenomenler yarattığı bir süreç"16 olarak tanımlıyoruz (s. 335). Önerildiği gibi, bu aynı zamanda kolektif güven için de geçerli olmalıdır.

Grup süreçlerinin ortaya çıkışına ve dinamiklerine odaklanmayı yansıtan araştırmalar, bu nitelikleri yakalamak için uygun metodolojileri17 kullanmalıdır. Bununla birlikte, kolektif güven ölçümünün mevcut durumu geride kalmış gibi görünmektedir. Çoğu çalışma, 9,10,12,13,18 grubundaki her bireyin verilerinde basit bir ortalama tekniği kullanmıştır. Muhtemelen, bu yaklaşımın sadece çok az öngörücü geçerliliği vardır2, çünkü grupların sadece bireylerin bir araya getirilmesi değil, benzersiz süreçlere sahip daha üst düzey varlıklar olduğunu göz ardı eder. Bazı çalışmalar bu dezavantajları ele almaya çalıştı: Adams19 tarafından yapılan bir çalışmada gizli değişken bir yaklaşım kullanılırken, Kim ve meslektaşları10 kolektif güveni tahmin etmek için vinyetler kullandı. Bu yaklaşımlar, kolektif güveni daha üst düzey bir yapı olarak kabul ettikleri için umut vericidir. Yine de, Chetty ve meslektaşlarının20'nin belirttiği gibi, ankete dayalı önlemler doğru cevap vermek için teşviklerden yoksundur, bu nedenle güven üzerine yapılan araştırmalar davranışsal veya teşvik uyumlu önlemleri giderek daha fazla benimsemiştir21,22.

Bu endişe, davranışsal bir yöntemi, yani BDM1'i,23,24,25,26 grupları tarafından oynanacak şekilde uyarlayan bir dizi çalışma ile ele alınmaktadır. BDM'de iki taraf ya yatırımcı (A) ya da mütevelli heyeti (B) olarak hareket eder. Bu sıralı ekonomik oyunda, hem A hem de B ilk bağışı alır (örneğin, 10 Euro). Daha sonra, A'nın, eğer varsa, bağışlarının ne kadarını B'ye göndermek istediğine karar vermesi gerekir (örneğin, 5 Euro). Bu miktar daha sonra, B, eğer varsa, alınan paranın ne kadarını (örneğin, 15 Euro) A'ya geri göndermek istediğine karar vermeden önce deneyci tarafından üç katına çıkarılır (örneğin, 7,5 Euro). A'nın B'ye gönderdiği para miktarı, A'nın B'ye olan güven düzeyi olacak şekilde operasyonel hale getirilirken, B'nin geri gönderdiği miktar, B'nin güvenilirliğini veya A ve B'nin dyadındaki adalet derecesini ölçmek için kullanılabilir. Geniş bir araştırma grubu, dyadic güven oyunları27'deki davranışları araştırmıştır. BDM, hem katılımcıların oyunu belirli bir kişiyle yalnızca bir kez oynadığı 'tek atışlık' bir oyun olarak hem de karşılıklılık28,29 ve ileri sinyal gibi yönlerin rol oynayabileceği tekrarlanan turlarda oynanabilir.

BDM'yi23,24,25,26 grupları için uyarlayan birçok çalışmada, yatırımcı, mütevelli veya her iki rol de gruplar tarafından oynanmıştır. Bununla birlikte, bu çalışmaların hiçbiri grup süreçlerini kaydetmemiştir. Çalışma tasarımlarında bireyleri gruplarla değiştirmek, ortaya çıkan fenomenlerin araştırılması için kurulan Kolbe ve Boos17 veya Kozlowski15 standartlarını karşılamamaktadır. Bu boşluğu doldurmak için CTG geliştirildi.

CTG'yi geliştirmenin amacı, yaygın olarak kullanılan BDM1'i , bir grup arasında paylaşılan ortaya çıkan davranış temelli bir yapı olarak kolektif güveni yakalayan bir yaklaşımla birleştirecek bir paradigma yaratmaktı.

CTG, Boos ve meslektaşları30 tarafından HoneyComb paradigmasına dayanmaktadır, bu da Görselleştirilmiş Deneyler Dergisi31'de yayınlanmıştır ve şimdi güven araştırmalarında kullanılmak üzere uyarlanmıştır. Ritter ve meslektaşları32 tarafından tanımlandığı gibi, HoneyComb paradigması "oyun alanında katılımcı tarafından atanan avatar hareketlerinin algılanması dışındaki tüm duyusal ve iletişim kanallarını ortadan kaldırmak için tasarlanmış çok ajanlı bir bilgisayar tabanlı sanal oyun platformudur" (s. 3). Petek paradigması, araştırmacıların gerçek bir grubun üyelerinin hareketlerini mekansal-zamansal verilerle kaydetmelerine izin verdiği için araştırma grubu süreçleri için özellikle uygundur. Grup etkileşim analizi17'nin yanında, HoneyComb'un araştırmacıların grup süreçlerini ayrıntılı olarak takip etmelerini sağlayan birkaç araçtan biri olduğu söylenebilir. Grup etkileşim analizinin aksine, HoneyComb'un mekansal-zamansal verilerinin nicel analizi daha az zaman alıcıdır. Ek olarak, indirgemeci ortam ve oyun alanındaki hareket dışında katılımcılar arasındaki tüm kişilerarası iletişimi dışlama olasılığı, araştırmacıların kafa karıştırıcı faktörleri (örneğin, fiziksel görünüm, ses, yüz ifadeleri) sınırlamasına ve yüksek içsel geçerliliğe sahip deneyler oluşturmasına olanak tanır. Grup tartışma tasarımlarını kullanan çalışmalarda bir grup sürecinin tüm etkili yönlerini tanımlamak zor olsa da33, bir hareket paradigmasında grup etkileşiminin temel ilkelerine odaklanmak, araştırmacıların bu deneyde grup sürecinin tüm yönlerini ölçmelerini sağlar. Ek olarak, önceki araştırmalar, güven 35,36'yı araştırmak için proksemik davranış 34 - yani kendisi ve başka bir birey arasındaki boşluğu azaltmak - kullanmıştır.

figure-introduction-9412
Şekil 1: CTG'ye şematik genel bakış. (A) Bir CTG turunun şematik prosedürü. (B) Turun başında avatarların ilk yerleştirilmesi. Üç mavi renkli yatırımcı "0" başlangıç alanında duruyor. Sarı mütevelli heyeti "0" başlangıç alanında duruyor. (C) Yatırım aşamasında, oyun alanının alt yarısında üç yatırımcıyı (mavi avatarlar) gösteren ekran görüntüsü. Bir (büyük mavi avatar) şu anda "12" üzerinde duruyor, iki yatırımcı şu anda "24" üzerinde duruyor. İki avatarın kuyrukları vardır (turuncu oklarla gösterilir). Kuyruklar, mevcut alanlarına hangi yönden geçtiklerini gösteriyor (örneğin, bir yatırımcı (büyük mavi avatar) "0" dan "12" ye geçti). Kuyruğu olmayan avatar bu alanda en az 4000 ms. (D) Dönüş aşamasında bir mütevelli (sarı avatar) ve oyun alanının üst yarısını gösteren ekran görüntüsü. Kayyum şu anda "3/6" üzerinde duruyor ve yakın zamanda kuyrukta belirtildiği gibi "2/6" dan oraya taşındı. Aşağıdaki mavi sayı (36) yatırımcılar tarafından yapılan yatırımı gösterir. Okla gösterilen sarı sayı, oyun alanının ortasında gösterildiği gibi geçerli geri dönüştür (54). Getiri şu şekilde hesaplanır: (yatırım (36 sent) x 3) x akım getiri fraksiyonu (3/6) = 54 sent. (E) Katılımcılara tur boyunca ne kadar kazandıkları hakkında geri bildirim veren açılır pencere, mütevelli heyetinin zaman aşımı sona erdikten sonra 15 saniye boyunca görüntülenir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

CTG'nin ana prosedürü (Şekil 1A), bu ekonomik oyunu kullanarak önceki çalışmalarla karşılaştırılabilir sonuçlar elde etmek için BDM1'in prosedürüne yakından dayanmaktadır. Petek paradigması hareket ilkesine dayandığından, katılımcılar avatarlarını geri dönecek belirli miktarda para veya kesir gösteren küçük altıgen alana taşıyarak yatırım yapmak veya iade etmek istedikleri miktarı belirtirler (Şekil 1C, D). Her turdan önce, hem yatırımcılara hem de mütevellilere belirli bir miktar para (örneğin, 72 sent) verilir, yatırımcılar oyun alanının alt yarısına yerleştirilir ve mütevelliler oyun alanının üst yarısına yerleştirilir (Şekil 1B). Varsayılan ayarda, yatırımcıların önce hareket etmesine izin verilirken, mütevelliler hareketsiz kalır. Yatırımcılar, eğer varsa, bağışlarının ne kadarını mütevelliye göndermek istediklerini belirtmek için oyun alanı boyunca hareket ederler (Şekil 1C). Sahada ileri geri hareket ederek, katılımcılar diğer yatırımcılara mütevelliye ne kadar göndermek istediklerini de iletebilirler. Yapılandırmaya bağlı olarak, katılımcıların zaman aşımına ulaşıldığında bir oyun alanına yaklaşarak ne kadar yatırım yapmak istedikleri konusunda oybirliğiyle bir karara varmaları gerekir. Yatırımcıların sadece birbirleriyle yan yana oynamak yerine birbirleriyle etkileşime girmeleri gerektiğini zorlamak için oybirliğiyle kararlar alınması gerekiyordu. Yatırımcılar ortak bir karara varamazlarsa, hesaplarından bir ceza (örneğin, 24 sent) düşülür. Bu, yatırımcıların ortak bir kolektif güven seviyesine ulaşmak için yüksek motivasyona sahip olmalarını sağlamak için uygulandı. Yatırımcıların süresi dolduğunda, yatırılan para çarpılır ve yatırımcılar hareketsiz kalırken hareket etmelerine izin verilen mütevellilere gönderilir. Mütevelliler, yatırımcılara ne kadar geri dönmek istediklerini hareket yoluyla belirtirler (Şekil 1D). Mevcut iade seçenekleri, mütevelli heyetleri üzerindeki bilişsel yükü nispeten düşük tutmak için oyun alanında kesirler olarak görüntülenir. Mütevellilerin tahsis edilen süreleri dolduktan sonra üzerinde durdukları oyun alanı, yatırımcılara hangi fraksiyonun (örneğin, 4/6) iade edildiğini gösterir. Tur, her katılımcı için o turda ne kadar kazandıklarını ve cari hesap bakiyelerinin ne olduğunu özetleyen bir açılır pencere (Şekil 1E) ile sona erer.

Turlar birden çok kez tekrarlanmalıdır. Araştırmacılar, katılımcıların CTG'yi aynı rollerde en az 10 veya 15 tur boyunca oynamalarını sağlamalıdır. Kolektif güven ortaya çıkan bir yapı olduğu ve bir grup içinde tekrarlanan etkileşimler sırasında gelişmesi gerektiği için bu gereklidir. Benzer şekilde, ileri sinyal verme gibi diğer kavramlar (yani, bir sonraki turda yüksek yatırımlara sahip mütevellilerden yüksek getirilere karşılık vermek) yalnızca tekrarlanan etkileşimlerde ortaya çıkacaktır. Bununla birlikte, katılımcıların oynanacak turların tam sayısından habersiz olmaları çok önemlidir, çünkü katılımcılar son turu oynadıklarının farkında olduklarında davranışların büyük ölçüde değişebileceği gösterilmiştir (yani, ekonomik oyunlarda daha haksız davranış veya sapmalar37,38).

Bu şekilde, CTG, kolektif güvenin birden fazla düzeyde ortaya çıkışı hakkında bilgi sağlar. İlk olarak, son turda sergilenen kolektif güven seviyesi, yatırımcıların mütevelli (ler) e karşı sahip oldukları ortak güven seviyesinin yakın bir temsili olmalıdır. İkincisi, her tura yatırılan miktar, tekrarlanan etkileşimler üzerinde kolektif güvenin ortaya çıkması için bir vekil görevi görebilir. Üçüncüsü, hareket verileri, her tura ne kadar para yatırılacağını belirleyen grup sürecine ışık tutuyor.

Protokol

Bu projedeki veri toplama ve veri analizi, Göttingen Üniversitesi Georg-Elias-Müller Psikoloji Enstitüsü Etik Kurulu tarafından onaylanmıştır (öneri 289/2021); Protokol, Georg-Elias-Müller-Psikoloji Enstitüsü Etik Komitelerinin insan araştırmalarına ilişkin kılavuzları takip etmektedir. CTG yazılımı OSF projesinden indirilebilir (DOI 10.17605/OSF. IO/U24PX) bağlantısının altında: https://s.gwdg.de/w88YNL.

1. Teknik kurulumu hazırlayın

  1. Çevrimiçi onay formları ve anketler hazırlayın
    1. Çevrimiçi bir anket aracında çevrimiçi bir onay formu hazırlayın.
    2. Varsa, çevrimiçi bir anket aracında çevrimiçi bir anket hazırlayın.
      NOT: Petek programına kısa bir anket eklemek mümkündür (bkz. adım 1.3.5). Daha uzun anketler kullanmak için, bunun yerine ayrı bir çevrimiçi anket aracı kullanın. Çevrimiçi anket araçlarına örnekler Malzeme Tablosunda verilmiştir.
  2. Uzak masaüstü sunucusunu hazırlama
    1. Uzak bir sunucuya Linux tabanlı bir işletim sistemi yükleyin. Mümkünse, teknik asistanlara kurumdaki mevcut kaynaklar hakkında danışın. Aksi takdirde,yükleme kılavuzu 39'u izleyin.
    2. Bu sunucuda farklı kullanıcılar oluşturun40.
      1. Kök izinlere sahip olan ve yalnızca denemedeki teknik müşteri adayı tarafından erişilen bir kullanıcı yöneticisi oluşturun.
      2. Paylaşılan klasörler oluşturma, verileri içe ve dışa aktarma izinlerine sahip olan ve veri toplayan tüm personel (öğrenciler/araştırma görevlileri vb. dahil) tarafından erişilebilen bir kullanıcı deneycisi oluşturun.
      3. Katılımcı-1, katılımcı-2 vb. adlı birden çok kullanıcı oluşturun.
        NOT: Araştırmacılar, bir deneysel oturumda yalnızca oluşturulan kullanıcılar kadar katılımcıyı test edebileceklerdir.
    3. Sunucuda bir Java çalışma zamanı ortamının kullanılabilir olduğundan emin olmak için yönetici kullanıcıda java -version komutunu yürütün. Değilse, devam etmeden önce en son Java sürümünü yükleyin ve tüm kullanıcıların erişebildiğinden emin olun.
    4. Programı yükleyin
      1. Programı indirin.
        NOT: Program, 1) çalıştırılabilir HC HC_CTG.zip, 2) yapılandırma için üç dosya (.jar.config, hc_server.config ve hc_panel.config) ve 3) intro ve rawdata adlı iki alt klasör içeren bir zip dosyası hc_client olarak indirilebilir.
      2. Deneyci kullanıcı üzerinde bir klasör oluşturun ve bunu diğer kullanıcılarla paylaşın41. Dosyaları sıkıştırılmış dosyadan ayıklayın HC_CTG.zip bu klasöre.
      3. Her katılımcı kullanıcı için bu paylaşılan klasöre erişin ve kullanıcının dosyalara erişebilip erişemediğini denetleyin.
  3. Üç yapılandırma dosyasını açın.
    1. hc_server.config dosyasını düzenleyin ve düzenlenen dosyayı kaydedin.
      1. n_Pl istediğiniz sayıya ayarlayarak oyuncu sayısını yapılandırın. Örneğin, = işaretinin arkasına 4 girin.
      2. 54a oyun numarasını tekrarlayarak oynanacak tur sayısını yapılandırın (playOrder) (örneğin, dört tur için 54a, 54a, 54a, 54a).
        NOT: i54a talimatların kısaltmasıdır ve yapılandırma dosyasında silinmemelidir.
      3. playOrder'ın sonuna 200 ekleyerek bir anketin HoneyComb'ta gösterilip gösterilmeyeceğini yapılandırın. Ayrı bir çevrimiçi anket aracı kullanılıyorsa 200'ü silin.
      4. Yatırım ölçeğini yapılandırın. Ölçeği yatırımcılar için yapılandırmak üzere (iscale), yatırım adımları olarak hangi değerlerin kullanılabilir olması gerektiğini girin (ör. 0, 12, 24, 36, 48, 60, 72). Ödemelerin de tam sayı olması için üçün katları olan tamsayılar kullanın.
        NOT: Bu yapılandırılmış değerler, yatırımcılara olası yatırım adımları olarak da gösterilir.
        1. Oynatma alanında olası getiriler olarak hangi değerlerin görüntülenmesi gerektiğini seçerek mütevelliler için görüntüleme ölçeğini yapılandırın (ör. 0, 1/6, 2/6, 3/6, 4/6, 5/6, 1). NOT: Bu ölçek, ödemelerin hesaplanmasını etkilemez.
        2. Hangi dönüş değerlerinin getiri olarak mümkün olması gerektiğini seçerek mütevelliler için ölçeği (tscala) yapılandırın (ör. 0, 0,166666, 0,3333, 0,5, 0,6666, 0,833331, 1). Yalnızca dijital değerler kullanın (yani, kesirler kullanmayın).
          NOT: Bu değerler ödemeleri hesaplamak için kullanılır ve oyun alanında GÖRÜNTÜLENMEZ.
      5. Zaman aşımlarını (yatırımcılar için timeInI, mütevelliler için timeInT) ve zaman aşımlarını (yatırımcılar için timeOutI, mütevelliler için zaman aşımı) saniyeler içinde yapılandırın. Örneğin, timeInI = 0, timeOutI = 30, timeInT = 30 ve timeout = 45.
      6. Yatırımcıların ve mütevellilerin her turda bahşettikleri para miktarını sent cinsinden yapılandırın (r52).
      7. Mütevelliye gönderilmeden önce yatırımın çarpılacağı faktörü yapılandırın (f52).
      8. Grubun oybirliğiyle bir karara varması gerekip gerekmediğini yapılandırın ( bUnoyous değerini true olarak ayarlayın) veya ( unoyous olarak false olarak ayarlayın)
      9. Gruba eşit parçalar halinde mi ödeneceğini (bCommon değerini true olarak ayarlayın) veya her yatırımcının yatırıma ne kadar katkıda bulunduğuna göre (bCommon değerini false olarak ayarlayın) yapılandırın.
      10. Eğer bUnoybirliği doğru olarak ayarlanırsa, cezayı yapılandırın - oybirliğiyle bir karara varılmadığı takdirde yatırımcılardan düşülen para miktarı (s52).
    2. Gerekirse hc_client.config dosyasını düzenleyin. İstemcilerin deneyciye bağlanabilmesi için ip_nr localhost olarak ayarladığınızdan emin olun.
    3. hc_panel.config dosyasını düzenleyin.
      1. Altıgenlerin (yarıçap) boyutunu ekran çözünürlüğüne göre ayarlayın. Denemenin çok çeşitli ekranlarda göründüğünden emin olmak için denemeyi birden fazla farklı ekranda test edin.
      2. Oyun alanında etiketlerin altında görüntülenen metni ayarlayın (ör. Rolünüz: yatırımcı, Hesap Bakiyesi, vb.)
    4. Gerekirse talimatları ayarlayın ve/veya çevirin. Bunu yapmak için, basit HTML dosyalarını (Şekil 2A) düzenleyin ve HoneyComb program klasöründeki "giriş" klasörüne kaydedin.
    5. Anketi HoneyComb programında kullanmak istiyorsanız, qq.txt dosyasındaki anketi ayarlayın ve/veya çevirin ve dosyayı kaydedin.
    6. Bu kurulumu tüm deneme oturumlarında sabit tutun (tek bir deneme koşulu içinde). Tüm yapılandırmaları belgeleyin.

2. Katılımcı alımı

  1. Online reklam
    1. Katılımcıları mevcut kanallar üzerinden işe alın (örneğin, sosyal medya, üniversite blogu, QR kodlu el ilanı). Denemeyle ilgili amacı, süresi ve oyun davranışına göre hesaplanan maksimum ödeme gibi önemli bilgileri adlandırın.
      NOT: Burada sunulan örneklem, Göttingen Üniversitesi'ndeki psikoloji öğrencileri için çevrimiçi bir blog ve sosyal medya gruplarındaki ücretsiz reklamlar aracılığıyla işe alınmıştır. Örnek bir el ilanı Ek Şekil 1'de görülebilir.
    2. Potansiyel katılımcıları, katılımın sabit bir internet bağlantısına sahip ve sessiz, tenha bir alanda kişisel dizüstü bilgisayarların / PC'lerin kullanılmasını gerektireceğinin farkında olmalarını sağlayın. Katılımcıların, Uzak Masaüstü bağlantısını kurmak için bir program yüklemeleri gerekebileceğini bilmelerini sağlayın.
      NOT: Cep telefonu veya tablet üzerinden katılım mümkün değildir.
    3. Katılımcıların, denemenin dil gereksinimleri veya renk görme gibi dahil edilme ölçütlerini karşıladığından emin olun.
    4. Katılımcıların CTG ile ilgili önceki deneylere katılmadığından emin olun.
  2. Katılımcılarla deneysel oturumlar için rezervasyon yaptırın
    1. Katılımcılardan katılımları için zaman dilimleri ayırmalarını isteyin.
    2. Otomatik davet veya anımsatıcı e-postalar göndermek için bir katılımcı yönetim yazılımı kullanın.
    3. Denemeyi çalıştırmak için yeterli sayıda katılımcının bulunduğundan emin olmak için zaman aralıklarını en az bir katılımcı tarafından fazladan ayırın.
  3. Katılımcılara aşağıdaki ayrıntıları içeren bir onay e-postası gönderin: bilgisayar kurulumu, Uzak Masaüstü Bağlantı Aracı'nın yüklenmesi ve Uzak Masaüstü ile bağlantı kurma kılavuzu. Daha önce oturum açma nedeniyle teknik sorunları önlemek için henüz herhangi bir oturum açma bilgisi GÖNDERMEDİĞİNİZDEN emin olun.
  4. Katılımcılara, denemeden yaklaşık 24 saat önce, video konferans platformunun bağlantısı da dahil olmak üzere hatırlatma e-postaları gönderin. Yükleme hakkında gönderilen bilgileri onay e-postasına ekleyin.

3. Deney düzeni (her deneysel oturumdan önce)

  1. Video konferans platformunu hazırlama (Şekil 3)
    1. Katılımcıların mikrofonlarını veya kameralarını paylaşmalarının engellendiğinden emin olun. Katılımcıların birbirlerinin adlarını göremediğinden emin olun.
    2. Deneycinin mikrofonunu ve kamerasını paylaşın ve ekranı video konferans platformunda minimum talimatlarla paylaşın (Şekil 3).
  2. Uzak masaüstünü hazırlama
    1. Kullanıcı deneycisi
      1. Deneyci kullanıcıyla bir uzak masaüstü bağlantısı başlatın. Paylaşılan klasörü açın ve dizine sağ tıklayıp Terminali burada aç'ı seçerek bir terminal başlatın.
      2. Terminalde java -jar komutunu yazıp ENTER tuşuna basarak sunucu programı HC_Gui.jar HC_Gui.jar başlatın.
    2. Kullanıcılar katılımcı-1, katılımcı-2, vb.
      1. Katılımcı-1, katılımcı-2, .... kullanıcılarıyla uzak masaüstü bağlantısı kurun. Paylaşılan klasörü açın ve daha önce olduğu gibi bu klasörde bir terminal başlatın.
      2. Terminale java -jar HC .jar komutunu yazıp ENTER tuşuna basarak her kullanıcı için istemci programlarını başlatın.
      3. Bağlantıların tüm katılımcı kullanıcılar üzerinde doğru kurulup kurulmadığını denetleyin.
        NOT: Katılımcı kullanıcıların ekranlarında Lütfen bekleyin mesajı görüntülenmelidir. Bilgisayar sunucuya bağlanıyor. Kullanıcılar kadar dizüstü bilgisayarın bulunması önerilir (Şekil 4).
    3. Kullanıcı deneycisi
      1. Sunucu GUI'sinde, katılımcı kullanıcıların her birinin IP adresini görüntüleyen bir satır görünüp görünmediğini kontrol edin. Tüm katılımcı kullanıcılar bağlandığında, sunucu programının Tüm İstemciler bağlı iletisi görüntüleyip görüntülemediğini denetleyin . Başlamaya hazır mısınız?. Tamam'a tıklayın.
      2. Katılımcı kullanıcıların ekranlarında denemenin karşılama ekranının görüntülenip görüntülenmediğini kontrol edin (ilk talimatlar sayfası).
        NOT: Deneyci oturumu bu noktaya kadar hazırlayabilir.

4. Deneysel prosedür

  1. Katılımcıları, planlanan deneme zaman aralığında video konferansa kabul edin. Standart bir metin kullanarak tüm katılımcılara hoş geldiniz. Teknik prosedürü katılımcılara açıklar.
  2. Çevrimiçi onay formunun bağlantısını paylaşın. Tüm katılımcıların yazılı onay verip vermediğini kontrol edin.
  3. Katılımcılara Uzak Masaüstü Bağlantısı aracını açmaları ve video konferansta kişisel sohbet yoluyla her katılımcıya bireysel oturum açma verilerini göndermeleri için rehberlik edin.
    NOT: Katılımcılar katılımcı kullanıcılarla oturum açtığında, laboratuvardaki not defterlerinin katılımcı kullanıcılarla bağlantısı kesilir. Bundan sonra deneme, katılımcılar son sayfaya ulaşana kadar otomatik olarak çalışır ve video konferansa geri dönmeleri talimatını verir.
  4. Katılımcılara Tamam'a tıklayarak ilk talimatlar sayfasını okuduklarını onaylatın. Tüm katılımcılar onayladıktan sonra, katılımcılar oyunu tamamlayana kadar bekleyin.
    NOT: Katılımcılar talimatları tercih ettikleri hızda inceleyebilirler. Tüm katılımcılar talimatları okuduklarını onayladıktan sonra, CTG otomatik olarak başlar. Oyun, server.config dosyasında belirtilen sayıda turda otomatik olarak ilerler.
  5. Test aşaması
    1. Katılımcıları iki rolden birine atayın: yatırımcı veya mütevelli.
      NOT: Birden fazla katılımcıya aynı rol atanabilir.
    2. Yatırımcıların en alttaki alanda başlamasını (0'ın yatırımını belirtin) ve en üst alandaki mütevellileri (0'ın getirisini gösterir) (Şekil 1B) sağlayın.
    3. Katılımcılara avatarlarını sol tıklatarak bitişik altıgen bir alana taşımalarını söyleyin. Katılımcılara yalnızca bitişik alanların seçilebileceğini ve alanların atlanamayacağını söyleyin. Katılımcılara, avatarlarının her hareketten sonra 4000 ms boyunca küçük bir kuyruk göstereceğini ve bu kuyruktan geçerli alana geçtikleri son yönü göstereceğini söyleyin (Şekil 1C).
    4. Yatırımcıların ne kadar yatırım yapmak istediklerini hareket yoluyla belirtmek için başlangıçtan itibaren hareket etmelerine izin verin (zaman içinde = 0). Belirli bir süre sonra, yatırımcıların hareketini yasaklayın (zaman aşımı).
      NOT: Üzerinde durdukları alan daha sonra ne kadar yatırım yapıldığını gösterecektir. Oyun alanının ortasında, mavi bir sayı ayrıca mütevelliye gönderilen miktarı gösterecektir. Deneme, oybirliğiyle yatırım yapılmasını gerektirecek şekilde ayarlanmışsa, yatırımlar yalnızca tüm katılımcılar aynı alanda duruyorsa yapılacaktır.
    5. Talimatlarda, yatırılan tutarın bir faktörle (örneğin, üç) çarpıldığını ve mütevellilere gönderildiğini açıklayın. Mütevelli zamanını mütevelli zaman aşımının uzunluğuna ayarlayarak yatırımcılar hareket ettiği sürece mütevellilerin hareket etmesini kısıtlayın.
    6. Mütevellilere, yatırımcılara geri vermek istedikleri kesiri belirtmek için hareket etmelerini söyleyin. Mütevelli zaman aşımına ulaşıldıktan sonra, yatırımcılara iade edilen kesiri belirtmek için mütevellilerin üzerinde durduğu alan alınır. Döndürülen miktar da oyun alanının ortasında sarı bir sayı ile gösterilir (Şekil 1D).
    7. Açılır pencerenin, kişinin turun sonunda kazandığı para miktarını göstermesini sağlayın (Şekil 1E).
    8. Oyun turunu gerektiği gibi tekrarlayın (örneğin, server.config dosyasında belirtildiği gibi).
    9. Tüm turlar tamamlandıktan sonra, katılımcılardan kişisel bir benzersiz kod oluşturmalarını isteyin, böylece oyun içi kazançlar davranışsal verileri anonim tutarken adlarına bağlanabilir.
    10. Katılımcılar kodu oluşturduktan sonra, katılımcılara video konferansa dönmelerini ve Uzak Masaüstü bağlantısını kapatmalarını bildiren bir ekran görüntüleyin.
      NOT: Deneysel prosedür (bu protokolde 15 oyun turu ile bölüm 4) 35 dakika sürer.
    11. Bir katılımcının teknik sorunları veya başarısızlığı deneme oturumunun iptal edilmesini gerektiriyorsa, denemeyi aynı katılımcılarla yeniden başlatmaktan kaçının.
  6. Test sonrası aşama
    1. Oyun tamamlandıktan sonra, tüm katılımcıların Uzak Masaüstü bağlantısını kapattığından emin olun. Katılımcıların, belirli bir araştırma sorusu için uygun görülen anketleri doldurmalarını sağlayın.
    2. Katılımcılar anketleri doldururken, Stop & Exit'e tıklayarak deneyci kullanıcı üzerindeki sunucu programını kapatın. Bu, katılımcı kullanıcılar üzerindeki programı da kapatacaktır.
    3. Katılımcılara zaman ayırdıkları için teşekkür edin ve kazançlarının onlara nasıl ve ne zaman aktarılacağını açıklayın. Tüm katılımcıların video konferanstan ayrıldığından emin olun, özellikle de hemen ardından başka bir deneme zaman aralığı planlanıyorsa.

5. Deneyin bitirilmesi

  1. Verileri (örneğin, bulutta), grup ve deneme zaman aralığı başına bir *.csv ve bir *.txt dosyası biçiminde, denemenin bir gün ve zaman damgasıyla işaretlenmiş şekilde aktarın ve yedekleyin.
  2. Tüm Uzak Masaüstü bağlantılarını kapatın.

Sonuçlar

Bu yazıda CTG ile 16 katılımcı (beş erkek, 11 kadın; Yaş: M = 21, SD = 2.07). Johanson ve Brooks42'ye göre, bu örneklem büyüklüğü bir pilot deneyde, özellikle de deney sırasında katılımcıların öznel deneyimleri hakkında yüksek bir bilgi yoğunluğuna ulaşmak için nitel bir yaklaşımla eşleştirildiğinde yeterlidir. Araştırmacılar, CTG'yi kendi özel araştırma fikirlerine uyarlamak istediklerinde, örneğin, her gruptaki katılımcı sayısını ?...

Tartışmalar

CTG, araştırmacılara klasik BDM1'i gruplar için uyarlama ve gruplar içindeki ortaya çıkan süreçleri derinlemesine gözlemleme fırsatı sunar. Diğer çalışmalar23,24,25,26 BDM1'i grup ayarlarına uyarlamaya çalışmış olsa da, bu çalışmalarda grup süreçlerine erişmenin tek yolu, videoya kaydedilmiş tartışmaların zahmetli g...

Açıklamalar

Yazarların açıklayacak hiçbir şeyleri yoktur.

Teşekkürler

Bu araştırma herhangi bir dış finansman almadı.

Malzemeler

NameCompanyCatalog NumberComments
Data Analysis Software and PackagesRversion 4.2.1 (2022-06-23 ucrt)R Core Team R: A Language and Environment for Statistical Computing. at [https://www.R-project.org/]. R Foundation for Statistical Computing. Vienna, Austria. (2020).
Data Analysis Software and PackagesR Studioversion 2022.2.3.492 "Prairie Trillium"RStudio Team RStudio: Integrated Development Environment for R. at [http://www.rstudio.com/]. RStudio, PBC. Boston, MA. (2020).
Data Analysis Software and Packagesggplot2version 3.3.6Wickham, H. ggplot2: Elegant Graphics for Data Analysis. at [https://ggplot2.tidyverse.org]. Springer-Verlag New York. (2016).
Data Analysis Software and Packagescowplotversion 1.1.1Wilke, C.O. cowplot: Streamlined Plot Theme and Plot Annotations for “ggplot2.” at [https://CRAN.R-project.org/package=cowplot]. (2020).
OnlineQuestionnaireToolLimeSurveyCommunity Edition Version 3.28.16+220621 Any preferred online questionnaire tool can be used. LimeSurvey or SoSciSurvey are recommended.
Notebooks or PCsDELLLatitude 7400Any laptop that is able to establish a stable Remote Desktop Connection can be used.
Participant Management SoftwareORSEEversion 3.1.0It is recommended to use ORSEE (Greiner, B. [2015]. Subject pool recruitment procedures: Organizing experiments with ORSEE. Journal of the Economic Science Association, 1, 114–125. https://doi.org/10.1007/s40881-015-0004-4), but other software options might be available.
Program to Open RemoteDesktop ConnectionRemote Desktop Connection (Program distributed with each Windows 10 installation.)The following tools are recommended: RemoteDesktopConnection (for Windows), Remmina (for Linux), or Microsoft Remote Desktop (for Mac OS).
Server to run RemoteDesktop EnvironmentVMware vSphere environment based on vSphere ESXiversion 6.5Ideally provided by IT department of university/institution.
VideoConference PlatformBigBlueButtonVersion 2.3It is recommend to use a platform such as BigBlueButton or other free software that does not record participant data on an external server. The platform should provide the following functions: 1) possibility to restrict access to microphone and camera for participants, 2) hide participant names from other participants, 3) possibility to send private chat message to participants.
Virtual Machine running Linux-InstallationXubuntuversion 20.04 "Focal Fossa"Other Linux-based systems will also be possible.

Referanslar

  1. Berg, J., Dickhaut, J., McCabe, K. Trust, reciprocity, and social history. Games and Economic Behavior. 10 (1), 122-142 (1995).
  2. Costa, A. C., Fulmer, C. A., Anderson, N. R. Trust in work teams: An integrative review, multilevel model, and future directions. Journal of Organizational Behavior. 39 (2), 169-184 (2018).
  3. Kiffin-Petersen, S. Trust: A neglected variable in team effectiveness research. Journal of the Australian and New Zealand Academy of Management. 10 (1), 38-53 (2004).
  4. Grossman, R., Feitosa, J. Team trust over time: Modeling reciprocal and contextual influences in action teams. Human Resource Management Review. 28 (4), 395-410 (2018).
  5. Schoorman, F. D., Mayer, R. C., Davis, J. H. An integrative model of organizational trust: Past, present, and future. Academy of Management Review. 32 (2), 344-354 (2007).
  6. Shamir, B., Lapidot, Y. Trust in organizational superiors: Systemic and collective considerations. Organization Studies. 24 (3), 463-491 (2003).
  7. Fulmer, C. A., Gelfand, M. J. At what level (and in whom) we trust: Trust across multiple organizational levels. Journal of Management. 38 (4), 1167-1230 (2012).
  8. Rousseau, D. M., Sitkin, S. B., Burt, R. S., Camerer, C. Not so different after all: A cross-discipline view of trust. Academy of Management Review. 23 (3), 393-404 (1998).
  9. Dirks, K. T. Trust in leadership and team performance: Evidence from NCAA basketball. Journal of Applied Psychology. 85 (6), 1004-1012 (2000).
  10. Kim, P. H., Cooper, C. D., Dirks, K. T., Ferrin, D. L. Repairing trust with individuals vs. groups. Organizational Behavior and Human Decision Processes. 120 (1), 1-14 (2013).
  11. Forsyth, P. B., Barnes, L. L. B., Adams, C. M. Trust-effectiveness patterns in schools. Journal of Educational Administration. 44 (2), 122-141 (2006).
  12. Gray, J. Investigating the role of collective trust, collective efficacy, and enabling school structures on overall school effectiveness. Education Leadership Review. 17 (1), 114-128 (2016).
  13. Kramer, R. M. Collective trust within organizations: Conceptual foundations and empirical insights. Corporate Reputation Review. 13 (2), 82-97 (2010).
  14. Kramer, R. M. The sinister attribution error: Paranoid cognition and collective distrust in organizations. Motivation and Emotion. 18 (2), 199-230 (1994).
  15. Kozlowski, S. W. J. Advancing research on team process dynamics: Theoretical, methodological, and measurement considerations. Organizational Psychology Review. 5 (4), 270-299 (2015).
  16. Kozlowski, S. W. J., Chao, G. T. The dynamics of emergence: Cognition and cohesion in work teams. Managerial and Decision Economics. 33 (5-6), 335-354 (2012).
  17. Kolbe, M., Boos, M. Laborious but elaborate: The benefits of really studying team dynamics. Frontiers in Psychology. 10, 1478 (2019).
  18. McEvily, B. J., Weber, R. A., Bicchieri, C., Ho, V. Can groups be trusted? An experimental study of collective trust. Handbook of Trust Research. , 52-67 (2002).
  19. Adams, C. M. Collective trust: A social indicator of instructional capacity. Journal of Educational Administration. 51 (3), 363-382 (2013).
  20. Chetty, R., Hofmeyr, A., Kincaid, H., Monroe, B. The trust game does not (only) measure trust: The risk-trust confound revisited. Journal of Behavioral and Experimental Economics. 90, 101520 (2021).
  21. Harrison, G. W. Hypothetical bias over uncertain outcomes. Using Experimental Methods in Environmental and Resource Economics. , 41-69 (2006).
  22. Harrison, G. W. Real choices and hypothetical choices. Handbook of Choice Modelling. , 236-254 (2014).
  23. Holm, H. J., Nystedt, P. Collective trust behavior. The Scandinavian Journal of Economics. 112 (1), 25-53 (2010).
  24. Kugler, T., Kausel, E. E., Kocher, M. G. Are groups more rational than individuals? A review of interactive decision making in groups. WIREs Cognitive Science. 3 (4), 471-482 (2012).
  25. Cox, J. C., Zwick, R., Rapoport, A. Trust, reciprocity, and other-regarding preferences: Groups vs. individuals and males vs. females. Experimental Business Research. , 331-350 (2002).
  26. Song, F. Intergroup trust and reciprocity in strategic interactions: Effects of group decision-making mechanisms. Organizational Behavior and Human Decision Processes. 108 (1), 164-173 (2009).
  27. Johnson, N. D., Mislin, A. A. Trust games: A meta-analysis. Journal of Economic Psychology. 32 (5), 865-889 (2011).
  28. Rosanas, J. M., Velilla, M. Loyalty and trust as the ethical bases of organizations. Journal of Business Ethics. 44, 49-59 (2003).
  29. Dunn, J. R., Schweitzer, M. E. Feeling and believing: The influence of emotion on trust. Journal of Personality and Social Psychology. 88 (5), 736-748 (2005).
  30. Boos, M., Pritz, J., Lange, S., Belz, M. Leadership in moving human groups. PLOS Computational Biology. 10 (4), 1003541 (2014).
  31. Boos, M., Pritz, J., Belz, M. The HoneyComb paradigm for research on collective human behavior. Journal of Visualized Experiments. (143), e58719 (2019).
  32. Ritter, M., Wang, M., Pritz, J., Menssen, O., Boos, M. How collective reward structure impedes group decision making: An experimental study using the HoneyComb paradigm. PLOS One. 16 (11), 0259963 (2021).
  33. Kocher, M., Sutter, M. Individual versus group behavior and the role of the decision making process in gift-exchange experiments. Empirica. 34 (1), 63-88 (2007).
  34. Ickinger, W. J. . A behavioral game methodology for the study of proxemic behavior. , (1985).
  35. Deligianis, C., Stanton, C. J., McGarty, C., Stevens, C. J. The impact of intergroup bias on trust and approach behaviour towards a humanoid robot. Journal of Human-Robot Interaction. 6 (3), 4-20 (2017).
  36. Haring, K. S., Matsumoto, Y., Watanabe, K. How do people perceive and trust a lifelike robot. Proceedings of the World Congress on Engineering and Computer Science. 1, 425-430 (2013).
  37. Gintis, H. Behavioral game theory and contemporary economic theory. Analyse & Kritik. 27 (1), 48-72 (2005).
  38. Weimann, J. Individual behaviour in a free riding experiment. Journal of Public Economics. 54 (2), 185-200 (1994).
  39. How to install Xrdp server (remote desktop) on Ubuntu 20.04. Linuxize Available from: https://linuxize.com/post/how-to-install-xrdp-on-ubuntu-20-04/ (2020)
  40. How to create users in Linux (useradd Command). Linuxize Available from: https://linuxize.com/post/how-to-create-users-in-linux-using-the-useradd-command/ (2018)
  41. How to create a shared folder between two local user in Linux. GeeksforGeeks Available from: https://www.geeksforgeeks.org/how-to-create-a-shared-folder-between-two-local-user-in-linux/ (2019)
  42. Johanson, G. A., Brooks, G. P. Initial scale development: Sample size for pilot studies. Educational and Psychological Measurement. 70 (3), 394-400 (2010).
  43. Glaeser, E. L., Laibson, D. I., Scheinkman, J. A., Soutter, C. L. Measuring trust. The Quarterly Journal of Economics. 115 (3), 811-846 (2000).
  44. Mayring, P., Kikner-Ahsbahs, A., Knipping, C., Presmed, N. Qualitative Content Analysis: Theoretical Background and Procedures. Approaches to Qualitative Research in Mathematics Education: Examples of Methodology and Advances in Mathematics Education. , 365-380 (2015).
  45. Chandler, J., Paolacci, G., Peer, E., Mueller, P., Ratliff, K. A. Using nonnaive participants can reduce effect sizes. Psychological Science. 26 (7), 1131-1139 (2015).
  46. Belz, M., Pyritz, L. W., Boos, M. Spontaneous flocking in human groups. Behavioural Processes. 92, 6-14 (2013).
  47. Boos, M., Franiel, X., Belz, M. Competition in human groups-Impact on group cohesion, perceived stress and outcome satisfaction. Behavioural Processes. 120, 64-68 (2015).

Yeniden Basımlar ve İzinler

Bu JoVE makalesinin metnini veya resimlerini yeniden kullanma izni talebi

Izin talebi

Daha Fazla Makale Keşfet

DavranSay 188

This article has been published

Video Coming Soon

JoVE Logo

Gizlilik

Kullanım Şartları

İlkeler

Araştırma

Eğitim

JoVE Hakkında

Telif Hakkı © 2020 MyJove Corporation. Tüm hakları saklıdır